• [云原生生态] Knative 系列(二):兵马未动粮草先行之 Build 篇
    在该系列的第一篇文章中,主要介绍了Knative的基本概念及诞生背景,并提到 Knative 主要由 Build、Serving 和 Eventing 三大核心组件组成,本文将重点 Build 的使用方法。具体来说,Build 提供源码到容器镜像的构建能力;Serving 提供 Serverless 应用或函数的部署能力,并通过 istio 实现服务管理,同时提供了容器扩缩容能力;Eventing:提供事件触发通道。Knative 的这三个组件提供了一套完善的 Serverless 方案,让开发者可以只关心自己的代码。提交代码以后,Build 会将源码构建成镜像,Serving 会自动实现应用部署,Eventing 提供事件触发入口,接下来就可以访问到最新应用了。对使用者来说,从源码直接到应用,省去了中间复杂的环节。Build 完全基于 Kubernetes,设计非常灵活,用户可以利用 Build 定制构建流程,虽然官方文档宣称现在 Knaitve 还不能提供完整的 CI/CD 方案,但是利用 Build 的灵活性完全可以实现 CI 平台搭建,这部分内容会在后面的实现中着重介绍。本文,我们把 Build 组件拆开揉碎,全面分享给读者。如果现在手头刚好有一个K8s集群,可以跟着文档尝试操作,整个过程甚至不需要占用一杯咖啡的时间。Build 组件安装Build 可以作为一个独立组件单独安装,只需要在 K8s 的集群中执行以下命令即可:kubectl apply --filename https://github.com/knative/build/releases/download/v0.6.0/build.yaml执行成功以后,可以通过以下命令查看:kubectl get pods --namespace knative-build可以看到,在 knative-build 的 namespace 下,新增了两个容器 build-controller 和 build-webhook,build-controller 是 Build 核心模块,其基本业务流程是监控自己创建的 CRD 资源从而实现构建,build-webhook 和大多数的 webhook 功能一样,通过 webhook 的方式对自己的 api 进行校验。到这里恭喜你,Build 组件已经安装成功了,接下来就可以利用它来进行构建。build 和 buildtemplate构建之前,我们需要先了解两个概念:build 和 buildtemplate。这里的 build 不是 knative 的 Buid 组件,而是 Build 组件通过 CRD 定义的一个资源文件,build 通过自己定义资源文件去控制构建流程,所以说,Build 完全基于 K8s 生态,只要有 K8s 集群就可以完成构建而不需要依赖其他外部组件,同时,yaml 定义的资源文件也可以很轻易的移植到其他集群上去。为了方便理解,我们先看一个 build 的 yaml 文件:apiVersion: build.knative.dev/v1alpha1   kind: Build metadata:   name: kaniko-build   spec:     serviceAccountName: build-bot   // 如果源码或者仓库为公开可以不用创建 serviceAccount     source:    git:      url: https://github.com/my-user/my-repo   // 你的源码仓库地址      revision: master                          // 你的源码分支地址    template:       name: kaniko                                     arguments:    - name: IMAGE      value: us.gcr.io/my-project/my-app         // 构建成功以后镜像存放的镜像仓库地址   以下是其中的几个关键配置:如果想在自己的代码仓库尝试用 build 进行构建,只需要修改上面蓝色的部分即可。看起来,build.yaml 非常简单,而且在 yaml 中也没有看到关于构建过程的体现,是因为在这个 build.yaml 里定义了一个 buildtemplate,buildtemplate 中定义了实际构建过程中的 steps(关于 steps 的内容我们稍后会讲到),当我有多个代码库,或者代码库下有多个分支,抑或是代码想用不同的方式去构建,每次都要定义一个完整的 build 文件就显得非常麻烦,这个时候利用 buildtemplate 可以定义很多构建模板,然后只需要像上面的 build.yaml 一样简单指定代码仓库即可。那么,buildtemplate 是必须的么?当然不是,我们可以直接把 steps 写在 buid.yaml 里,但是 buildtemplate 极大的提高了 build 的灵活性和可移植、可重用性。为了方便快速实现构建,knative 的 build-template 代码库中已经预置了大量的 buildtemplate,包括bazel,buildpacks,kaniko等近十个模板,这里我们先用 Kaniko 的 build-template 体验一下 build 的构建过程。Kaniko 是 Google 推出的构建工具,它基于 Dockerfile 进行构建但是却不需要 docker daemon,我们先来看一下 Kaniko 的 buildtemplate 是什么样子。apiVersion: build.knative.dev/v1alpha1   kind: BuildTemplate   metadata:     name: kaniko   spec:    parameters:  - name: IMAGE      description: The name of the image to push  - name: DOCKERFILE      description: Path to the Dockerfile to build.      default: /workspace/Dockerfile    steps:  - name: build-and-push      image: gcr.io/kaniko-project/executor       args:      - --dockerfile=${DOCKERFILE}    - --destination=${IMAGE}     env:       - name: DOCKER_CONFIG      value: /builder/home/.dockerbuildtempate 中也有几个关键配置:kaniko 的 buildtemplate 十分简单,只有一个 step,然后传入两个参数 DOCKERFILE 和 IMAGE 即可,DOCKERFILE 是工程中 dockerfile 所在的文件路径,IMAGE 是要推送的镜像仓库地址。这两个文件都准备好以后你只需要执行以下两条命令, 一切顺利的话一段时间时候以后,你就可以在你的镜像仓库里看到你刚刚构建好的镜像了。kubectl create -f kaniko.yaml   kubectl create -f build.yaml如果只是想体验一次 Build 带来的基于原生 K8S 的快捷构建,到这里你的体验之旅就已经结束了,如果想问到底执行完以后发生了什么,那就再花点时间看看到底发生了什么?Build 构建实现在上述步骤创建完 build.yaml 以后执行kubectl get pod我们发现多出了一个 pod,用 describe 查看 POD 可以看到以下信息:Name:               kaniko-build-pod-a4f897   Namespace:          default   Controlled By:      Build/kaniko-build Init Containers:  build-step-credential-initializer:Image:          gcr.io/knative-releases/github.com/knative/build/cmd/creds-init@sha256:101f537b53b895b28b84ac3c74ede7d250845e24c51c26516873d8ccb23168ce  .......  build-step-git-source-0:    Image:         gcr.io/knative-releases/github.com/knative/build/cmd/git-init@sha256:ce2c17308e9cb81992be153861c359a0c9e5f69c501a490633c8fe54ec992d53    Args:      -url   https://github.com/lihua871205/2048.git      -revision      master   ......    build-step-build-and-push:    Image:         gcr.io/kaniko-project/executor    Args:      --dockerfile=/workspace/Dockerfile      --destination=swr.cn-north-1.myhuaweicloud.com/l00283074/sample:latestPOD 里边包含三个 Init Containers:build-step-credential-initializer, build-step-git-source-0 以及 build-step-build-and-pushbuild-step-credential-initializer:如果 git 和 docker 需要认证的对 git 和 docker 进行认证build-step-git-source-0:负责将代码拉取到 workspace 下build-step-build-and-push:是用户自己定义的构建 step,它负责将源码构建成镜像从这里,我们可能已经猜到 build 的构建实现,利用 Init Containers 的特性,build 先将 source 中的配置生成一个默认的 build-step-git-source-0 接下来再将用户 step 中配置的信息依次解析成多个 Init Containers,当 POD 运行的时候会依次执行所有的 Init Containers 从而实现代码获取,源码构建的流程。这也回答了上面的两个问题:为什么每个 step 都要有一个 builder?这是 Init Containers 的特性决定的,即使是 Source 这个步骤其实也是使用了 Build-Controller 内置的一个镜像;为什么 build 非常灵活?用户可根据自己的场景,自己定制构建镜像,Build 只提供构建流程,但是不提供构建实现,这也是为什么当前有这么多 buildtemplate 的原因。我们再回顾下 Build 的基本流程:总结Knative 的 Build 利用 init container 实现了一个基于 K8s 生态的构建流程,用户可以自己定制构建场景,或者利用丰富的 build-template 实现构建,它可以作为一个独立的组件减少 K8s 构建的烦恼,更重要的是可以嵌入到 serving 中(偷偷预告一下后面的章节会讲到 build 如何和 serving 集成到一起)形成完整的 Serverless 生态,只有通过 Build 快捷地将源码变成镜像,才能让 serving 有源源不断的“粮草”大展身手。
  • 将kubernetes源加到huaweicloud.com开源镜像站
    将kubernetes源加到huaweicloud.com开源镜像站,方便使用。
  • 镜像现在不能用了么
    镜像现在不能用了么
  • [分享交流] 直播回看 | 容器-Docker容器和镜像相关技术讨论和解答
    《直播回看》栏目会将“华为云开发者者联盟”移动端课程平台的精品音视频直播课,定期进行展播,支持各位伙伴进行回看学习本期推荐: 容器-Docker容器和镜像相关技术讨论和解答【主讲人介绍】主讲人:Jarrey Zhou【课程大纲】我们将讨论Docker的基础知识,从Docker的安装到镜像和容器的制作和启动,致力于解决用户使用Docker制作镜像和运行容器遇到的问题,帮大家更快的掌握Docker的原理和学习21天转型云容器课程。【课程链接】可扫描下方二维码进入“华为云开发者联盟“移动端直播间收听课程
  • [教程指导] R语言环境安装
    安装R语言环境所需的插件以及RPM包可以通过镜像包安装,或者通过配置镜像源来安装。镜像的版本必须对应操作系统SP小版本,否则可能出现不匹配的问题。1.1       镜像包方式安装   首先,将对应linux操作系统所需的镜像包上传至linux服务器。如果需要安装的环境是redhat只能通过镜像包方式进行配置环境。镜像源方式找不到redhat源。通过脚本将镜像包挂载到linux下的mnt目录下。具体操作将附件install_R.zip。解压后执行脚本sh mount_ISO.sh。挂载完成后,执行yum repolist命令1.2       镜像源方式安装   如果安装操作系统环境是欧拉或者CentOS环境可以通过,编辑系统镜像源信息来获取安装插件或者RPM包。具体操作方式图下:u 首先在IE登录地址框中,输入不如下地址:https://cmc.rnd.huawei.com/mirror/index/cmcmirrors?fromCMC=true,然后登录成功后,点击“操作系统类型”,然后选择要镜像源操作系统类型。进去点击操作系统类型,然后点击“我要使用”出现如下窗口:下面以欧拉系统为实例,进行如下提示操作,可以将镜像源挂载成功。配置完成镜像源后,执行yum repolist检查是否成功。安装RPM包或插件   镜像挂载完成后,安装R语言环境之前首先安装RPM包、插件,才能保证R环境正常运行,安装成功。具体执行如下命令:yum install readline-devel*yum install libXt-devel*yum install *X11*yum install *x11*yum install *png* 如果缺少编译环境需要安装这步:yum install gcc*3   安装R语言环境   将附件install_R.zip解压后,然后解压tar -xf R-3.2.2.tar.gz,进入cd R-3.2.2后,执行如下命令进行预安装R语言环境:./configure --enable-R-shlib --with-libpng=yes --with-cairo==yes --with-jpeglib=yes --with-x=yes --with-readline=yes --with-blas=yes --with-lapack=yes --with-aqua=yes --with-tcltk=yes --with-libtiff=yes --with-system-zlib=yes --with-system-bzlib=yes --with-system-pcre=yes --with-system-tre=yes --with-system-xz=yes --with-recommended-packages=yes --with-ICU=yes --with-pic=yes --with-x=yes预安装完成后,进行编译执行make最后进行编安装:make install
  • [交流吐槽] 建议增加chocolatey软件镜像,涵盖大量免费开源软件
    https://chocolatey.org/这是首页,现在下载的很多免费软件都是第一时间上去看有没有。国内的软件管理太坑了。但是这个网站下载速度有点慢,貌似有时候还被墙,希望华为可以帮忙做个国内镜像,效果肯定很好。
  • rust语言cargo仓库镜像申请
    *镜像名称:cargo包管理工具镜像*镜像简介:rust crates 镜像*镜像源地址:https://crates.io/ ////以下为USTC的镜像地址https://lug.ustc.edu.cn/wiki/mirrors/help/rust-crates
  • Scientific Linux镜像申请
    Scientific Linux是由美国费米实验室赞助的一个基于RHEL的发行版。主要服务高能和高强度物理学界用户。在国际空间站也有运行这个操作系统。现在国内有关Scientific Linux的镜像源很少,因此请求申请一个。项目网站:http://scientificlinux.org同步方法:http://scientificlinux.org/documentation/setup-your-own-mirror/谢谢!
  • Rust Toolchain 反向代理
    镜像名称:Rust Toolchain 反向代理镜像简介:rustup 更新源镜像源地址:https://static.rust-lang.org同步方案:反向代理参考:https://mirrors.ustc.edu.cn/help/rust-static.html
  • [热门活动] 华为云中国站泰国区域通用计算型S3云服务器1核1G中Linux镜像实例于2019年5月7日00:00(北京...
    尊敬的华为云客户:华为云对中国站泰国区域通用计算型S3云服务器1核1G中Linux镜像实例的价格进行调整,新价格于2019/05/07 00:00(北京时间)正式生效,生效后中国站泰国区域通用计算型S3云服务器1核1G中Linux镜像实例的新购、续费均按调整后价格收取费用。具体价格详情如下:调价前实例规格规格大小镜像价格单位小时s3.small.11核1GLinux元0.07调价后实例规格规格大小镜像价格单位小时s3.small.11核1GLinux元0.11具体价格请在新价格生效后参考产品的计费详情页。如您有任何问题,可随时通过工单或者服务热线(+86-4000-955-988)与我们联系。感谢您对华为云的支持!
  • [体验馆] 最简容器化动手小实践——flappybird
    第一步:点击https://console.huaweicloud.com/cce2.0/?region=cn-north-1#/app/guidance/list,在领取免费集群弹窗中,勾选“我已阅读并同意上述条款”,点击“立即领取”,即可获得3天免费集群,并进入云容器引擎管理控制台。  第二步:在云容器引擎管理控制台,点击“工作负载”-“无状态”- “创建无状态工作负载”如图所示。 第三步:如图所示,配置基本信息,实例数量1个,然后点击“下一步”。第四步:点击“添加容器”,如图所示。第五步:点选“第三方镜像”,镜像名称处 输入下面的镜像地址:swr.cn-north-1.myhuaweicloud.com/hc_cce/flappybird:latest第六步:如图所示,基本信息保持默认值不变,点击“下一步”。 第七步:点击“添加服务”,然后如图所示,填写服务名称,选择公网访问,弹性IP,注意容器端口处填 80 。配置完毕后 点击“确定”-“下一步”。 第八步:点击“创建”,即可完成无状态工作负载创建环节。可查看负载详情、返回负载列表。第九步:在工作负载列表中,点击“外部访问地址”,即可开始享受这一虐心小游戏啦~
  • kali的镜像报错!
    如下图所报错误!
  • MX Linux镜像申请
    镜像名称:MX Linux镜像简介:目前DistroWatch排名第一的Linux发行版,如图同步方案:Please refer to https://mxlinux.org/wiki/rsyncserver/
  • LinuxMint镜像申请
    发行版:LinuxMint镜像简介:世界上最流行的Linux发行版之一镜像同步方案: Please refer to https://linuxmint.com/mirrors.php
  • 建议添加Gnu Guix System 镜像的支持
    GNU Guix项目旨在构建一个百分百自由软件的GNU系统,创建一个新的包管理器。Guix支持透明升级和回滚,无特权包管理,针对每个用户的配置文件,以及垃圾回收机制。在GPLv3协议下授权。GNU Guix 管理软件的方式,类似于git管理源代码的方式,这种方式非常容易实现软件多版本管理,透明升级和错误回滚,目前世界上,只有Nix和Guix,两种 linux 发行版开始使用这种模式。guix的包是构建可重现的,10年20年之后,用它提供的方式,构建出的同一个包,和现在构建的是一模一样,这个特性对于一些研究性工作非常有用。网址: https://www.gnu.org/software/guix/镜像建设参考: https://github.com/ustclug/mirrorrequest/issues/96
总条数:827 到第 页
上滑加载中