• [交流分享] 鲲鹏RC6:一类新算力,三种新高度,加速企业创新升级
    鲲鹏云服务器RC6有三大独特优势:高效能、高并发、高安全, 基于此提升性能新高度,加速行业创新,为企业升级提供了安全可靠的算力新选择。高效能,软硬合璧提升多元算力新高度鲲鹏云服务器RC6搭载华为自研鲲鹏920处理器,计算性能领先业界同类型云服务器8%,多核整型算力领先业界通用架构的云服务器15%。同时,针对鲲鹏920处理器,华为云在虚拟化层完成多项软硬件深度适配,在vCPU调度性能加速、内存性能优化、可靠性、QoS保障等方面均得到大幅提升。华为云软硬合璧的能力,让鲲鹏云服务器RC6一出场即具备超高效能优势,提升多元算力性能新高度。高并发,众核优势助力行业加速创新 鲲鹏云服务器RC6具备众核、低能耗的架构优势,它所搭载的业界第一颗7nm数据中心处理器,专为大数据和分布式存储等应用而设计。鲲鹏云服务器RC6将以更高的性能和更优的价格,帮助客户在大数据、HPC(图像渲染、基因测序)、电商、游戏、视频直播等高并发场景和行业加速创新,更好地应对Cloud2.0时代的来临。 高安全,全栈自研构筑业务护城河 源于在核心技术上的长期投入,华为云构筑了全栈自研的能力,从芯片、硬件到软件等均已实现全栈创新自研,并将该能力注入到鲲鹏云服务器RC6,为政企、金融等信息安全敏感型应用提供澎湃动能的同时,保障业务安全可靠。  
  • [技术干货] KubeEdge 向左,K3S 向右
    KubeEdge 是华为捐献给 CNCF 的第一个开源项目,也是全球首个基于 Kubernetes 扩展的,提供云边协同能力的开放式边缘计算平台。KubeEdge 的名字来源于 Kube + Edge,顾名思义就是依托 Kubernetes 的容器编排和调度能力,实现云边协同、计算下沉、海量设备接入等。K3S 是 Rancher 开源的一个自己裁剪的 Kubernetes **行版,K3S 名字来源于 K8s – 5,这里的“5”指的是 K3S 比 Kubernetes 更轻量使得它能更好地适配 CI,ARM,边缘技术,物联网和测试这 5 个场景。同样是基于 Kubernetes,同样是致力于解决边缘场景问题的开源软件,这两个项目不免经常被人拿来比较。本文将以边缘计算的实际场景和挑战为出**点,为您剖析 Kubernetes 能够在边缘计算领域的**力点,最后全方位对比 KubeEdge 和 K3S。边缘计算场景分类与挑战这里要讨论的“边缘”特指计算资源在地理分布上更加靠近设备,而远离云数据中心的资源节点。典型的边缘计算分为物联网(例如:下一代工业自动化,智慧城市,智能家居,大型商超等)和非物联网(例如:游戏,CDN 等)场景。在现实世界中,边缘计算无法单独存在,它必定要和远程数据中心 / 云打通(具体原因见下文)。以 IoT(Internet of Things,物联网)为例,边缘设备除了拥有传感器收集周边环境的数据外,还会从云端接收控制指令。边缘设备与云连接一般有两种模式:直连和通过中继边缘节点连接,如下图所示:边缘设备能否直连云端 / 数据中心取决于是否有全球唯一可路由的 IP,例如:手机、平板电脑等。不过,大部分的设备通过近场通信协议与边缘节点通信,进而和云端 / 数据中心连接的。边缘节点是设备的汇聚点,有分配 IP 地址,扮演了边缘网关的作用。边缘节点为普通的设备提供 IP 地址,也可以运行容器。我们注意到,边缘节点也是有不同层级的,而划分的标准之一就是资源(计算、存储、网络带宽等)的大小。如上所示,我们将 edge 分为“Device Edge”和“Infrastructure Edge”。Device Edge(设备边缘)是指那些并不被认为是 IT 基础设施组成部分的边缘节点,例如:火车、油田、工厂和家庭等。通常它们没什么计算能力,被用于解决最后“一公里”接入的问题,一个典型的例子就是智能路由器,它一端通过红外信号控制家中电器,另一端通过网络和云数据中心相连。由于设备边缘网络稳定性较差,因此必须要考虑它们会较长时间离线的情况(例如火车过隧道)。注:日常生活中很多设备我们可以看成是 device+device edge 的结合体,例如智能手机。Infrastructure Edge(基础设施边缘)相对于 Device Edge 计算和存储能力都更强,而且通常通过骨干网与数据中心连接,因此具有更大的网络带宽和更加可靠的网络连接,例如:CDN,游戏服务器等。基础设施边缘除了能运行容器外,有些甚至还有足够资源运行完整的 Kubernetes。对边缘节点进行分类的意义在于,针对不同层级的边缘需要有针对性的部署模型,并且平台要为边缘节点提供通信能力。最后,我们总结一下当前边缘计算领域面临的几个挑战:云边协同:AI/ 安全等业务在云和边的智能协同、弹性迁移;网络:边缘网络的可靠性和带宽限制;管理:边缘节点的资源管理与边缘应用生命周期管理;扩展:高度分布和大规模的可扩展性;异构:边缘异构硬件和通信协议。其中,云边协是当前面临最大的技术挑战!为什么我们需要云边协同边缘计算和云计算不是两种互斥的技术,它们是相辅相成的关系。而且从场景需求上看,IoT/Edge 与云数据中心有一些相似之处,例如:边缘也有管理节点的计算、存储、网络等资源的需求;边缘应用也想容器化和微服务化;边缘计算希望能有标准的 API 和工具链;安全,数据 / 信道加密和认证授权。因此,将云数据中心的现有架构和能力顺势延伸到边缘就变得水到渠成了。下面列举了一些需要云边协同的场景:AI 云上训练,边缘执行。即充分**挥云计算海量资源的优势,将 AI 模型的训练放在云端,而 AI 的执行则贴近设备侧;微服务,DevOps。微服务和 DevOps 不仅仅是云上开**的专利,将它们引入边缘将会显著加速嵌入式设备、机器人等 IoT 软件的迭代周期,提升部署和运维效率;数据备份转储。例如,海量的工业数据(加密后)存储在云端;远距离控制。云端远程下**对边缘设备的控制信号;自动扩展。由于边缘节点不如云具备良好的自动扩展能力,因此可以选择在峰值时将边缘的负载弹性扩容到云上。我们已经积累了足够的管理云上资源的经验,现在下一步的挑战就是如何构建一个边缘云平台,把对云上资源的管理方法延伸到边缘,让我们能够无缝地管理边缘的资源和设备。边缘云平台将重点解决以下问题:大规模 / 异构的设备,网关和边缘节点的接入;大量遥测数据汇聚、处理后提供给云端应用使用;设备安全和识别服务;支持远程下达对设备的指令;自动创建和管理边缘节点和设备;实现云端对边缘应用的编排、部署和配置;为边缘应用的开**提供数据存储、事件管理、API 管理和数据分析等能力。Kubernetes 的优势与挑战Kubernetes 已经成为云原生的标准,并且能够在任何基础设施上提供一致的云上体验。我们经常能够看到“容器 + Kubernetes”的组合在 DevOps **挥 10X 效率,最近也有越来越多 Kubernetes 运行在数据中心外(边缘)的需求。如果要在边缘部署较复杂的应用,那么 Kubernetes 是个理想的选择:容器的轻量化和可移植性非常适合边缘计算的场景;Kubernetes 已经被证明具备良好的可扩展性;能够跨底层基础设施提供一致的体验;同时支持集群和单机运维模式;Workload 抽象,例如:Deployment 和 Job 等;应用的滚动升级和回滚;围绕 Kubernetes 已经形成了一个强大的云原生技术生态圈,诸如:监控、日志、CI、存储、网络都能找到现成的工具链;支持异构的硬件配置(存储、CPU、GPU 等);用户可以使用熟悉的 kubectl 或者 helm chart 把 IoT 应用从云端推到边缘;边缘节点可以直接映射成 Kubernetes 的 Node 资源,而 Kubernetes 的扩展API(CRD)可以实现对边缘设备的抽象。然而 Kubernetes 毕竟是为云数据中心设计的,要想在边缘使用 Kubernetes 的能力,Kubernetes 或其扩展需要解决以下问题:ARM 的低功耗和多核的特点又使得其在 IoT/Edge 领域的应用非常广泛,然而大部分的 Kubernetes **行版并不支持 ARM 架构;很多设备边缘的资源规格有限,特别是 CPU 处理能力较弱,因此无法部署完整的 Kubernetes;Kubernetes 非常依赖 list/watch 机制,不支持离线运行,而边缘节点的离线又是常态,例如:设备休眠重启;Kubernetes 的运维相对于边缘场景用到的功能子集还是太复杂了;特殊的网络协议和拓扑要求。设备接入协议往往非 TCP/IP 协议,例如,工业物联网的 Modbus 和 OPC UA,消费物联网的 Bluetooth 和 ZigBee 等;设备多租。关于如何在边缘使用 Kubernetes,Kubernetes IoT/Edge WG 组织的一个调查显示,30% 的用户希望在边缘部署完整的 Kubernetes 集群,而 70% 的用户希望在云端部署 Kubernetes 的管理面并且在边缘节点上只部署 Kubernetes 的 agent。把 Kubernetes 从云端延伸到边缘,有两个开源项目做得不错,分别是 KubeEdge 和 K3S,下面我们将详解这两个项目,并做全方位的对比。KubeEdge 架构分析KubeEdge 是首个基于 Kubernetes 扩展的,提供云边协同能力的开放式智能边缘平台,也是 CNCF 在智能边缘领域的首个正式项目。KubeEdge 重点要解决的问题是:云边协同资源异构大规模轻量化一致的设备管理和接入体验KubeEdge 的架构如下所示:KubeEdge 架构上清晰地分为**层,分别是:云端、边缘和设备层,这是一个从云到边缘再到设备的完整开源边缘云平台,消除了用户厂商绑定的顾虑。KubeEdge 的边缘进程包含以下 5 个组件:edged 是个重新开**的轻量化 Kubelet,实现 Pod,Volume,Node 等 Kubernetes 资源对象的生命周期管理;metamanager 负责本地元数据的持久化,是边缘节点自治能力的关键;edgehub 是多路复用的消息通道,提供可靠和高效的云边信息同步;devicetwin 用于抽象物理设备并在云端生成一个设备状态的映射;eventbus 订阅来自于 MQTT Broker 的设备数据。KubeEdge 的云端进程包含以下 2 个组件:cloudhub 部署在云端,接收 edgehub 同步到云端的信息;edgecontroller 部署在云端,用于控制 Kubernetes API Server 与边缘的节点、应用和配置的状态同步。Kubernetes maser 运行在云端,用户可以直接通过 kubectl 命令行在云端管理边缘节点、设备和应用,使用习惯与 Kubernetes 原生的完全一致,无需重新适应。K3S 架构分析K3S 是 CNCF 官方认证的 Kubernetes **行版,开源时间较 KubeEdge 稍晚。K3S 专为在资源有限的环境中运行 Kubernetes 的研**和运维人员设计,目的是为了在 x86、ARM64 和 ARMv7D 架构的边缘节点上运行小型的 Kubernetes 集群。K3S 的整体架构如下所示:事实上,K3S 就是基于一个特定版本 Kubernetes(例如:1.13)直接做了代码修改。K3S 分 Server 和 Agent,Server 就是 Kubernetes 管理面组件 + SQLite 和 Tunnel Proxy,Agent 即 Kubernetes 的数据面 + Tunnel Proxy。为了减少运行 Kubernetes 所需的资源,K3S 对原生 Kubernetes 代码做了以下几个方面的修改:删除旧的、非必须的代码。K3S 不包括任何非默认的、Alpha 或者过时的 Kubernetes 功能。除此之外,K3S 还删除了所有非默认的 Admission Controller,in-tree 的 cloud provider 和存储插件;整合打包进程。为了节省内存,K3S 将原本以多进程方式运行的 Kubernetes 管理面和数据面的多个进程分别合并成一个来运行;使用 containderd 替换 Docker,显著减少运行时占用空间;引入 SQLite 代替 etcd 作为管理面数据存储,并用 SQLite 实现了 list/watch 接口,即 Tunnel Proxy;加了一个简单的安装程序。K3S 的所有组件(包括 Server 和 Agent)都运行在边缘,因此不涉及云边协同。如果 K3S 要落到生产,在 K3S 之上应该还有一个集群管理方案负责跨集群的应用管理、监控、告警、日志、安全和策略等,遗憾的是 Rancher 尚未开源这部分能力。KubeEdge 与 K3S 全方位对比部署模型KubeEdge 遵循的是以下部署模型:KubeEdge 是一种完全去中心化的部署模式,管理面部署在云端,边缘节点无需太多资源就能运行 Kubernetes 的 agent,云边通过消息协同。从 Kubernetes 的角度看,边缘节点 + 云端才是一个完整的 Kubernetes 集群。这种部署模型能够同时满足“设备边缘”和“基础设施边缘”场景的部署要求。K3S 的部署模型如下所示:K3S 会在边缘运行完整的 Kubernetes 集群,这意味着 K3S 并不是一个去中心化的部署模型,每个边缘都需要额外部署 Kubernetes 管理面。这种部署模型带来的问题有:在边缘安装 Kubernetes 管理面将消耗较多资源,因此该部署模型只适合资源充足的“基础设施边缘”场景,并不适用于资源较少的“设备边缘”的场景;集群之间网络需要打通;为了管理边缘 Kubernetes 集群还需要在上面叠加一层多集群管理组件(遗憾的是该组件未开源)。云边协同云边协同是 KubeEdge 的一大亮点。KubeEdge 通过 Kubernetes 标准 API 在云端管理边缘节点、设备和工作负载的增删改查。边缘节点的系统升级和应用程序更新都可以直接从云端下**,提升边缘的运维效率。另外,KubeEdge 底层优化的多路复用消息通道相对于 Kubernetes 基于 HTTP 长连接的 list/watch 机制扩展性更好,允许海量边缘节点和设备的接入。KubeEdge 云端组件完全开源,用户可以在任何公有云 / 私有云上部署 KubeEdge 而不用担心厂商锁定,并且自由集成公有云的其他服务。K3S 并不提供云边协同的能力。边缘节点离线自治与 Kubernetes 集群的节点不同,边缘节点需要在完全断开连接的模式下自主工作,并不会定期进行状态同步,只有在重连时才会与控制面通信。此模式与 Kubernetes 管理面和工作节点通过心跳和 list/watch 保持状态更新的原始设计非常不同。KubeEdge 通过消息总线和元数据本地存储实现了节点的离线自治。用户期望的控制面配置和设备实时状态更新都通过消息同步到本地存储,这样节点在离线情况下即使重启也不会丢失管理元数据,并保持对本节点设备和应用的管理能力。K3S 也不涉及这方面能力。设备管理KubeEdge 提供了可插拔式的设备统一管理框架,允许用户在此框架上根据不同的协议或实际需求开**设备接入驱动。当前已经支持和计划支持的协议有:MQTT,BlueTooth,OPC UA,Modbus 等,随着越来越多社区合作伙伴的加入,KubeEdge 未来会支持更多的设备通信协议。KubeEdge 通过 device twins/digital twins 实现设备状态的更新和同步,并在云端提供 Kubernetes 的扩展 API 抽象设备对象,用户可以在云端使用 kubectl 操作 Kubernetes 资源对象的方式管理边缘设备。K3S 并不涉及这方面能力。轻量化为了将 Kubernetes 部署在边缘,KubeEdge 和 K3S 都进行了轻量化的改造。区别在于 K3S 的方向是基于社区版 Kubernetes 不断做减法(包括管理面和控制面),而 KubeEdge 则是保留了 Kubernetes 管理面,重新开**了节点 agent。需要注意的是,K3S 在裁剪 Kubernetes 的过程中导致部分管理面能力的缺失,例如:一些 Admission Controller。而 KubeEdge 则完整地保留了 Kubernetes 管理面,没有修改过一行代码。下面我们将从二进制大小、内存和 CPU **个维度对比 KubeEdge 和 K3S 的资源消耗情况。由于 KubeEdge 的管理面部署在云端,用户不太关心云端资源的消耗,而 K3S 的 server 和 agent 均运行在边缘,因此下面将对比 KubeEdge agent,K3S agent 和 K3S server 这**个不同的进程的 CPU 和内存的资源消耗。测试机规格为 4 vCPU,8GB RAM。内存消耗对比分别用 KubeEdge 和 K3S 部署 0~100 个应用,分别观测两者的内存消耗,对比如下所示:从上图可以看出,内存消耗:KubeEdge agent < K3S agent < K3S Server。有意思的是,K3S agent 即使不运行应用也消耗 100+MB 的内存,而 K3S server 在空跑的情况下内存消耗也在 300MB 左右。CPU 使用对比分别用 KubeEdge 和 K3S 部署 0~100 个应用,分别观测两者的 CPU 使用情况,对比如下所示:从上图可以看出,KubeEdge agent CPU 消耗要比 K3S agent 和 server 都要少。二进制大小KubeEdge agent 二进制大小为 62MB,K3S 二进制大小为 36MB。大规模Kubernetes 原生的可扩展性受制于 list/watch 的长连接消耗,生产环境能够稳定支持的节点规模是 1000 左右。KubeEdge 作为华为云智能边缘服务 IEF 的内核,通过多路复用的消息通道优化了云边的通信的性能,压测**现可以轻松支持 5000+ 节点。而 K3S 的集群管理技术尚未开源,因为无法得知 K3S 管理大规模集群的能力。小结K3S 最让人印象深刻的创新在于其对 Kubernetes 小型化做的尝试,通过剪裁了 Kubernetes 一些不常用功能并且合并多个组件到一个进程运行的方式,使得一些资源较充足的边缘节点上能够运行 Kubernetes,让边缘场景下的用户也能获得一致的 Kubernetes 体验。然而通过上面的性能对比数据**现,K3S 的资源消耗还是比 KubeEdge 要高出好几倍,而且动辄几百 MB 的内存也不是大多数设备边缘节点所能提供的。最重要的是,Kubernetes 最初是为云数据中心而设计的,很多边缘计算场景特殊的问题原生 Kubernetes 无法很好地解决, K3S 直接修改 Kubernetes 的代码甚至基础实现机制(例如,使用 SQLite 替换 etcd)的做法仍值得商榷。关于什么能改,什么不能改以及怎么改?每个用户根据自己的实际需求有各自的观点,而且也很难达成一致。另外, K3S 这种侵入式的修改能否持续跟进 Kubernetes 上游的**展也是一个未知数。KubeEdge 和 K3S 走的是另一条道路,KubeEdge 是一个从云到边缘再到设备的完整边缘云平台,它与 Kubernetes 的耦合仅仅是 100% 兼容 Kubernetes 原生 API。KubeEdge 提供了 K3S 所不具备的云边协同能力,开**了更轻量的边缘容器管理 agent,解决了原生 Kubernetes 在边缘场景下的离线自治问题,并且支持海量异构边缘设备的接入等。KubeEdge 最近捐献给 CNCF,成为 CNCF 边缘计算领域的第一个正式项目,就是为了和社区合作伙伴一起制定云和边缘计算协同的标准,结束边缘计算没有统一标准和参考架构的混沌状态,共同推动边缘计算的产业**展。最后,边缘计算还有广阔的**展前景,KubeEdge 和 K3S 都是非常年轻的优秀开源项目,我相信未来他们会在相互学习的过程**同进步,更好地解决边缘计算用户的需求。
  • [热门活动] 华为云技术沙龙 · 边缘计算专场(杭州站)圆满落幕 - 暨边缘计算开发者大赛巡回沙龙
    2019年6月3日,华为云技术沙龙.边缘计算专场来到了江南名城杭州,尽管当天天气炎热,气温高达34度,但仍有近300+开发者和合作伙伴冒着酷暑前来,挤满了杭州十六铺咖啡还算不小的会场,还未到活动的正式开始时间,会场已经呈现了爆满之势,这在技术沙龙活动中实属罕见。华为云IEF成就边缘开发者的“不凡”在有着海量数据的未来,将有数十亿部设备连接到互联网,因此更快更可靠的数据处理将变得至关重要。近年来,云计算的整合与集中化性质被证明具有成本效益和灵活性,但物联网和移动计算的兴起所带来的海量的数据处理和传输要求却给网络带宽带来了很大的压力。最终,并不是所有的智能设备都能够通过利用云计算来运行。而且在某些情况下,这种数据的传输也应该被避免。由此,边缘计算应运而生。边缘计算实现数据按需分流到近端侧的边缘,并可以减少端云之间数据来回传输,也为一些实时性需求提供了一定的支持,因此,边缘计算被认为是未来最重要的技术趋势之一,在世界知名咨询公司Gartner公布的2019十大技术趋势中,边缘计算赫然在列。然而,当开发者想要进行边缘计算相关应用开发时,却发现并没有一个合适的开发平台可以适用,或者说即使有,也只是一个孤立的开发平台,无法实现云边协同,而云边系统对于边缘计算非常重要。因为边缘计算实质上是云计算架构的补充或延伸,连上云的边缘才有强大的能力和灵活性,连上边的云才有数据引流上云和应用服务落地点。针对此种情况,华为云推出智能边缘平台服务IEF,以华为云作为智能数据底座、基础AI平台,通过智能边缘平台服务IEF将智能推向边缘,从而为开发者打造了一个轻松进行边缘应用开发的平台。华为云IEF服务产品经理Ryan在沙龙上介绍说,IEF原生支持Kubernetes与Docker生态,着力于构建云原生的边缘计算,其在边缘场景下应用治理、Serverless等做了大量的探索,具有轻量级的边缘函数和容器引擎以及边云一致的生态。IEF最小可支持运行在128M内存的边缘设备上,满足大部分客户的应用场景。最后,IEF可以将华为云AI能力、大数据能力延伸到边缘,并与云上服务完成数据协同、任务协同、管理协同、安全协同,实现真正意义上的”边云协同”。IEF正在通过第三方边缘硬件认证和边缘应用市场等计划促进边缘计算生态系统,开发者可以在边缘应用市场发布优质应用,并通过”许可”的方给客户使用。同时,系统集成商SI根据需要项目的要求选择边缘应用快速创建边云协同解决方案,无论对应用开发者还是系统集成商都是双赢的局面。同时,脱胎于IEF服务的KubeEdge开源项目是全球首个加入CNCF社区的智能边缘项目 ,已开放给广大开发者,帮助开发者可根据自身需求进行定制开发。为了帮助开发者能够更直观的感受IEF为开发者带来的便利,Ryan还在沙龙现场演示了如何基于华为云IEF服务和人脸识别服务结合快速构建边云协同的解决方案,解决在园区视频监控场景中低时延、大数据量的痛点。华为MEC助5G开发者打造“不凡”众所周知,5G是除了边缘计算以外最为令人兴奋的技术,5G具有颠覆社会的能力,能够使全行业数字化转型成为可能。从VR/AR、蜂窝无人机到无线机器人、车联网、智慧医疗都离不开5G,5G将会率先满足4G流量难以承载的高清视频、VR/AR等高流量业务。智能安防、物联网的部署节奏也将随后跟上,无人驾驶等低时延的业务需求也将稳步推进,工业机器人等实时性要求较高的低时延的应用场景的标准化也在逐步实行。5G时代,开发者需要围绕着5G的应用场景,着力发展相关开发技能,就目前发展阶段而言,首当其冲的是VR/AR、智能安防等相关的开发技术。然而,开发者进行VR/AR、智能安防等相关领域开发时,实际上面临着很多困难和挑战,例如,软硬件市场混乱,让开发者们无所适从。因为没有统一的标准,所以各家都在构筑自己的开发平台等。这些因素很大程度上阻碍了5G领域技术的创新和生态发展。而华为5G MEC的出现,则为开发者开发5G相关应用提供了一个非常完善和成熟的解决方案。华为MEC产品解决方案高级工程师徐建鹏表示,华为5G MEC具有联接+计算最佳匹配的智简边缘能力,可以提供分流策略自动化、QoS保障、计费等网络能力开放,满足丰富的应用场景。它还具有超强计算能力、极致转发能力、兼容虚拟机和容器的异构平台,集成多种计算芯片,支持GPU加速,应对5G时代流量激增的处理需求等功能。华为5G MEC支持虚机容器生态,支持App、**和深度API集成,也支持远程分层运维以及DNS、LB、NAT等协议的一站式服务预集成。开发者通过华为的MEC平台API接口,可以结合位置信息、QoS信息优化用户体验,并开放自身服务,反哺边缘生态。这些都为开发者开发“不凡”的5G应用提供了有力的支持。目前,华为MEC已经成功应用于北京世园会无人机VR直播、宁波镇海炼化智慧工厂、江阴智慧码头等项目,验证了华为5G MEC平台的成熟度与便利性,及赋予开发者的强大能力。在沙龙现场,Insta360产品技术总监王鹏、中盛益华产品开发总监王升旭还为到场的数百名开发者分别演示了如何基于5G MEC快速构建Cloud AR/VR以及智能安防应用。令现场的开发者大呼过瘾。华为技术专家和第三方合作专家的精彩演讲吸引了众多开发者聚精会神的聆听,现场的互动环节也热烈非常,众多开发者争相提问,演讲讲师从容作答,现场气氛一度达到高潮。2019华为开发者大赛全栈开放,引爆无限可能华为开发者大赛是华为公司最顶级的开发者大赛,是华为公司面向全球开发者的创新大赛,为您提供一个耕耘梦想、实践创新的平台,鼓励更多开发者基于华为平台和能力进行产品与方案的创新,并获得商业推广。从创意落地到应用实践,尽在华为开发者大赛!华为开发者大赛边缘计算赛道-奖项设置参赛团队有机会和业界优秀行业伙伴交流碰撞、联合创新,从商业和影响力方面获得收益,获奖作品将直接入选华为智能边缘应用市场,获华为云销售&渠道推广机会、线上联合促销等机会。高校或个人获奖团队开发者将获得华为公司实习或合适岗位推荐。获奖者将获得上海华为全联接大会HC2019 Day3门票、往返机票,并担任后续开发者活动的嘉宾,入决赛者将获得在东莞华为松山湖欧洲小镇决赛路演免费往返机票;商业落地一等奖作品将入驻:2019年华为全联接大会、边缘计算产业联盟峰会、工业互联网产业联盟峰会;IEF智能边缘平台参赛团队及获奖作品其他权益:获奖者将获得IEF智能边缘平台免费使用权限;一等奖,12个月;二等奖,8个月;三等奖,4个月;报名地址:https://developer.huaweicloud.com/competition/competitions/1000000102/introduction
  • [技术干货] 华为云智能边缘市场2.0上线:重新定义边缘计算的构建方式
    近日,华为云发布了智能边缘市场2.0,包括边缘应用中心和边缘硬件中心两大模块。华为云智能边缘市场2.0是在智能边缘平台IEF基础上构建的开发者、边缘硬件提供商、ISV以及系统集成商的生态社区,提供边缘应用(如AI推理模型、IoT数据接入、消息中间件)、边缘硬件、边云协同解决方案案例等内容共享功能,为边缘应用开发商、解决方案集成商、企业及个人开发者等群体,提供安全、开放的边缘计算产业的共享环境,有效连接边缘计算开发生态链各参与方,加速边缘计算解决方案产品的开发与落地。 边缘应用中心:发布及订阅边缘应用众所周知,完整的边云协同解决方案在边缘会由许多独立功能组成,可能会包括不同的业务逻辑,比如:l  提供数据分析框架,如流计算、时序数据库等,在边缘进行数据清洗以及可视化处理;l  在边缘节点上执行高价值AI推理模型,例如图像识别、视频分析、文字识别;l  提供边缘消息总线,如MQTT Broker等;l  从使用OPC-UA、Modbus等特定协议的设备读取数据,满足工业设备的数据接入需求;对解决方案集成商来说,其对边缘应用的能力并不专业,同时也不想花时间自己编写这些功能,边缘应用中心的发布给解决方案集成商带来了福音!边缘应用开发商可以在边缘应用中心认证自己的账号并进行信用经营,开发商可以将自己的应用打包为Docker镜像并发布到市场,同时可以为自己的应用指定不同的发布权限与License控制并授权给指定用户使用,可以为其添加画像属性,方便买家用户快速定位目标。这些发布的应用将会经过质量认证,并针对安全漏洞进行扫描,保证其的稳定性和安全性。这样,解决方案集成商从边缘应用中心选择自己的需要的边缘应用,一键快速部署到边缘节点,可以让边缘计算生态系统中的解决方案集成商能快速构建端到端解决方案,及时响应市场需求,快速推进项目落地,把握住商业机会。智能边缘市场已上架多种边缘应用,如多种视频分析AI算法(人脸识别、热力图、入侵检测、人员徘徊等等)、边缘时序数据库、边缘流计算Flink、ROMA site、边缘区块链、Modbus连接器、OPC-UA连接器等等。另外,还将与EMQ等公司合作,未来提供更多的边缘中间件。边缘硬件中心:促成硬件提供商与解决方案集成商双赢边缘硬件中心的主要功能是硬件提供商可以发布与IEF兼容的硬件产品,边缘计算解决方案集成商可以在边缘硬件中心选择适合自己场景的边缘硬件。边缘硬件中心的硬件将覆盖服务器、工控机、工业网关、开发板等类型,硬件架构覆盖X86、ARM,可以满足大部分客户的诉求。边缘硬件中心将会给硬件提供商提供IEF兼容性测试的测试套,一键完成认证与上架。这样,无论对硬件提供商还是集成商都是双赢的局面。目前,华为云智能边缘平台IEF已成为边云协同解决方案的标准方案,并已经逐步在智慧园区、智能制造、物流、智慧城市、水利等场景进行大规模应用。未来,华为云还将发布边云协同解决方案案例模块,方便客户快速选择适合自己的方案,快速实现项目落地。参加2019华为开发者大赛边缘计算赛道,引爆无限可能 报名地址:https://developer.huaweicloud.com/competition/competitions/1000000102/introduction详情请访问智能边缘市场: https://console.huaweicloud.com/ief2.0/?region=cn-north-4#/app/edgeMarket/application/list
  • [云原生生态] 容器-云计算3.0 云原生生态是新的风口吗
          我loaction in 深圳,就是一个普通的资源开发整合,从云计算了解到之前的openstack是云计算的2.0,容器是云计算的3.0,现在从原生的角度来看一个事情,越容易实现公司项目的需求,这个就是我要的王道,就是如何让1+1>2是一个资源开发整合者的基本追求。       现在身在一个大企业中,技术运维等各种能力不是那么强悍的时候,这个时候就特别需要华为云的原生的生态去运维我司的业务,出现故障问题能够第一时间找到华为云的售后去解决问题,这个就是我希望要的效果吧。      容器来说比较轻量级别,对于一些应用或者说应用的迁移切换具备很多openstack挺多的优势,比如容器可以很快就起来一个的了,容器我经常理解为一个业务层的平台,非常快,期待容器的的操作更加傻瓜一些会更好。    云原生必然跟开业很多框架是生态化的,这样的话必然会有很多免费开源可以使用的东西,这样对我们来说确实是一个特别好的事情,我们也期待华为云的容器的CCE等原生态有更好的升级和更好的有机组合。   不单单是容器,现在时势都在谈论原生技术生态,作为一个技术的爱好者必须跟上学习的,不然可能就会错过风口,然后根据自己的业务项目情况判断一下是否要上到业务去,或者自己也会做一些灰度测试,或者灰度切换一部分业务上去跑一下。    在新的风口上,我起码努力去接触过,我努力过,人生能够遇上技术浪潮,跟上技术浪潮,我此生便无悔!     
  • [分享交流] 云早报2019年5月汇总帖
    百度云升级天工IoT平台 发布九大新品恩智浦将斥资18亿美元收购Marvel通信芯片业务网宿9.9亿出售的秦淮数据,今融资39亿阿里 36 亿元入股千方科技成第二大股东,占股 15% 财政部、国家税务总局对集成电路设计和软件企业实施税收优惠中国 AI 市场之「计算机视觉」市场份额亚马逊AWS出海加速营正式启动 蓝汛CEO王松涉嫌贿赂被捕VMware收购另一家面向Kubernetes的初创公司:Bitnami阿里云 2019 财年营收 247 亿元,亏损 11.58 亿元网络安全等保2.0标准发布:包括基本、测评、安全设计三个部分百度再建超大规模云计算中心,将落户西安2019年 Q1 全球IaaS、PaaS市场份额:AWS、Azure、谷歌云... 微软公布新平台架构 Azure多项更新了解更多
  • [技术干货] 当云厂商和电信运营商聊边缘计算时,他们在谈论什么?
    万物互联的时代,网络连接对象正从人扩展至物。IDC统计数据显示,到2020年,将有超过500亿终端与设备联入网络。这说明,随着物联网规模的快速增长以及5G时代的日益临近,集中式的数据存储、处理模式将面临难解的瓶颈和压力,此时在靠近数据产生的网络边缘提供数据处理能力和服务是推动ICT产业发展的重要驱动力,边缘计算(Edge Computing)概念由此而生。边缘计算实在靠近物或者数据源头的网络边缘侧,融合网络、计算、存储、应用核心能力的分布式开放平台,就近提供边缘智能服务。Gartner预测,2022年超过50%的企业数据产生在云和数据中心之外。在其近期公布的2019十大技术趋势中,边缘计算位列其中,Gartner认为从云到边缘(Cloud to the Edge)被视为未来科技发展的重要趋势。忽然间,所有人都在谈论边缘计算,有IT界公有云巨头,有CT界电信运营商,也有OT界的制造业领头羊。不同领域的玩家谈论边缘计算的语境并不相同,很多人都会有困惑。对此,本文将主要玩家分为以下几类,以便理解:第一类:公有云厂商,该类厂商将公有云服务延伸至边缘,通过AI+IoT能力无缝扩展至边缘设备;第二类:电信运营商,在5G网络建设中推进网络云化,在通信网络边缘引入边缘计算节点,例如中国电信、中国联通、中国移动等均在积极探索网络边缘机房DC化改造;第三类:视频监控提供商(大华、海康等)、CDN提供商(如网宿科技)等专业服务提供商;第四类:工业设备、边缘服务器、边缘芯片制造商等。本文试图站在公有云厂商和电信运营商视角,窥探他们眼中的边缘计算。公有云厂家AWS近几年,向来以“敏捷”著称的公有云厂商纷纷推出边缘计算服务。AWS是最早发布边缘计算服务的公有云厂商。2017年6月,AWS Greengrass正式商用,宣传重点是Greengrass支持AWS Lambda。由于缺乏ML和AI支持,马上招致业界批评“太保守”、“只是一个现场网关”等。2018年4月,AWS Greengrass迅速推出提供机器学习推理 ML Inference @Edge功能的版本 ,用户需要在Greengrass Core设备上安装预编译好的TensorFlow或MXNet运行库,再把AWS SageMaker培训好的模型导出发布至Greengrass组。通过这一创新性产品,瞬间提高了边缘计算在未来发展的想象空间,用户可以在几分钟内将一个普通的硬件变成一个聪明的硬件,可以做视频分析、图像处理、文字识别。此后,AWS再接再厉陆续发布了系列边缘硬件,如Snowball Edge、Deeplens。Snowball Edges是一款数据传输与计算设备,基于Greengrass和Lambda可以运行AI推理任务,也可以运行Amazon EC2实例,用户可以通过租赁方式使用该款边缘硬件。DeepLens是一个面向图像/视频场景的机器学习开发者解决方案,将SageMaker的机器学习模型、Lambda的业务逻辑处理、GreenGrass的边缘部署能力整合到一款叫“Deeplens”的摄像头,用户可以实时更新机器学习模型,满足不同的个性化需求。可以看出,AWS边缘计算的思路是基于Greengrass 作为内核构建,搭配AI服务、IoT服务,期望拉动更多场景、更多数据上云,消耗更多公有云资源,并且从开始探索在边缘进行简单数据处理(IoT+边缘)逐步演进到复杂数据处理(AI+边缘)的产品形态。 AZURE微软在Build 2017发布了Azure IoT Edge服务,主题是让AI走向边缘,并战略投入边缘计算,认为未来是智能云(Intelligent Cloud)与智能边缘(Intelligent Edge)的世界。微软认为,随着物联网终端数据越来越多,会要求更多的计算能力下沉,强调边缘AI,支持以容器和函数计算的方式将AI能力下沉,为公有云引流。·         微软在边缘计算领域显得更加开放,看重生态建设,开源Azure IoT Edge Runtime,吸引开发者参与,扩大生态影响力,同时希望大力发展边缘硬件合作伙伴认证以及边缘应用市场来繁荣生态;·         聚焦智能,将云智能和分析扩展到边缘,边缘能力逐渐增强,支持部署机器学习、计算机视觉模型、流分析、数据库等。与AWS一样,微软也发布了自家的边缘硬件Azure Data Box系列产品,有支持在线运行的Data Box Edge以及Data Box Gateway,也有离线数据传输的Data Box Disk,Data Box以及Data Box Heavy。其中Data Box Edge是一款基于Azure IoT Edge服务的产品,可以提供存储网关(数据传输)、IoT Edge应用(函数, ML, 流数据分析)以及FPGA加速的AI 模型推理。 HUAWEI Cloud华为在边缘AI芯片、边缘服务器、AI方面都有相当多的技术积累,可以简单概括为ABCDE, 即Algorithms +Big Data +Cloud +Edge +Device,称之为人工智能立体化应用。2018年初,华为云发布智能边缘平台(Intelligent EdgeFabric, IEF)受到广泛关注。IEF原生支持kubernetes和docker生态,将云原生技术带入边缘计算。·         IEF通过与华为云ModelArts服务配合,通过云端模型训练,边缘推理等方式,支持视频分析、文字识别、图像识别等20+AI模型下沉,将智能下沉到边缘。目前已在智慧园区、工业制造、零售商超等领域实践,具有广泛应用前景;·         通过与边缘服务器整合,提供软硬一体化解决方案,为用户提供低成本、开箱即用、云上集中运维的一站式服务;·         与华为自研Ascend昇腾芯片深度集成,形成高性能、低成本的边缘AI推理算力;·         针对边缘场景优化,当边缘节点和云端网络不稳定时甚至完全不通时,实现本地自治;·         此外,IEF还开放了边缘应用市场,期望与合作伙伴一起繁荣边缘计算生态。值得一提的是,源自华为云IEF产品的KubeEdge开源项目已经成功加入CNCF社区,这意味着云原生社区对边缘计算领域的关注与重视。另一方面, 为了解决Kubernetes在IoT Edge场景下的问题,Kubernetes社区成立了一个新的工作组:IoT Edge WG,该工作组由华为、红帽、Google和VMWare共同领导。目标是定义边缘计算标准,提供一个能够适应多种Edge场景的参考架构。相信随着云原生技术不能渗透到边缘计算,势必会给边缘计算注入新的活力。 其他以上场景都为现场级的边缘计算,旨在解决最后一公里问题。此外,也有公有云厂商开始探索在其自营CDN站点构建边缘计算的能力,连接最后100公里,通过CDN机房大带宽,低时延的优势,提供基于CDN的边缘弹性基础设施,将计算、转发等业务下沉至边缘,降低响应时延和带宽成本、减轻中心集群压力,适用于“中心+边缘”架构模型下的各类业务,如直播、在线教育等。在此模式下,用户可以弹性付费算力资源(普通虚机,GPU虚机)、就近处理业务。以直播行业为例,在距离主播或粉丝最近的网络边缘,智能接入时延和质量等指标最优的节点。节点中部署音视频流转发模块,快速并稳定地接收主播推流或者粉丝连麦数据流,同时基于对覆盖节点间实时网络质量的评估,寻找最优网络链路,转发到直播中心进行处理。由于客户要在CDN边缘站点构建业务,随着业务复杂性不断提升,对CDN边缘站点弹性能力、运维能力也提出了很高要求,势必会加速引导PaaS形态服务能力下沉,尤其是以Kubernetes和Docker为代表的云原生技术。除此之外,以Rancher为代表耕耘在私有云领域的厂商也开始基于k8s等云原生技术发布边缘计算产品k3s,以满足在边缘计算环境下运行在x86、ARM64 和 ARMv7 处理器上的小型、易于管理的 Kubernetes 集群日益增长的需求,主要应用于嵌入式设备、CI环境等场景。公有云玩家总结可以看出,云计算厂家对边缘计算的理解和定位不尽相同,可谓百花齐放。事实上,公有云在边缘计算领域的业务探索尚属起步阶段,也面临着很多挑战。边缘计算的特殊性是面临不同的细分市场,需要结合行业和解决方案,提出具体应用场景,解决用户业务实际问题的能力,这才是一个真正能够构筑竞争力的地方。关键在于知道用什么形态的硬件,AI算法或算子,应对什么场景下的问题。这需要对场景有深入了解,并对业务应用有一定投入,也需要时间和经验的积累。从客户视角出发,应以解决行业问题为主,这样才能持续促进边缘计算产业的发展。电信运营商运营商为什么要为边缘计算摇旗呐喊?再来说说电信运营商眼中的边缘计算。电信运营商为什么也要为边缘计算摇旗呐喊?这要从5G业务说起。5G即将来临,就在近期,华为公布了5G折叠屏手机,5G离用户生活越来越近。诞生之初,5G便定义了三大应用场景:eMBB(增强移动宽带)、mMTC (海量机器类通信)和 uRLLC(超可靠低时延通信),相应的为满足高清视频、智慧城市、车联网等业务需求提供技术支持。值得关注的是,每个业务场景都有其自身所面临的一些挑战。·         eMBB 将对网络带宽产生数百Gbps的超高需求,对骨干网络造成巨大传输压力,运营商如果通过扩容汇聚与城域网络的手段来应对这个问题,将大幅提高单位媒体流传输成本,无法实现投资收益;·         uRLLC需要端到端1ms级超低时延支撑,仅仅依赖无线与固网物理层与传输层技术进步,无法满足苛刻的时延需求;·         mMTC将产生海量数据,导致运营管理的巨大挑战,仅仅由云端集中统一监控无法支撑如此复杂的物联系统。所以,从5G应用场景出发,权衡技术难度和成本等因素,运营商采用边缘计算来应对5G是最优方案。边缘计算可以为这些问题带来解决方案。首先,通过对4K/8K、VR/AR等高带宽业务的本地分流,降低对核心网络及骨干传输网络的占用,有效提升通信服务提供商网络的利用率;二是通过内容与计算能力的下沉,可以让电信运营商的网络有效支撑未来时延敏感型业务(车联网、远程医疗等)以及大计算和高处理能力需求的业务(视频监控与分析等),减短了由数据传输速度和带宽限制所带来的延时。由此可见,5G时代的到来离不开边缘计算,也是5G服务于垂直行业的重要利器之一。欧洲电信标准协会为电信领域的边缘计算命名为多接入边缘计算(Multi-Access Edge Computing,MEC)。2016年4月,3GPP SA2* 也正式接受MEC,将之列为5G架构的关键技术。MEC部署在电信网络的哪个位置?其答案并不是绝对的。边缘计算的部署跟它的应用场景有着紧密关系。其决策因素包括: 对网络质量要求不同,以及场景应用要达到的时延要求等。以人们起初对边缘计算的认知,应该部署在最靠近用户的位置,比如在接入网的基站位置。的确,部署在基站,应用可以“近水楼台先得月”,实实在在满足低时延和高带宽需求,这对时延敏感型应用场景最合适不过。但这并不是唯一的应用场景。总的来说,边缘计算可以按需部署于无线接入边缘云、汇聚边缘云或者城域边缘云。对于时延要求比较苛刻场景,边缘计算需要部署于靠近基站侧的无线接入边缘云;对于高带宽要求的大流量热点地区,边缘计算可以部署于汇聚边缘云;对于海量连接场景,边缘计算可部署于位置更高一些的城域边缘云,以便覆盖更大区域的业务需求。MEC的平台形态未来,电信运营商可能会根据场景为用户提供不同位置的边缘计算服务。这些边缘计算节点大多以云的形式存在,是一个个微型数据中心,涉及到IaaS、PaaS以及行业应用SaaS,运营商利用其自身网络资源的独特优势,可以通过基础PaaS平台为上层垂直应用提供特色网络能力。以视频优化加速来说,电信运营商的边缘计算平台可以为OTT视频业务提供API接口以获取RAN侧无线信道等信息,位置服务能力、无线信息能力、QoS服务能力等,也可以结合用户在移动网络内的身份信息、行为习惯信息等数据,提供个性化交互式服务,这是电信边缘计算PaaS平台的独特能力。中国移动在2019世界移动大会(MWC 2019),中国移动发布边缘计算“Pioneer 300”先锋行动,旨在推进电信领域的边缘计算技术发展和生态繁荣。与此同时,中国移动对外发布《中国移动边缘计算技术白皮书》,详细阐述了中国移动边缘计算的发展背景和对边缘计算PaaS、IaaS技术,以及硬件体系的解读。在PaaS方面,运营商利用自身网络资源的独特优势,可以通过基础PaaS平台为上层应用提供各类特色网络能力。在IaaS方面,基于运营商在NFV领域的探索,边缘计算需要考虑基础设施层面与NFV的共享和融合,同时也要兼顾独立部署的能力。对于PaaS层,中国移动认为,边缘计算提供 PaaS 层服务,既能作为增值服务为平台创收,又能降低应用上线的难度。与此同时,PaaS平台主要是为了解决:业务部署、业务开通、无线能力和核心网能力引入、边缘计算PaaS平台SDK、第三方平台的PaaS能力、业务运维、多节点管理等问题。白皮书指出,边缘计算PaaS平台会引入Serverless、ServiceMesh、微服务框架等Cloud Native技术来开发和运维应用,增强边缘计算的应用开发效率和运维效率。对于IaaS层,边缘计算 IaaS 服务于云化形态的边缘应用,是用来部署和运行边缘计算业务和相关网元功能的云化基础设施,是云计算技术与边缘计算场景的结合。白皮书认为边缘计算IaaS的形态分成几种:1) 裸机容器云,通过kubernetes+katacontainer的方式来实现 (题外话:公有云厂商往往将kubernetes+容器的技术归为PaaS层);2) 统一虚机云,通过OpenStack完成对电信网元和边缘应用的隔离和资源划分;3) 混合云,基于OpenStack和kubernetes混合部署,电信网元由虚机承载,边缘应用由裸机容器承载等。在应用领域,中国移动成立的边缘计算开放实验室已经和合作伙伴进行试验床建设共15项,涉及高清视频处理、vPLC、人工智能、 TSN 等新兴技术,涵盖智慧楼宇、智慧建造、柔性制造、CDN、云游戏和车联网等多个场景。中国移动认为,视频和车联网是目前边缘计算最重要的布局点,也是需求最迫切的业务场景。中国联通同样在MWC 2019大会期间,中国联通携手合作伙伴重磅发布《中国联通CUBE-Edge 2.0及行业实践白皮书》,白皮书指出,MEC边缘云将高带宽、低时延、本地化业务下沉到网络边缘,成为5G网络重构和数字化转型的关键利器,满足不同行业的业务需求。在中国联通的构想中,MEC会重点关注以下几点:1)      MEC边缘云采用全云化架构,构建IaaS、PaaS、SaaS平台能力,实现数据的云存储、备份和转发。边缘云之间采用SDN组网,实现网络云化和全网的远程自动化部署与管理;2)      提供云边协同能力,通过边缘云与通信云、公有云和私有云之间的协同,实现行业客户数据上云后的互通;3)      支持边缘云的能力开放,提供对外统一接口,供第三方开发和调用,包括位置、RNIS、计费、DNS、VCDN和渲染等服务能力。2018年,中国联通在15个省市开展Edge-Cloud规模试点,打造智慧港口、智能驾驶、智慧场馆、智能制造、视频监控、云游戏、智慧医疗等30余个试商用样板工程,积极推动边缘计算产业链的发展。电信运营商玩家总结可以看出,电信运营商利用自身网络资源的独特优势,可以为用户提供高价值的边缘计算能力,具有极强的竞争力和不可替代性。同时,运营商也在积极发展生态,集成第三方PaaS能力,繁荣MEC的API生态,方便垂直应用快速开发。而且,也可以看到CT领域的MEC在IT化,无论是IaaS还是PaaS。相信在不远的未来,普通用户会看到大量应用从私有云或公有云迁移到MEC,应用运行环境的一致性和迁移成本将会是MEC建设的重要考量因素公有云边缘计算与电信运营商MEC的交集我们知道公有云和电信运营商是各有优势,公有云强在全栈的PaaS能力,包含AI、大数据、IoT、中间件、视频服务等一整套完善的技术堆栈,电信运营商强在独特的网络资源优势,如果两者结合起来,将会是一件激动人心的事情, 也会是一个能力互补并且双赢的局面。不久前,Nokia宣布与AWS合作,在MEC上部署Greengrass,将AWS的边缘计算与Nokia的专有移动网络解决方案相结合。通过将AWS的Greengrass和机器学习与Nokia MEC和IoT智能管理平台(IMPACT)相结合,抢占新兴的物联网领域。希望随着时间的推移,能够看到更多公有云边缘计算与电信运营商MEC的交集。
  • [问题求助] 云计算
    物联网的快速发展和4G/5G 无线网络的普及,万物互联的时代已经到来,网络边缘设备数 量的迅速增加,使得该类设备所产生的数据已达到泽字节(zB)级别.以云计算模型为核心的集中式大数据处理时代,其关键技术已经不能高效处理边缘设备所产生的数据,主要表现在哪些方面呢?另外取而代之的边缘计算相对而言有哪些优势?
  • [技术干货] “云计算”的五大特点
    大规模、分布式“云”一般具有相当的规模,一些知名的云供应商如华为、Google云计算、Amazon、IBM、微软、阿里等也都拥能拥有上百万级的服务器规模。而依靠这些分布式的服务器所构建起来的“云”能够为使用者提供前所未有的计算能力。虚拟化云计算都会采用虚拟化技术,用户并不需要关注具体的硬件实体,只需要选择一家云服务提供商,注册一个账号,登陆到它们的云控制台,去购买和配置你需要的服务(比如 云服务器,云存储,CDN等等),再为你的应用做一些简单的配置之后,你就可以让你的应用对外服务了,这比传统的在企业的数据中心去部署一套应用要简单方便得多。而且你可以随时随地通过你的PC或移动设备来控制你的资源,这就好像是云服务商为每一个用户都提供了一个IDC(Internet Data Center)一样。高可用性和扩展性那些知名的云计算供应商一般都会采用数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性。基于云服务的应用可以持续对外提供服务(7*24小时),另外“云”的规模可以动态伸缩,来满足应用和用户规模增长的需要。按需服务,更加经济用户可以根据自己的需要来购买服务,甚至可以按使用量来进行精确计费。这能大大节省IT成本,而资源的整体利用率也将得到明显的改善。安全网络安全已经成为所有企业或个人创业者必须面对的问题,企业的IT团队或个人很难应对那些来自网络的恶意攻击,而使用云服务则可以借助更专业的安全团队来有效降低安全风险。
  • [技术干货] 云计算是啥,看完这篇文章你就懂了
    咱们先从四次工业革命开始说起,第一次工业革命是以蒸汽机的发明为标志,以机械化为特征,人类从此进入蒸汽时代;第二次工业革命是以电和内燃机的发明为标志,以电气化为特征,人类从此进入电气时代;第三次工业革命是以计算机的发明为标志,以信息化为特征,人类从此进入信息时代;正在进行的第四次工业革命是以工业智能化、互联网产业化、全面云化、大数据应用化为标志,以智能化、自动化为特征,人类将进入智能时代。而云计算正是这一轮工业革命中应运而生的概念。首先,先给出云计算的定义:即通过网络按需提供可动态伸缩的廉价计算服务。比方说以前一家公司要建信息系统来支撑自身业务,要自己建机房、买服务器、搭系统、开发出各类应用程序,设专人维护。这种传统的信息系统 其一,一次性投资成本很高;其二,公司业务扩大的时候,很难进行快速扩容;其三,对软硬件资源的利用效率低下;其四,平时维护麻烦。那么云计算的出现可以很好的解决上述问题,云计算首先提供了一种按需租用的业务模式,客户再需要建信息系统,只需要通过互联网向云计算提供商(比如华为云)租一切他想要的计算资源就可以了,而且这些资源是可以精确计费的。打个比方,云计算就像水厂一样,企业喝水再不用自己打井,接上管子就可以直接购买水厂的水。从业务模式的角度来看,云计算有三个特点,其一,服务可以租用,用户通过网络租用所需服务;其二,服务是可以按分钟或秒级计量的;其三,这种模式是高性价比的,比传统模式划算。从技术角度来看,云计算有两大支撑技术,其一是虚拟化技术,包括服务器虚拟化、存储虚拟化、网络虚拟化。打个比方,以前不管一个人饭量多少,面前都是一碗饭,有人吃到撑也有人吃不饱,现在虚拟化之后把所有饭都统一起来,给能吃的人多些,给不能吃的人少些,这样就可以最大化的提高软硬件资源使用率;其二是并行运算技术,以前一个任务在一台服务器里要算很长时间,现在我们可以把计算任务分解,一算变多算,提高计算速度。云计算按服务类型可以分为三类:1、基础设施即服务IaaS(Infrastructure as a service)2、平台即服务PaaS(platform as a service) 3、软件即服务SaaS(software as a service)接下来,我将用自己建房子自己住来类比云计算的三种服务类型。首先是基础设施即服务IaaS,之前公司要建信息系统,基础设施从哪里来呢?需要自己建机房、服务器、网络以及配套设施。就好比你自己建房子,需要自己买土地,买材料,设计房子结构,建房子。那现在基础设施即服务告诉你,你不用自己建房子了,我这有现成的,你直接租就好了。然后是平台即服务PaaS,之前公司在自己建好信息系统之后,还要自己搭建操作系统、配置环境。就好比你盖好房子之后还要你自己装修房子,那现在平台即服务告诉你,你不用自己装修房子了,我这能提供装修服务,你直接买就好了。最后是软件即服务SaaS,之前公司在把操作系统、环境配置好之后还要自己开发各种应用软件。就好比你房子装修好之后还要自己做休闲娱乐设施啊、运动健身设施啊等等,那现在软件即服务告诉你这些应用设施我这都有现成的,你也可以直接租用的。最后,我再给大家介绍云计算的三种部署形式:公有云、私有云、混合云。公有云即为多个客户共享一个服务提供商提供的计算资源,客户按照自己的实际需要,通过租赁的方式来获取这些资源。私有云即为计算资源由一家企业专用并由该企业掌握,私有云一般部署在企业的数据中心,由企业的内部人员管理,实力雄厚的大公司趋向于构建自己的私有云。那么混合云即为公有云与私有云的混合,混合云的策略是在私有云部分保持那些相对隐私的操作,在公有云部分部署相对开放的运算,混合云可以兼顾两种云的优点。写到这里,大家应该对云计算都有了一个初步的认识了吧,什么?你说你还是不太理解,那我最后再放个大招让你理解得更加深刻一些吧:你娶了一个老婆,这就是传统企业的IT架构,你觉得一个老婆不够,这就是传统企业IT架构的困境,于是你娶了很多老婆,以至于形成了后宫,这就是私有云,如果你是穷人,没有钱娶老婆,你选择去洗浴中心解决个人问题,这就叫公有云,如果你是富人,在有了一群老婆之后还喜欢去洗浴中心,这就叫混合云,只提供场所,需要你自己找技师的洗浴中心叫基础设施即服务(IaaS),既提供场所又提供技师的洗浴中心就叫平台即服务(PaaS),那么能做成莞式服务那种的洗浴中心就叫软件即服务(SaaS)都已经说到这份上了,我想你应该明白了啥叫云计算了吧
  • [技术干货] 终于有人把云计算、大数据和 AI 讲明白了
    原标题:不是技术也能看懂云计算,大数据,人工智能我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会提到大数据,谈人工智能的时候也会提大数据,谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割,如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系,所以有必要解释一下。一、云计算最初是实现资源管理的灵活性我们首先来说云计算,云计算最初的目标是对资源的管理,管理的主要是计算资源,网络资源,存储资源三个方面。1.1 管数据中心就像配电脑什么叫计算,网络,存储资源呢?就说你要买台笔记本电脑吧,你是不是要关心这台电脑什么样的CPU啊?多大的内存啊?这两个我们称为计算资源。这台电脑要能上网吧,需要有个网口可以插网线,或者有无线网卡可以连接我们家的路由器,您家也需要到运营商比如联通,移动,电信开通一个网络,比如100M的带宽,然后会有师傅弄一根网线到您家来,师傅可能会帮您将您的路由器和他们公司的网络连接配置好,这样您家的所有的电脑,手机,平板就都可以通过您的路由器上网了。这就是网络。您可能还会问硬盘多大啊?原来硬盘都很小,10G之类的,后来500G,1T,2T的硬盘也不新鲜了。(1T是1024G),这就是存储。对于一台电脑是这个样子的,对于一个数据中心也是同样的。想象你有一个非常非常大的机房,里面堆了很多的服务器,这些服务器也是有CPU,内存,硬盘的,也是通过类似路由器的设备上网的。这个时候的一个问题就是,运营数据中心的人是怎么把这些设备统一的管理起来的呢?1.2 灵活就是想啥时要都有,想要多少都行管理的目标就是要达到两个方面的灵活性。哪两个方面呢?比如有个人需要一台很小很小的电脑,只有一个CPU,1G内存,10G的硬盘,一兆的带宽,你能给他吗?像这种这么小规格的电脑,现在随便一个笔记本电脑都比这个配置强了,家里随便拉一个宽带都要100M。然而如果去一个云计算的平台上,他要想要这个资源的时候,只要一点就有了。所以说它就能达到两个方面灵活性。第一个方面就是想什么时候要就什么时候要,比如需要的时候一点就出来了,这个叫做时间灵活性。第二个方面就是想要多少呢就有多少,比如需要一个很小很小的电脑,可以满足,比如需要一个特别大的空间,以云盘为例,似乎云盘给每个人分配的空间动不动就就很大很大,随时上传随时有空间,永远用不完,这个叫做空间灵活性。空间灵活性和时间灵活性,也即我们常说的云计算的弹性。为了解决这个弹性的问题,经历了漫长时间的发展。1.3 物理设备不灵活首先第一个阶段就是物理机,或者说物理设备时期。这个时期相当于客户需要一台电脑,我们就买一台放在数据中心里。物理设备当然是越来越牛,例如服务器,内存动不动就是百G内存,例如网络设备,一个端口的带宽就能有几十G甚至上百G,例如存储,在数据中心至少是PB级别的(一个P是1024个T,一个T是1024个G)。然而物理设备不能做到很好的灵活性。首先它不能够达到想什么时候要就什么时候要、比如买台服务器,哪怕买个电脑,都有采购的时间。突然用户告诉某个云厂商,说想要开台电脑,如果使用物理服务器,当时去采购啊就很难,如果说供应商啊关系一般,可能采购一个月,供应商关系好的话也需要一个星期。用户等了一个星期后,这时候电脑才到位,用户还要登录上去开始慢慢部署自己的应用,时间灵活性非常差。第二是空间灵活性也不行,例如上述的用户,要一个很小很小的电脑,现在哪还有这么小型号的电脑啊。不能为了满足用户只要一个G的内存是80G硬盘的,就去买一个这么小的机器。但是如果买一个大的呢,因为电脑大,就向用户多收钱,用户说他只用这么小的一点,如果让用户多付钱就很冤。1.4 虚拟化灵活多了有人就想办法了。第一个办法就是虚拟化。用户不是只要一个很小的电脑么?数据中心的物理设备都很强大,我可以从物理的CPU,内存,硬盘中虚拟出一小块来给客户,同时也可以虚拟出一小块来给其他客户,每个客户都只能看到自己虚的那一小块,其实每个客户用的是整个大的设备上其中的一小块。虚拟化的技术能使得不同的客户的电脑看起来是隔离的,我看着好像这块盘就是我的,你看这呢这块盘就是你的,实际情况可能我这个10G和您这个10G是落在同样一个很大很大的这个存储上的。而且如果事先物理设备都准备好,虚拟化软件虚拟出一个电脑是非常快的,基本上几分钟就能解决。所以在任何一个云上要创建一台电脑,一点几分钟就出来了,就是这个道理。这个空间灵活性和时间灵活性就基本解决了。1.5 虚拟世界的赚钱与情怀在虚拟化阶段,最牛的公司是Vmware,是实现虚拟化技术比较早的一家公司,可以实现计算,网络,存储的虚拟化,这家公司很牛,性能也做得非常好,然后虚拟化软件卖的也非常好,赚了好多的钱,后来让EMC(世界五百强,存储厂商第一品牌)给收购了。但是这个世界上还是有很多有情怀的人的,尤其是程序员里面,有情怀的人喜欢做一件什么事情呢?开源。这个世界上很多软件都是有闭源就有开源,源就是源代码。就是说某个软件做的好,所有人都爱用,这个软件的代码呢,我封闭起来只有我公司知道,其他人不知道,如果其他人想用这个软件,就要付我钱,这就叫闭源。但是世界上总有一些大牛看不惯钱都让一家赚了去。大牛们觉得,这个技术你会我也会,你能开发出来,我也能,我开发出来就是不收钱,把代码拿出来分享给大家,全世界谁用都可以,所有的人都可以享受到好处,这个叫做开源。比如最近蒂姆·伯纳斯·李就是个非常有情怀的人,2017年,他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而获得2016年度的图灵奖。图灵奖就是计算机界的诺贝尔奖。然而他最令人敬佩的是,他将万维网,也就是我们常见的www的技术无偿贡献给全世界免费使用。我们现在在网上的所有行为都应该感谢他的功劳,如果他将这个技术拿来收钱,应该和比尔盖茨差不多有钱。例如在闭源的世界里有windows,大家用windows都得给微软付钱,开源的世界里面就出现了Linux。比尔盖茨靠windows,Office这些闭源的软件赚了很多钱,称为世界首富,就有大牛开发了另外一种操作系统Linux。很多人可能没有听说过Linux,很多后台的服务器上跑的程序都是Linux上的,比如大家享受双十一,支撑双十一抢购的系统,无论是淘宝,京东,考拉,都是跑在Linux上的。再如有apple就有安卓。apple市值很高,但是苹果系统的代码我们是看不到的。于是就有大牛写了安卓手机操作系统。所以大家可以看到几乎所有的其他手机厂商,里面都装安卓系统,因为苹果系统不开源,而安卓系统大家都可以用。在虚拟化软件也一样,有了Vmware,这个软件非常非常的贵。那就有大牛写了两个开源的虚拟化软件,一个叫做Xen,一个叫做KVM,如果不做技术的,可以不用管这两个名字,但是后面还是会提到。1.6 虚拟化的半自动和云计算的全自动虚拟化软件似乎解决了灵活性问题,其实不全对。因为虚拟化软件一般创建一台虚拟的电脑,是需要人工指定这台虚拟电脑放在哪台物理机上的,可能还需要比较复杂的人工配置,所以使用Vmware的虚拟化软件,需要考一个很牛的证书,能拿到这个证书的人,薪资是相当的高,也可见复杂程度。所以仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特别的大,一般在十几台,几十台,最多百台这么一个规模。这一方面会影响时间灵活性,虽然虚拟出一台电脑的时间很短,但是随着集群规模的扩大,人工配置的过程越来越复杂,越来越耗时。另一方面也影响空间灵活性,当用户数量多的时候,这点集群规模,还远达不到想要多少要多少的程度,很可能这点资源很快就用完了,还得去采购。所以随着集群的规模越来越大,基本都是千台起步,动辄上万台,甚至几十上百万台,如果去查一下BAT,包括网易,包括谷歌,亚马逊,服务器数目都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置,几乎是不可能的事情,还是需要机器去做这个事情。人们发明了各种各样的算法来做这个事情,算法的名字叫做调度(Scheduler)。通俗一点的说,就是有一个调度中心,几千台机器都在一个池子里面,无论用户需要多少CPU,内存,硬盘的虚拟电脑,调度中心会自动在大池子里面找一个能够满足用户需求的地方,把虚拟电脑启动起来做好配置,用户就直接能用了。这个阶段,我们称为池化,或者云化,到了这个阶段,才可以称为云计算,在这之前都只能叫虚拟化。1.7 云计算的私有与公有云计算大致分两种,一个是私有云,一个是公有云,还有人把私有云和公有云连接起来称为混合云,我们暂且不说这个。私有云就是把虚拟化和云化的这套软件部署在别人的数据中心里面,使用私有云的用户往往很有钱,自己买地建机房,自己买服务器,然后让云厂商部署在自己这里,Vmware后来除了虚拟化,也推出了云计算的产品,并且在私有云市场赚的盆满钵满。所谓公有云就是虚拟化和云化软件部署在云厂商自己数据中心里面的,用户不需要很大的投入,只要注册一个账号,就能在一个网页上点一下创建一台虚拟电脑,例如AWS也即亚马逊的公有云,例如国内的阿里云,腾讯云,网易云等。亚马逊呢为什么要做公有云呢?我们知道亚马逊原来是国外比较大的一个电商,它做电商的时候也肯定会遇到类似双11的场景,在某一个时刻大家都冲上来买东西。当大家都冲上买东西的时候,就特别需要云的时间灵活性和空间灵活性。因为它不能时刻准备好所有的资源,那样太浪费了。但也不能什么都不准备,看着双十一这么多用户想买东西登不上去。所以需要双十一的时候,创建一大批虚拟电脑来支撑电商应用,过了双十一再把这些资源都释放掉去干别的。所以亚马逊是需要一个云平台的。然而商用的虚拟化软件实在是太贵了,亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商吧。于是亚马逊基于开源的虚拟化技术,如上所述的Xen或者KVM,开发了一套自己的云化软件。没想到亚马逊后来电商越做越牛,云平台也越做越牛。而且由于他的云平台需要支撑自己的电商应用,而传统的云计算厂商多为IT厂商出身,几乎没有自己的应用,因而亚马逊的云平台对应用更加的友好,迅速发展成为云计算的第一品牌,赚了很多钱。在亚马逊公布其云计算平台财报之前,人们都猜测,亚马逊电商赚钱,云也赚钱吗?后来一公布财报,发现不是一般的赚钱,仅仅去年,亚马逊AWS年营收达122亿美元,运营利润31亿美元。1.8 云计算的赚钱与情怀公有云的第一名亚马逊过得很爽,第二名Rackspace过的就一般了。没办法,这就是互联网行业的残酷性,多是赢者通吃的模式。所以第二名如果不是云计算行业的,很多人可能都没听过了。第二名就想,我干不过老大怎么办呢?开源吧。如上所述,亚马逊虽然使用了开源的虚拟化技术,但是云化的代码是闭源的,很多想做又做不了云化平台的公司,只能眼巴巴的看着亚马逊挣大钱。Rackspace把源代码一公开,整个行业就可以一起把这个平台越做越好,兄弟们大家一起上,和老大拼了。于是Rackspace和美国航空航天局合作创办了开源软件OpenStack,如图所示OpenStack的架构图,不是云计算行业的不用弄懂这个图,但是能够看到三个关键字,Compute计算,Networking网络,Storage存储。还是一个计算,网络,存储的云化管理平台。当然第二名的技术也是非常棒的,有了OpenStack之后,果真像Rackspace想象的一样,所有想做云的大企业都疯了,你能想象到的所有如雷贯耳的大型IT企业,IBM,惠普,戴尔,华为,联想等等,都疯了。原来云平台大家都想做,看着亚马逊和Vmware赚了这么多钱,眼巴巴看着没办法,想自己做一个好像难度还挺大。现在好了,有了这样一个开源的云平台OpenStack,所有的IT厂商都加入到这个社区中来,对这个云平台进行贡献,包装成自己的产品,连同自己的硬件设备一起卖。有的做了私有云,有的做了公有云,OpenStack已经成为开源云平台的事实标准。1.9 IaaS, 资源层面的灵活性随着OpenStack的技术越来越成熟,可以管理的规模也越来越大,并且可以有多个OpenStack集群部署多套,比如北京部署一套,杭州部署两套,广州部署一套,然后进行统一的管理。这样整个规模就更大了。在这个规模下,对于普通用户的感知来讲,基本能够做到想什么时候要就什么什么药,想要多少就要多少。还是拿云盘举例子,每个用户云盘都分配了5T甚至更大的空间,如果有1亿人,那加起来空间多大啊。其实背后的机制是这样的,分配你的空间,你可能只用了其中很少一点,比如说它分配给你了5个T,这么大的空间仅仅是你看到的,而不是真的就给你了,你其实只用了50个G,则真实给你的就是50个G,随着你文件的不断上传,分给你的空间会越来越多。当大家都上传,云平台发现快满了的时候(例如用了70%),会采购更多的服务器,扩充背后的资源,这个对用户是透明的,看不到的,从感觉上来讲,就实现了云计算的弹性。其实有点像银行,给储户的感觉是什么时候取钱都有,只要不同时挤兑,银行就不会垮。这里做一个简单的总结,到了这个阶段,云计算基本上实现了时间灵活性和空间灵活性,实现了计算,网络,存储资源的弹性。计算,网络,存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性,管理资源的云平台,我们称为基础设施服务,就是我们常听到的IaaS,Infranstracture As A Service。二、云计算不光管资源,也要管应用有了IaaS,实现了资源层面的弹性就够了吗?显然不是。还有应用层面的弹性。这里举个例子,比如说实现一个电商的应用,平时十台机器就够了,双十一需要一百台。你可能觉得很好办啊,有了IaaS,新创建九十台机器就可以了啊。但是90台机器创建出来是空的啊,电商应用并没有放上去啊,只能你公司的运维人员一台一台的弄,还是需要很长时间才能安装好的。虽然资源层面实现了弹性,但是没有应用层的弹性,依然灵活性是不够的。有没有方法解决这个问题呢?于是人们在IaaS平台之上又加了一层,用于管理资源以上的应用弹性的问题,这一层通常称为PaaS(Platform As A Service)。这一层往往比较难理解,其实大致分两部分,一部分我称为你自己的应用自动安装,一部分我称为通用的应用不用安装。我们先来说第一部分,自己的应用自动安装。比如电商应用是你自己开发的,除了你自己,其他人是不知道怎么安装的,比如电商应用,安装的时候需要配置支付宝或者微信的账号,才能别人在你的电商上买东西的时候,付的钱是打到你的账户里面的,除了你,谁也不知道,所以安装的过程平台帮不了忙,但是能够帮你做的自动化,你需要做一些工作,将自己的配置信息融入到自动化的安装过程中方可。比如上面的例子,双十一新创建出来的90台机器是空的,如果能够提供一个工具,能够自动在这新的90台机器上将电商应用安装好,就能够实现应用层面的真正弹性。例如Puppet, Chef, Ansible, Cloud Foundary都可以干这件事情,最新的容器技术Docker能更好的干这件事情,不做技术的可以不用管这些词。第二部分,通用的应用不用安装。所谓通用的应用,一般指一些复杂性比较高,但是大家都在用的,例如数据库。几乎所有的应用都会用数据库,但是数据库软件是标准的,虽然安装和维护比较复杂,但是无论谁安装都是一样。这样的应用可以变成标准的PaaS层的应用放在云平台的界面上。当用户需要一个数据库的时候,一点就出来了,用户就可以直接用了。有人问,既然谁安装都一个样,那我自己来好了,不需要花钱在云平台上买。当然不是,数据库是一个非常难的东西,光Oracle这家公司,靠数据库就能赚这么多钱。买Oracle也是要花很多很多钱的。然而大多数云平台会提供Mysql这样的开源数据库,又是开源,钱不需要花这么多了,但是维护这个数据库,却需要专门招一个很大的团队,如果这个数据库能够优化到能够支撑双十一,也不是一年两年能够搞定的。比如您是一个做单车的,当然没必要招一个非常大的数据库团队来干这件事情,成本太高了,应该交给云平台来做这件事情,专业的事情专业的人来自,云平台专门养了几百人维护这套系统,您只要专注于您的单车应用就可以了。要么是自动部署,要么是不用部署,总的来说就是应用层你也要少操心,这就是PaaS层的重要作用。虽说脚本的方式能够解决自己的应用的部署问题,然而不同的环境千差万别,一个脚本往往在一个环境上运行正确,到另一个环境就不正确了。而容器是能更好的解决这个问题的。容器是 Container,Container另一个意思是集装箱,其实容器的思想就是要变成软件交付的集装箱。集装箱的特点,一是封装,二是标准。在没有集装箱的时代,假设将货物从 A运到 B,中间要经过三个码头、换三次船。每次都要将货物卸下船来,摆的七零八落,然后搬上船重新整齐摆好。因此在没有集装箱的时候,每次换船,船员们都要在岸上待几天才能走。有了集装箱以后,所有的货物都打包在一起了,并且集装箱的尺寸全部一致,所以每次换船的时候,一个箱子整体搬过去就行了,小时级别就能完成,船员再也不用上岸长时间耽搁了。这是集装箱“封装”、“标准”两大特点在生活中的应用。那么容器如何对应用打包呢?还是要学习集装箱,首先要有个封闭的环境,将货物封装起来,让货物之间互不干扰,互相隔离,这样装货卸货才方便。好在 Ubuntu中的LXC技术早就能做到这一点。封闭的环境主要使用了两种技术,一种是看起来是隔离的技术,称为 Namespace,也即每个 Namespace中的应用看到的是不同的 IP地址、用户空间、程号等。另一种是用起来是隔离的技术,称为 Cgroups,也即明明整台机器有很多的 CPU、内存,而一个应用只能用其中的一部分。所谓的镜像,就是将你焊好集装箱的那一刻,将集装箱的状态保存下来,就像孙悟空说:“定”,集装箱里面就定在了那一刻,然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的,谁看到这些文件都能还原当时定住的那个时刻。将镜像还原成运行时的过程(就是读取镜像文件,还原那个时刻的过程)就是容器运行的过程。有了容器,使得 PaaS层对于用户自身应用的自动部署变得快速而优雅。三、大数据拥抱云计算在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢?3.1 数据不大也包含智慧一开始这个大数据并不大,你想象原来才有多少数据?现在大家都去看电子书,上网看新闻了,在我们80后小时候,信息量没有那么大,也就看看书,看看报,一个星期的报纸加起来才有多少字啊,如果你不在一个大城市,一个普通的学校的图书馆加起来也没几个书架,是后来随着信息化的到来,信息才会越来越多。
  • [分享交流] 国内云计算公司排名 哪家的云服务器最好用?
    说到云计算,想必大家都不陌生。从海外的aws培育市场之后全球的大企业都一个个的搞起了云计算。放眼海外,展望国内。中国2019云计算企业排行是什么样子呢?阿里云 - 上云就上阿里云在国内能在国际上叫得响的云计算公司就一个阿里巴巴,在国内云计算厂商中阿里云说自己排名第二,没人敢排第一。阿里云(www.aliyun.com)创立于2009年,是全球领先的云计算及人工智能科技公司,为200多个国家和地区的企业、开发者和政府机构提供服务。2017年1月阿里云成为奥运会全球指定云服务商。2017年8月阿里巴巴财报数据显示,阿里云付费云计算用户超过100万。阿里云致力于以在线公共服务的方式,提供安全、可靠的计算和数据处理能力,让计算和人工智能成为普惠科技。阿里云在全球18个地域开放了49个可用区,为全球数十亿用户提供可靠的计算支持。此外,阿里云为全球客户部署200多个飞天数据中心,通过底层统一的飞天操作系统,为客户提供全球独有的混合云体验。 腾讯云 - 产业智变 云启未来腾讯云背靠大树加上国际和国内已经有了成熟的模式,腾讯云自推出之后就蒙眼狂奔,在去年某研究院公布的排行中排名前五之内。腾讯云基于QQ、微信、腾讯游戏等海量业务的技术锤炼,从基础架构到精细化运营,从平台实力到生态能力建设,腾讯云将之整合并面向市场,使之能够为企业和创业者提供集云计算、云数据、云运营于一体的云端服务体验。百度智能云 - 计算无限可能提起百度云,大多数人第一个想法就是百度网盘,其实百度网盘是百度网盘和百度云不一样,唯一相似的是百度网盘用的二级域名是yun.baidu.com。f坊间传言因为二级域名百度云和百度网盘还有一些纠葛。不过好的一些是在今年4月百度云终于找到了定位升级为“百度智能云”,从yun到bcc再到cloud相信百度智能云会是国内云计算排名靠前的存在。百度智能云是百度提供的公有云平台,于2015年正式开放运营。百度云秉承“用科技力量推动社会创新”的愿景,不断将百度在云计算、大数据、人工智能的技术能力向社会输出。2019年4月11日,“百度云”品牌升级为“百度智能云”。京东云 - 预见无限可能提起京东云,会有开发者疑问京东不是商城吗,他们也有公有云了?其实笔者早几年就使用过京东云提供的JAE服务。京东云(JD Cloud)是京东集团旗下的全平台云计算综合服务提供商,拥有全球领先的云计算技术和丰富的云计算解决方案经验。为用户提供从IaaS、PaaS到SaaS的全栈式服务(Full Stack),从IDC 业务、云计算业务到综合业务的全频道服务(Full Spectrum),以及包含公有云、私有云、混合云、专有云在内的全场景服务(Full Services)和跨行业的全生态云服务(Full Ecosystem)。同时,京东云依托京东集团在云计算、大数据、物联网和移动互联网应用等多方面的长期业务实践和技术积淀,形成了从基础平台搭建、业务咨询规划,到业务平台建设及运营等全产业链的云生态格局,为用户提供一站式全方位的云计算解决方案。华为云 +智能,见未来应该是去年或者前年开始在私有云市场领先的华为公司也携“华为云”品牌杀入公有云市场。关于华为云的排名,笔者认为不看一时。虽然在去年某研究院公布的排行中排名前五之内,但大家可以参考这两年的小米手机和华为手机的市场占有率之间数据变化。华为云是华为公司倾力打造的云服务品牌,为客户提供稳定可靠、安全可信、可持续演进的云服务。面向大中型企业,华为云帮助他们解决云转型中的困难,更好地把握未来;面向中小型企业,华为云陪伴他们成长,共同应对成长中的挑战。UCloud - 中立 安全 可信赖的云计算服务商今年初,UCloud就有要做科创板第一股(第一个吃螃蟹的人)的传言。在4月1日UCloud披露《首次公开发行股票并在科创板上市招股说明(申报稿)》,不出意外UCloud将成为首个在国内上市的独立云计算厂商。UCloud (优刻得科技股份有限公司)是国内领先的云计算服务平台,坚持中立,不涉足客户业务领域,致力于打造一个安全、可信赖的云计算服务平台。自主研发IaaS、PaaS、AI服务平台、大数据流通平台等一系列云计算产品,并深入了解互联网、传统企业因为篇幅有限,国家队:天翼云、沃云、浪潮云、移动云等,民间队:金山云、网易云、七牛云、三丰云、新浪云、苏宁云、美团云、盛大云、360云等。就不一一介绍了。通过上述介绍,你认为2019云计算前十名都有谁呢?原创文章,首发https://www.wshenm.com/2019cloudtop.html 转载请标明出处。
  • [分享交流] 人工智能、物联网、大数据、云计算工程技术人员等13种类被人社部认证新职业
    人社部、市场监管总局、统计局联合发布新职业 2019年4月1日,人力资源社会保障部、市场监管总局、统计局正式向社会发布了人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员、云计算工程技术人员、数字化管理师、建筑信息模型技术员、电子竞技运营师、电子竞技员、无人机驾驶员、农业经理人、物联网安装调试员、工业机器人系统操作员、工业机器人系统运维员等13个新职业信息。这是自2015年版国家职业分类大典颁布以来发布的首批新职业。人力资源社会保障部组织职业分类专家,严格按照新职业评审标准和程序,从有关申报单位提交的新职业建议中评选出来,经公示广泛征求社会各界意见后确定的。首批新职业主要集中在高新技术领域,具有以下几个特点:   一是产业结构的升级催生高端专业技术类新职业。当前,我国经济已由高速增长阶段转向高质量发展阶段,这对劳动者的科学文化素质和能力水平提出新的要求。近几年,随着我国人工智能、物联网、大数据和云计算的广泛运用,与此相关的高新技术产业成为我国经济新的增长点。对从业人员的需求大幅增长,形成相对稳定的从业人群。人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员和云计算工程技术人员等4个专业技术类新职业应运而生。这些新职业属高新技术产业,以较高的专业技术知识和能力为支撑,从业人员普遍具有较高学历。  二是科技提升引发传统职业变迁。随着新兴技术的采用,传统的第一、第二产业越来越智能化。工业机器人替代生产流水线上简单劳动力的做法在部分地区得到推广,与机器人相关的生产、服务和培训企业蓬勃发展。工业机器人的大量使用,对工业机器人系统操作员和系统运维员的需求剧增,使其成为现代工业生产一线的新兴职业。随着无人机技术的成熟,利用无人机完成一些人类难以完成的高难险和有毒有害工作成为可能,通过无人机可以进行植保、测绘、摄影、高压线缆和农林巡视,无人机在物流等领域也拥有广阔的应用空间。大量无人机的使用,使无人机驾驶员成为名副其实的新兴职业。  三是信息化的广泛应用衍生新职业。信息化如同催化剂,使传统职业的职业活动内容发生变革,从而衍生出新职业,如:数字化管理师、建筑信息模型技术员。随着物联网在办公、住宅等领域得到广泛应用,信息化与现代制造业深度结合,物联网安装调试从业人员需求量激增。近几年,在国际赛事的推动下,基于计算机的竞技项目发展迅猛,电子竞技已成为巨大的新兴产业,电子竞技运营师和电子竞技员职业化势在必行。在农业领域,农民专业合作社等农业经济合作组织发展迅猛,从事农业生产组织、设备作业、技术支持、产品加工与销售等管理服务的人员需求旺盛,农业经理人应运而生。   相关阅读:    一、如何界定新职业,新职业信息包括哪些内容?  新职业是指《中华人民共和国职业分类大典》(以下简称大典)中未收录的,社会经济发展中已有一定规模从业人员,且具有相对独立成熟的专业、技能要求的职业。  新职业信息主要包括:职业名称、职业编码、职业定义和主要工作任务等内容,与大典中的职业信息基本一致。对具有“环保、低碳、循环”等绿色特征的职业标示为绿色职业,统一以“绿色职业”的汉语拼音首字母“L”标识。  二、我国何时建立新职业信息发布制度,有何意义?  建立新职业信息发布制度是国际通行做法,也是职业分类动态调整机制的重要内容。1999年,我国颁布了首部大典,共收录了1838个职业。进入新世纪后,随着我国经济社会的快速发展,产业结构调整、科学技术进步、大众创业创新,社会上涌现出许多新业态,亟待在国家层面上予以认可规范,新职业信息发布制度应运而生。首次新职业信息发布工作始于2004年,至2009年,累计发布了12批次120多个新职业。2010年后,国家启动了大典修订工作。2015年7月,颁布了2015年版大典。2015年版大典颁布近4年来,随着经济社会发展、科学技术进步和产业结构调整,新产业新业态新模式滋生孕育出新职业,亟需重启新职业信息发布工作。  新职业信息发布制度的意义。首先,有利于促进就业创业。通过发布新职业信息对新职业进行规范,加快开发就业岗位,扩大就业容量,强化职业指导和就业服务,促进劳动者就业创业。其次,有利于促进职业教育和职业培训改革。推动专业设置、课程内容与社会需求和企业生产实际相适应,促进职业教育培训质量提升,实现人才培养培训与社会需求紧密衔接。再次,有利于完善我国职业分类和职业标准体系。将新职业纳入国家职业分类统一管理,并根据产业发展和人才队伍建设需要,加快职业技能标准开发工作,有利于建立动态更新的职业分类体系,完善职业标准体系。  三、新职业是如何产生的?   新职业是在向社会公开征集的基础上,经专家评审、公示征求意见后,按程序遴选确定的。此次共征集到43个建议职业,经专家严格评审,报人力资源社会保障部、市场监管总局、统计局批准,最终发布13个新职业信息,分别是:人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员、云计算工程技术人员、数字化管理师、建筑信息模型技术员、电子竞技运营师、电子竞技员、无人机驾驶员、农业经理人、物联网安装调试员、工业机器人系统操作员、工业机器人系统运维员。这13个新职业主要集中在高新技术领域,对从业人员知识、技能水平具有较高要求。   四、新职业信息发布有何影响?  新职业信息发布,使国家职业分类体系更加科学完善,更好地服务于国民经济信息统计、人力资源开发管理、职业教育培训和人才评价工作,为国家制定相关产业发展政策、开展就业人口结构变化和劳动力供求状况研究分析、制定人力资源市场政策提供了科学依据。对用人单位和从业人员的影响主要体现在:规范了用人单位的岗位设置、人员招录、员工培训等工作,使从业人员的职业发展规划更加明晰,有利于促进其提升职业能力和素养。来源:http://www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/201904/t20190403_313788.html
  • [计算] Cloud Native Weekly |面对云平台宕机,企业如何止损
    KubeEdge v0.2发布KubeEdge在18年11月24日的上海KubeCon上宣布开源的一个开源项目,旨在依托K8S的容器编排和调度能力,实现云边协同、计算下沉、海量设备的平滑接入。KubeEdge脱胎于华为云IEF服务,是第一个具备在生产环境部署能力的边缘计算领域开源项目。前几天K8S IOT/Edge工作组发布了关于边缘计算的白皮书,并将KubeEdge作为K8S在IOT/Edge场景下的参考架构。KubeEdge架构上包含两部分,分别是云端和边缘侧。云端负责应用和配置的下发,边缘侧则负责运行边缘应用和管理接入设备。在v0.2版本中,KubeEdge团队决定开放云端代码,这样KubeEdge v0.1和v0.2的发布分别创造了两个记录:全球首个开源的支持容器部署的边缘计算平台;全球首个开放云边协同能力的边缘计算平台;KubeEdge v0.2 的发布意味着任何人都可以在自己的环境中部署一个完整的涵盖云、边、设备的边缘计算解决方案。另外本次更新还在 v0.1 的基础上新增了云上两个重要组件,分别是:CloudHub和EdgeController,架构如下所示:其中:Cloudhub负责接收EdgeHub同步到云端的信息;EdgeController用于控制K8S API Server与边缘的节点、应用和配置的状态同步;用户可以直接通过kubectl命令行在云端管理边缘节点、设备和应用,使用习惯与K8S原生的完全一致,无需重新适应。Rancher发布轻量级Kubernetes发行版 K3s近期,容器管理软件提供商 Rancher Labs宣布推出轻量级的 Kubernetes 发行版 K3s,这款产品专为在资源有限的环境中运行 Kubernetes 的研发和运维人员设计。根据Rancher描述,为了减少运行Kubernetes所需内存,k3s主要专注于以下三个方向的变化:删除旧的、非必须的代码整合正在运行的打包进程使用 containerd 代替 Docker 作为运行时的容器引擎除了 etcd 之外,引入 SQLite 作为可选的数据存储k3s官方描述的主要使用场景为:边缘计算与应用程序绑定使用嵌入式设备整体来看,k3s相当于kubernetes针对边缘计算等特殊场景的裁剪和优化,而并非专门专门边缘计算场景的解决方案,未来可能还需要长足的演进和适配过程。阿里宣布开源 Flutter 应用框架 Fish Redux3 月 5 日,闲鱼宣布在 GitHub 上开源 Fish Redux,Fish Redux 是一个基于 Redux 数据管理的组装式 flutter 应用框架, 特别适用于构建中大型的复杂应用,它最显著的特征是 函数式的编程模型、可预测的状态管理、可插拔的组件体系、最佳的性能表现。Redux 是来自前端社区的一个用来做 可预测易调试 的数据管理的框架,所有对数据的增删改查等操作都由 Redux 来集中负责。Redux 核心仅仅关心数据管理,不关心具体什么场景来使用它,这是它的优点同时也是它的缺点。在实际使用 Redux 中可能面临两个具体问题:Redux 的集中和 Component 的分治之间的矛盾;Redux 的 Reducer 需要一层层手动组装,带来的繁琐性和易错性;Fish Redux 通过 Redux 做集中化的可观察的数据管理,并且针对传统 Redux 在使用层面上的缺点,在面向端侧 flutter 页面纬度开发的场景中,通过更好更高的抽象,做了改良。开源之后,闲鱼打算通过以下方式来维护 Fish Redux:通过后续的一系列的对外宣传,吸引更多的开发者加入或者使用。配合后续的一系列的闲鱼 Flutter 移动中间件矩阵做开源;进一步提供,一系列的配套的开发辅助调试工具,提升上层 Flutter 开发效率和体验;又现云平台宕机企业应如何尽量避免损失北京时间2019年3月2日23:55分左右开始,监控发现华北2地域部分ECS实例及部分EMR、RDS on ECS、DTS、DBS实例及服务状态异常,事后于3月3日阿里云工程师紧急排查处理,并且逐步恢复异常实例。细数这两年,国际主流云厂商在安全性和可靠性层面做了不少努力,但所有服务都不可能百分百稳定,尽管云平台会发生故障,但企业对云的信赖度依然很高。Gartner 研究主管 Sid Nag 曾表示,云服务市场的增长速度比几乎所有 IT 市场都要快,其中大部分增长是以传统非云服务为代价,尤其是基于云计算的 IaaS 需求在继续增长,预计将在未来 5 年呈现最快增长趋势。在云计算出现之前,企业内部自建数据中心依旧会出现很多问题,不少问题甚至是致命的。上云之后,公有云厂商至少可以帮助技术能力有限的企业进行合理范围内的监控、预警和备份。不可否认,云的出现确实解决了现阶段企业在计算、存储等方面的很多问题。但作为企业而言,完全依靠云计算厂商提供安全性的做法是不可取的。云环境的同城双活、异地灾备等方案基本就绪,尽量在经济和人员条件可行的情况下使用这些分散风险的方法。如果故障只出在一个服务器集群,采用异地灾备方案可以在最快时间切换到另一个集群,从而保持系统可用。虽然还是会有中断,但是可以最快时间恢复。按照此模式,云下系统做云上灾备也是防范传统环境出现可用性问题的一种重要手段。作为企业的 IT 人员,日常做到以下四点可以尽可能避免云故障带来的损失。•备份、备份,还是备份,要异机异地;•数据容灾;•业务双活;•定期对灾备和双活进行演练。从统计上看,中小企业的运维水平远低于主流云平台,故障概率要高得多,损失更不可控。因此,不必对云服务故障抱有恐惧,只需要保持正常的认知和高度灾备意识即可。
  • [计算] 【开课啦!!】云计算知识哪家强,云上小课来开讲!
    这一周,全国的中小学都陆续开学了,在这个普(men)天(men)同(bu)庆(le)的日子里小栈的云计算小课正式上线开讲啦!重新回到校园的感觉是怎样的呢?意不意外,开不开心 云计算小课顾名思义,就是讲解使用云计算服务过程中的知识和技巧。那么问题来了,学习这些知识有什么用呢?事情是酱紫的,在不远的未来几年,越来越多的互联网服务都会基于云计算服务去实现,会需要大量熟悉掌握了云计算平台开发知识技巧人才,今天掌握了它,将来无论是求职还是创业,都会更加游刃有余。 学习云上小课,一课一个小技巧,每天只需要15分钟就能学习掌握,易学、易懂、易实用。学习过程中有任何问题都可以直接回帖提出,华为云技术专家会随时提供帮助和指导。 云计算小栈在2019年还会推出一系列云计算创新大赛,在学习云小课之余还可以到大赛的沙场上比试一番,与各路高手切磋技艺。加入华为云云计算小栈微信群加入云计算小栈交流群,即时答疑,一对一沟通指导。请扫下面的二维码 ↓ 入群(群二维码3月15日前有效,定期更新)得到华为云技术专家的一对一协助,随时答疑解惑。大赛获奖作品会被华为云帮助中心收录,授予作者“优秀实践者”头衔和实物奖励。云上小课,“产、学、研”紧密联系的好课程,期待大家的关注! 预告:云上小课第一课——《跟着小课学习买云主机,轻松无忧》,2月22日正式上线!敬请期待!
总条数:1656 到第
上滑加载中