原标题：不是技术也能看懂云计算，大数据，人工智能我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢？因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割，如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系，所以有必要解释一下。一、云计算最初是实现资源管理的灵活性我们首先来说云计算，云计算最初的目标是对资源的管理，管理的主要是计算资源，网络资源，存储资源三个方面。1.1 管数据中心就像配电脑什么叫计算，网络，存储资源呢？就说你要买台笔记本电脑吧，你是不是要关心这台电脑什么样的CPU啊？多大的内存啊？这两个我们称为计算资源。这台电脑要能上网吧，需要有个网口可以插网线，或者有无线网卡可以连接我们家的路由器，您家也需要到运营商比如联通，移动，电信开通一个网络，比如100M的带宽，然后会有师傅弄一根网线到您家来，师傅可能会帮您将您的路由器和他们公司的网络连接配置好，这样您家的所有的电脑，手机，平板就都可以通过您的路由器上网了。这就是网络。您可能还会问硬盘多大啊？原来硬盘都很小，10G之类的，后来500G，1T，2T的硬盘也不新鲜了。(1T是1024G)，这就是存储。对于一台电脑是这个样子的，对于一个数据中心也是同样的。想象你有一个非常非常大的机房，里面堆了很多的服务器，这些服务器也是有CPU，内存，硬盘的，也是通过类似路由器的设备上网的。这个时候的一个问题就是，运营数据中心的人是怎么把这些设备统一的管理起来的呢？1.2 灵活就是想啥时要都有，想要多少都行管理的目标就是要达到两个方面的灵活性。哪两个方面呢？比如有个人需要一台很小很小的电脑，只有一个CPU，1G内存，10G的硬盘，一兆的带宽，你能给他吗？像这种这么小规格的电脑，现在随便一个笔记本电脑都比这个配置强了，家里随便拉一个宽带都要100M。然而如果去一个云计算的平台上，他要想要这个资源的时候，只要一点就有了。所以说它就能达到两个方面灵活性。第一个方面就是想什么时候要就什么时候要，比如需要的时候一点就出来了，这个叫做时间灵活性。第二个方面就是想要多少呢就有多少，比如需要一个很小很小的电脑，可以满足，比如需要一个特别大的空间，以云盘为例，似乎云盘给每个人分配的空间动不动就就很大很大，随时上传随时有空间，永远用不完，这个叫做空间灵活性。空间灵活性和时间灵活性，也即我们常说的云计算的弹性。为了解决这个弹性的问题，经历了漫长时间的发展。1.3 物理设备不灵活首先第一个阶段就是物理机，或者说物理设备时期。这个时期相当于客户需要一台电脑，我们就买一台放在数据中心里。物理设备当然是越来越牛，例如服务器，内存动不动就是百G内存，例如网络设备，一个端口的带宽就能有几十G甚至上百G，例如存储，在数据中心至少是PB级别的(一个P是1024个T，一个T是1024个G)。然而物理设备不能做到很好的灵活性。首先它不能够达到想什么时候要就什么时候要、比如买台服务器，哪怕买个电脑，都有采购的时间。突然用户告诉某个云厂商，说想要开台电脑，如果使用物理服务器，当时去采购啊就很难，如果说供应商啊关系一般，可能采购一个月，供应商关系好的话也需要一个星期。用户等了一个星期后，这时候电脑才到位，用户还要登录上去开始慢慢部署自己的应用，时间灵活性非常差。第二是空间灵活性也不行，例如上述的用户，要一个很小很小的电脑，现在哪还有这么小型号的电脑啊。不能为了满足用户只要一个G的内存是80G硬盘的，就去买一个这么小的机器。但是如果买一个大的呢，因为电脑大，就向用户多收钱，用户说他只用这么小的一点，如果让用户多付钱就很冤。1.4 虚拟化灵活多了有人就想办法了。第一个办法就是虚拟化。用户不是只要一个很小的电脑么？数据中心的物理设备都很强大，我可以从物理的CPU，内存，硬盘中虚拟出一小块来给客户，同时也可以虚拟出一小块来给其他客户，每个客户都只能看到自己虚的那一小块，其实每个客户用的是整个大的设备上其中的一小块。虚拟化的技术能使得不同的客户的电脑看起来是隔离的，我看着好像这块盘就是我的，你看这呢这块盘就是你的，实际情况可能我这个10G和您这个10G是落在同样一个很大很大的这个存储上的。而且如果事先物理设备都准备好，虚拟化软件虚拟出一个电脑是非常快的，基本上几分钟就能解决。所以在任何一个云上要创建一台电脑，一点几分钟就出来了，就是这个道理。这个空间灵活性和时间灵活性就基本解决了。1.5 虚拟世界的赚钱与情怀在虚拟化阶段，最牛的公司是Vmware，是实现虚拟化技术比较早的一家公司，可以实现计算，网络，存储的虚拟化，这家公司很牛，性能也做得非常好，然后虚拟化软件卖的也非常好，赚了好多的钱，后来让EMC(世界五百强，存储厂商第一品牌)给收购了。但是这个世界上还是有很多有情怀的人的，尤其是程序员里面，有情怀的人喜欢做一件什么事情呢？开源。这个世界上很多软件都是有闭源就有开源，源就是源代码。就是说某个软件做的好，所有人都爱用，这个软件的代码呢，我封闭起来只有我公司知道，其他人不知道，如果其他人想用这个软件，就要付我钱，这就叫闭源。但是世界上总有一些大牛看不惯钱都让一家赚了去。大牛们觉得，这个技术你会我也会，你能开发出来，我也能，我开发出来就是不收钱，把代码拿出来分享给大家，全世界谁用都可以，所有的人都可以享受到好处，这个叫做开源。比如最近蒂姆·伯纳斯·李就是个非常有情怀的人，2017年，他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而获得2016年度的图灵奖。图灵奖就是计算机界的诺贝尔奖。然而他最令人敬佩的是，他将万维网，也就是我们常见的www的技术无偿贡献给全世界免费使用。我们现在在网上的所有行为都应该感谢他的功劳，如果他将这个技术拿来收钱，应该和比尔盖茨差不多有钱。例如在闭源的世界里有windows，大家用windows都得给微软付钱，开源的世界里面就出现了Linux。比尔盖茨靠windows，Office这些闭源的软件赚了很多钱，称为世界首富，就有大牛开发了另外一种操作系统Linux。很多人可能没有听说过Linux，很多后台的服务器上跑的程序都是Linux上的，比如大家享受双十一，支撑双十一抢购的系统，无论是淘宝，京东，考拉，都是跑在Linux上的。再如有apple就有安卓。apple市值很高，但是苹果系统的代码我们是看不到的。于是就有大牛写了安卓手机操作系统。所以大家可以看到几乎所有的其他手机厂商，里面都装安卓系统，因为苹果系统不开源，而安卓系统大家都可以用。在虚拟化软件也一样，有了Vmware，这个软件非常非常的贵。那就有大牛写了两个开源的虚拟化软件，一个叫做Xen，一个叫做KVM，如果不做技术的，可以不用管这两个名字，但是后面还是会提到。1.6 虚拟化的半自动和云计算的全自动虚拟化软件似乎解决了灵活性问题，其实不全对。因为虚拟化软件一般创建一台虚拟的电脑，是需要人工指定这台虚拟电脑放在哪台物理机上的，可能还需要比较复杂的人工配置，所以使用Vmware的虚拟化软件，需要考一个很牛的证书，能拿到这个证书的人，薪资是相当的高，也可见复杂程度。所以仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特别的大，一般在十几台，几十台，最多百台这么一个规模。这一方面会影响时间灵活性，虽然虚拟出一台电脑的时间很短，但是随着集群规模的扩大，人工配置的过程越来越复杂，越来越耗时。另一方面也影响空间灵活性，当用户数量多的时候，这点集群规模，还远达不到想要多少要多少的程度，很可能这点资源很快就用完了，还得去采购。所以随着集群的规模越来越大，基本都是千台起步，动辄上万台，甚至几十上百万台，如果去查一下BAT，包括网易，包括谷歌，亚马逊，服务器数目都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置，几乎是不可能的事情，还是需要机器去做这个事情。人们发明了各种各样的算法来做这个事情，算法的名字叫做调度(Scheduler)。通俗一点的说，就是有一个调度中心，几千台机器都在一个池子里面，无论用户需要多少CPU，内存，硬盘的虚拟电脑，调度中心会自动在大池子里面找一个能够满足用户需求的地方，把虚拟电脑启动起来做好配置，用户就直接能用了。这个阶段，我们称为池化，或者云化，到了这个阶段，才可以称为云计算，在这之前都只能叫虚拟化。1.7 云计算的私有与公有云计算大致分两种，一个是私有云，一个是公有云，还有人把私有云和公有云连接起来称为混合云，我们暂且不说这个。私有云就是把虚拟化和云化的这套软件部署在别人的数据中心里面，使用私有云的用户往往很有钱，自己买地建机房，自己买服务器，然后让云厂商部署在自己这里，Vmware后来除了虚拟化，也推出了云计算的产品，并且在私有云市场赚的盆满钵满。所谓公有云就是虚拟化和云化软件部署在云厂商自己数据中心里面的，用户不需要很大的投入，只要注册一个账号，就能在一个网页上点一下创建一台虚拟电脑，例如AWS也即亚马逊的公有云，例如国内的阿里云，腾讯云，网易云等。亚马逊呢为什么要做公有云呢？我们知道亚马逊原来是国外比较大的一个电商，它做电商的时候也肯定会遇到类似双11的场景，在某一个时刻大家都冲上来买东西。当大家都冲上买东西的时候，就特别需要云的时间灵活性和空间灵活性。因为它不能时刻准备好所有的资源，那样太浪费了。但也不能什么都不准备，看着双十一这么多用户想买东西登不上去。所以需要双十一的时候，创建一大批虚拟电脑来支撑电商应用，过了双十一再把这些资源都释放掉去干别的。所以亚马逊是需要一个云平台的。然而商用的虚拟化软件实在是太贵了，亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商吧。于是亚马逊基于开源的虚拟化技术，如上所述的Xen或者KVM，开发了一套自己的云化软件。没想到亚马逊后来电商越做越牛，云平台也越做越牛。而且由于他的云平台需要支撑自己的电商应用，而传统的云计算厂商多为IT厂商出身，几乎没有自己的应用，因而亚马逊的云平台对应用更加的友好，迅速发展成为云计算的第一品牌，赚了很多钱。在亚马逊公布其云计算平台财报之前，人们都猜测，亚马逊电商赚钱，云也赚钱吗？后来一公布财报，发现不是一般的赚钱，仅仅去年，亚马逊AWS年营收达122亿美元，运营利润31亿美元。1.8 云计算的赚钱与情怀公有云的第一名亚马逊过得很爽，第二名Rackspace过的就一般了。没办法，这就是互联网行业的残酷性，多是赢者通吃的模式。所以第二名如果不是云计算行业的，很多人可能都没听过了。第二名就想，我干不过老大怎么办呢？开源吧。如上所述，亚马逊虽然使用了开源的虚拟化技术，但是云化的代码是闭源的，很多想做又做不了云化平台的公司，只能眼巴巴的看着亚马逊挣大钱。Rackspace把源代码一公开，整个行业就可以一起把这个平台越做越好，兄弟们大家一起上，和老大拼了。于是Rackspace和美国航空航天局合作创办了开源软件OpenStack，如图所示OpenStack的架构图，不是云计算行业的不用弄懂这个图，但是能够看到三个关键字，Compute计算，Networking网络，Storage存储。还是一个计算，网络，存储的云化管理平台。当然第二名的技术也是非常棒的，有了OpenStack之后，果真像Rackspace想象的一样，所有想做云的大企业都疯了，你能想象到的所有如雷贯耳的大型IT企业，IBM，惠普，戴尔，华为，联想等等，都疯了。原来云平台大家都想做，看着亚马逊和Vmware赚了这么多钱，眼巴巴看着没办法，想自己做一个好像难度还挺大。现在好了，有了这样一个开源的云平台OpenStack，所有的IT厂商都加入到这个社区中来，对这个云平台进行贡献，包装成自己的产品，连同自己的硬件设备一起卖。有的做了私有云，有的做了公有云，OpenStack已经成为开源云平台的事实标准。1.9 IaaS, 资源层面的灵活性随着OpenStack的技术越来越成熟，可以管理的规模也越来越大，并且可以有多个OpenStack集群部署多套，比如北京部署一套，杭州部署两套，广州部署一套，然后进行统一的管理。这样整个规模就更大了。在这个规模下，对于普通用户的感知来讲，基本能够做到想什么时候要就什么什么药，想要多少就要多少。还是拿云盘举例子，每个用户云盘都分配了5T甚至更大的空间，如果有1亿人，那加起来空间多大啊。其实背后的机制是这样的，分配你的空间，你可能只用了其中很少一点，比如说它分配给你了5个T，这么大的空间仅仅是你看到的，而不是真的就给你了，你其实只用了50个G，则真实给你的就是50个G，随着你文件的不断上传，分给你的空间会越来越多。当大家都上传，云平台发现快满了的时候(例如用了70%)，会采购更多的服务器，扩充背后的资源，这个对用户是透明的，看不到的，从感觉上来讲，就实现了云计算的弹性。其实有点像银行，给储户的感觉是什么时候取钱都有，只要不同时挤兑，银行就不会垮。这里做一个简单的总结，到了这个阶段，云计算基本上实现了时间灵活性和空间灵活性，实现了计算，网络，存储资源的弹性。计算，网络，存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性，管理资源的云平台，我们称为基础设施服务，就是我们常听到的IaaS，Infranstracture As A Service。二、云计算不光管资源，也要管应用有了IaaS，实现了资源层面的弹性就够了吗？显然不是。还有应用层面的弹性。这里举个例子，比如说实现一个电商的应用，平时十台机器就够了，双十一需要一百台。你可能觉得很好办啊，有了IaaS，新创建九十台机器就可以了啊。但是90台机器创建出来是空的啊，电商应用并没有放上去啊，只能你公司的运维人员一台一台的弄，还是需要很长时间才能安装好的。虽然资源层面实现了弹性，但是没有应用层的弹性，依然灵活性是不够的。有没有方法解决这个问题呢？于是人们在IaaS平台之上又加了一层，用于管理资源以上的应用弹性的问题，这一层通常称为PaaS（Platform As A Service）。这一层往往比较难理解，其实大致分两部分，一部分我称为你自己的应用自动安装，一部分我称为通用的应用不用安装。我们先来说第一部分，自己的应用自动安装。比如电商应用是你自己开发的，除了你自己，其他人是不知道怎么安装的，比如电商应用，安装的时候需要配置支付宝或者微信的账号，才能别人在你的电商上买东西的时候，付的钱是打到你的账户里面的，除了你，谁也不知道，所以安装的过程平台帮不了忙，但是能够帮你做的自动化，你需要做一些工作，将自己的配置信息融入到自动化的安装过程中方可。比如上面的例子，双十一新创建出来的90台机器是空的，如果能够提供一个工具，能够自动在这新的90台机器上将电商应用安装好，就能够实现应用层面的真正弹性。例如Puppet, Chef, Ansible, Cloud Foundary都可以干这件事情，最新的容器技术Docker能更好的干这件事情，不做技术的可以不用管这些词。第二部分，通用的应用不用安装。所谓通用的应用，一般指一些复杂性比较高，但是大家都在用的，例如数据库。几乎所有的应用都会用数据库，但是数据库软件是标准的，虽然安装和维护比较复杂，但是无论谁安装都是一样。这样的应用可以变成标准的PaaS层的应用放在云平台的界面上。当用户需要一个数据库的时候，一点就出来了，用户就可以直接用了。有人问，既然谁安装都一个样，那我自己来好了，不需要花钱在云平台上买。当然不是，数据库是一个非常难的东西，光Oracle这家公司，靠数据库就能赚这么多钱。买Oracle也是要花很多很多钱的。然而大多数云平台会提供Mysql这样的开源数据库，又是开源，钱不需要花这么多了，但是维护这个数据库，却需要专门招一个很大的团队，如果这个数据库能够优化到能够支撑双十一，也不是一年两年能够搞定的。比如您是一个做单车的，当然没必要招一个非常大的数据库团队来干这件事情，成本太高了，应该交给云平台来做这件事情，专业的事情专业的人来自，云平台专门养了几百人维护这套系统，您只要专注于您的单车应用就可以了。要么是自动部署，要么是不用部署，总的来说就是应用层你也要少操心，这就是PaaS层的重要作用。虽说脚本的方式能够解决自己的应用的部署问题，然而不同的环境千差万别，一个脚本往往在一个环境上运行正确，到另一个环境就不正确了。而容器是能更好的解决这个问题的。容器是 Container，Container另一个意思是集装箱，其实容器的思想就是要变成软件交付的集装箱。集装箱的特点，一是封装，二是标准。在没有集装箱的时代，假设将货物从 A运到 B，中间要经过三个码头、换三次船。每次都要将货物卸下船来，摆的七零八落，然后搬上船重新整齐摆好。因此在没有集装箱的时候，每次换船，船员们都要在岸上待几天才能走。有了集装箱以后，所有的货物都打包在一起了，并且集装箱的尺寸全部一致，所以每次换船的时候，一个箱子整体搬过去就行了，小时级别就能完成，船员再也不用上岸长时间耽搁了。这是集装箱“封装”、“标准”两大特点在生活中的应用。那么容器如何对应用打包呢？还是要学习集装箱，首先要有个封闭的环境，将货物封装起来，让货物之间互不干扰，互相隔离，这样装货卸货才方便。好在 Ubuntu中的LXC技术早就能做到这一点。封闭的环境主要使用了两种技术，一种是看起来是隔离的技术，称为 Namespace，也即每个 Namespace中的应用看到的是不同的 IP地址、用户空间、程号等。另一种是用起来是隔离的技术，称为 Cgroups，也即明明整台机器有很多的 CPU、内存，而一个应用只能用其中的一部分。所谓的镜像，就是将你焊好集装箱的那一刻，将集装箱的状态保存下来，就像孙悟空说：“定”，集装箱里面就定在了那一刻，然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的，谁看到这些文件都能还原当时定住的那个时刻。将镜像还原成运行时的过程（就是读取镜像文件，还原那个时刻的过程）就是容器运行的过程。有了容器，使得 PaaS层对于用户自身应用的自动部署变得快速而优雅。三、大数据拥抱云计算在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢？3.1 数据不大也包含智慧一开始这个大数据并不大，你想象原来才有多少数据？现在大家都去看电子书，上网看新闻了，在我们80后小时候，信息量没有那么大，也就看看书，看看报，一个星期的报纸加起来才有多少字啊，如果你不在一个大城市，一个普通的学校的图书馆加起来也没几个书架，是后来随着信息化的到来，信息才会越来越多。

2019年4月26日“华为云技术沙龙“第一站在南京正式开启，来自全国各地的开发者共聚南京，一起深入讨论了当下的三大技术热点：区块链、IoT物联网、大数据。附件是三位专家现场的演讲材料，分享给大家供学习参考。主题一：华为云BigData Pro大数据基础设施方案讲师简介：文震，华为云 BigDataPro 方案架构师。拥有十五年研发领域工作经验，专注于云存储、云计算、大数据等领域。目前从事华为云架构设计、方案设计、研发和项目交付实施等工作。主题摘要：华为云 BigData Pro 方案（大数据计算与存储分离），是以 OBS 作为大数据分析和 AI 训练存储介质的解决方案。主要面向金融、物流、泛政府、大企业和互联网等行业中的大数据分析 &AI 训练等创新服务业务场景。主题二：基于华为云一站式智能IoT平台快速打造行业解决方案讲师简介：梁瑞锋，华为云 IoT 高级架构师。六年物联网技术研究经验，现任华为公司物联网生态解决方案高级架构师，致力于提高生态伙伴物联网转型速度，助力企业赢得数字化转型的机遇。主题摘要：华为云 IoT 平台能够提供完善的流控机制和高效的传输优化，现场通过实操演练，帮助开发者快速理解如何基于华为云 IoT 平台高效地完成终端接入和应用集成，从而构建有竞争力的 IoT 解决方案，以及价值变现。主题三：基于华为云区块链的可信数字业务创新实践讲师简介：Peter Mu，华为云 PaaS 解决方案架构师，区块链创新项目负责人，主导完成华为云区块链技术孵化到上线全过程。主题摘要：主要介绍区块链基本概念、技术演进、客户价值和适用场景判断，华为云区块链技术关键特性和核心技术、华为云区块链生态伙伴合作和分工界面。动手操作环节将会包括华为云区块链 BCS 操作体验，从开通集群开始，快速体验开通服务、创建实例、安装部署、运维监控等业务流程。【华为云专家，期待您的加入】如果您也热爱技术、乐于分享；想要参与技术沙龙、结识技术大咖、打造个人技术品牌....华为云专家欢迎您的加入！华为云MVP：点击了解华为云·云享专家：点击了解

说到云计算，想必大家都不陌生。从海外的aws培育市场之后全球的大企业都一个个的搞起了云计算。放眼海外，展望国内。中国2019云计算企业排行是什么样子呢？阿里云 - 上云就上阿里云在国内能在国际上叫得响的云计算公司就一个阿里巴巴，在国内云计算厂商中阿里云说自己排名第二，没人敢排第一。阿里云（www.aliyun.com）创立于2009年，是全球领先的云计算及人工智能科技公司，为200多个国家和地区的企业、开发者和政府机构提供服务。2017年1月阿里云成为奥运会全球指定云服务商。2017年8月阿里巴巴财报数据显示，阿里云付费云计算用户超过100万。阿里云致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。阿里云在全球18个地域开放了49个可用区，为全球数十亿用户提供可靠的计算支持。此外，阿里云为全球客户部署200多个飞天数据中心，通过底层统一的飞天操作系统，为客户提供全球独有的混合云体验。 腾讯云 - 产业智变 云启未来腾讯云背靠大树加上国际和国内已经有了成熟的模式，腾讯云自推出之后就蒙眼狂奔，在去年某研究院公布的排行中排名前五之内。腾讯云基于QQ、微信、腾讯游戏等海量业务的技术锤炼，从基础架构到精细化运营，从平台实力到生态能力建设，腾讯云将之整合并面向市场，使之能够为企业和创业者提供集云计算、云数据、云运营于一体的云端服务体验。百度智能云 - 计算无限可能提起百度云，大多数人第一个想法就是百度网盘，其实百度网盘是百度网盘和百度云不一样，唯一相似的是百度网盘用的二级域名是yun.baidu.com。f坊间传言因为二级域名百度云和百度网盘还有一些纠葛。不过好的一些是在今年4月百度云终于找到了定位升级为“百度智能云”，从yun到bcc再到cloud相信百度智能云会是国内云计算排名靠前的存在。百度智能云是百度提供的公有云平台，于2015年正式开放运营。百度云秉承“用科技力量推动社会创新”的愿景，不断将百度在云计算、大数据、人工智能的技术能力向社会输出。2019年4月11日，“百度云”品牌升级为“百度智能云”。京东云 - 预见无限可能提起京东云，会有开发者疑问京东不是商城吗，他们也有公有云了？其实笔者早几年就使用过京东云提供的JAE服务。京东云（JD Cloud）是京东集团旗下的全平台云计算综合服务提供商，拥有全球领先的云计算技术和丰富的云计算解决方案经验。为用户提供从IaaS、PaaS到SaaS的全栈式服务（Full Stack），从IDC 业务、云计算业务到综合业务的全频道服务（Full Spectrum），以及包含公有云、私有云、混合云、专有云在内的全场景服务（Full Services）和跨行业的全生态云服务（Full Ecosystem）。同时，京东云依托京东集团在云计算、大数据、物联网和移动互联网应用等多方面的长期业务实践和技术积淀，形成了从基础平台搭建、业务咨询规划，到业务平台建设及运营等全产业链的云生态格局，为用户提供一站式全方位的云计算解决方案。华为云 +智能,见未来应该是去年或者前年开始在私有云市场领先的华为公司也携“华为云”品牌杀入公有云市场。关于华为云的排名，笔者认为不看一时。虽然在去年某研究院公布的排行中排名前五之内，但大家可以参考这两年的小米手机和华为手机的市场占有率之间数据变化。华为云是华为公司倾力打造的云服务品牌，为客户提供稳定可靠、安全可信、可持续演进的云服务。面向大中型企业，华为云帮助他们解决云转型中的困难，更好地把握未来；面向中小型企业，华为云陪伴他们成长，共同应对成长中的挑战。UCloud - 中立 安全 可信赖的云计算服务商今年初，UCloud就有要做科创板第一股（第一个吃螃蟹的人）的传言。在4月1日UCloud披露《首次公开发行股票并在科创板上市招股说明（申报稿）》，不出意外UCloud将成为首个在国内上市的独立云计算厂商。UCloud （优刻得科技股份有限公司）是国内领先的云计算服务平台，坚持中立，不涉足客户业务领域，致力于打造一个安全、可信赖的云计算服务平台。自主研发IaaS、PaaS、AI服务平台、大数据流通平台等一系列云计算产品，并深入了解互联网、传统企业因为篇幅有限，国家队：天翼云、沃云、浪潮云、移动云等，民间队：金山云、网易云、七牛云、三丰云、新浪云、苏宁云、美团云、盛大云、360云等。就不一一介绍了。通过上述介绍，你认为2019云计算前十名都有谁呢？原创文章，首发https://www.wshenm.com/2019cloudtop.html 转载请标明出处。

人社部、市场监管总局、统计局联合发布新职业　2019年4月1日，人力资源社会保障部、市场监管总局、统计局正式向社会发布了人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员、云计算工程技术人员、数字化管理师、建筑信息模型技术员、电子竞技运营师、电子竞技员、无人机驾驶员、农业经理人、物联网安装调试员、工业机器人系统操作员、工业机器人系统运维员等13个新职业信息。这是自2015年版国家职业分类大典颁布以来发布的首批新职业。人力资源社会保障部组织职业分类专家，严格按照新职业评审标准和程序，从有关申报单位提交的新职业建议中评选出来，经公示广泛征求社会各界意见后确定的。首批新职业主要集中在高新技术领域，具有以下几个特点： 　　一是产业结构的升级催生高端专业技术类新职业。当前，我国经济已由高速增长阶段转向高质量发展阶段，这对劳动者的科学文化素质和能力水平提出新的要求。近几年，随着我国人工智能、物联网、大数据和云计算的广泛运用，与此相关的高新技术产业成为我国经济新的增长点。对从业人员的需求大幅增长，形成相对稳定的从业人群。人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员和云计算工程技术人员等4个专业技术类新职业应运而生。这些新职业属高新技术产业，以较高的专业技术知识和能力为支撑，从业人员普遍具有较高学历。　　二是科技提升引发传统职业变迁。随着新兴技术的采用，传统的第一、第二产业越来越智能化。工业机器人替代生产流水线上简单劳动力的做法在部分地区得到推广，与机器人相关的生产、服务和培训企业蓬勃发展。工业机器人的大量使用，对工业机器人系统操作员和系统运维员的需求剧增，使其成为现代工业生产一线的新兴职业。随着无人机技术的成熟，利用无人机完成一些人类难以完成的高难险和有毒有害工作成为可能，通过无人机可以进行植保、测绘、摄影、高压线缆和农林巡视，无人机在物流等领域也拥有广阔的应用空间。大量无人机的使用，使无人机驾驶员成为名副其实的新兴职业。　　三是信息化的广泛应用衍生新职业。信息化如同催化剂，使传统职业的职业活动内容发生变革，从而衍生出新职业，如：数字化管理师、建筑信息模型技术员。随着物联网在办公、住宅等领域得到广泛应用，信息化与现代制造业深度结合，物联网安装调试从业人员需求量激增。近几年，在国际赛事的推动下，基于计算机的竞技项目发展迅猛，电子竞技已成为巨大的新兴产业，电子竞技运营师和电子竞技员职业化势在必行。在农业领域，农民专业合作社等农业经济合作组织发展迅猛，从事农业生产组织、设备作业、技术支持、产品加工与销售等管理服务的人员需求旺盛，农业经理人应运而生。　　　相关阅读：　　　　一、如何界定新职业，新职业信息包括哪些内容？　　新职业是指《中华人民共和国职业分类大典》（以下简称大典）中未收录的，社会经济发展中已有一定规模从业人员，且具有相对独立成熟的专业、技能要求的职业。　　新职业信息主要包括：职业名称、职业编码、职业定义和主要工作任务等内容，与大典中的职业信息基本一致。对具有“环保、低碳、循环”等绿色特征的职业标示为绿色职业，统一以“绿色职业”的汉语拼音首字母“L”标识。　　二、我国何时建立新职业信息发布制度，有何意义？　　建立新职业信息发布制度是国际通行做法，也是职业分类动态调整机制的重要内容。1999年，我国颁布了首部大典，共收录了1838个职业。进入新世纪后，随着我国经济社会的快速发展，产业结构调整、科学技术进步、大众创业创新，社会上涌现出许多新业态，亟待在国家层面上予以认可规范，新职业信息发布制度应运而生。首次新职业信息发布工作始于2004年，至2009年，累计发布了12批次120多个新职业。2010年后，国家启动了大典修订工作。2015年7月，颁布了2015年版大典。2015年版大典颁布近4年来，随着经济社会发展、科学技术进步和产业结构调整，新产业新业态新模式滋生孕育出新职业，亟需重启新职业信息发布工作。　　新职业信息发布制度的意义。首先，有利于促进就业创业。通过发布新职业信息对新职业进行规范，加快开发就业岗位，扩大就业容量，强化职业指导和就业服务，促进劳动者就业创业。其次，有利于促进职业教育和职业培训改革。推动专业设置、课程内容与社会需求和企业生产实际相适应，促进职业教育培训质量提升，实现人才培养培训与社会需求紧密衔接。再次，有利于完善我国职业分类和职业标准体系。将新职业纳入国家职业分类统一管理，并根据产业发展和人才队伍建设需要，加快职业技能标准开发工作，有利于建立动态更新的职业分类体系，完善职业标准体系。　　三、新职业是如何产生的？ 　　新职业是在向社会公开征集的基础上，经专家评审、公示征求意见后，按程序遴选确定的。此次共征集到43个建议职业，经专家严格评审，报人力资源社会保障部、市场监管总局、统计局批准，最终发布13个新职业信息，分别是：人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员、云计算工程技术人员、数字化管理师、建筑信息模型技术员、电子竞技运营师、电子竞技员、无人机驾驶员、农业经理人、物联网安装调试员、工业机器人系统操作员、工业机器人系统运维员。这13个新职业主要集中在高新技术领域，对从业人员知识、技能水平具有较高要求。 　　四、新职业信息发布有何影响？　　新职业信息发布，使国家职业分类体系更加科学完善，更好地服务于国民经济信息统计、人力资源开发管理、职业教育培训和人才评价工作，为国家制定相关产业发展政策、开展就业人口结构变化和劳动力供求状况研究分析、制定人力资源市场政策提供了科学依据。对用人单位和从业人员的影响主要体现在：规范了用人单位的岗位设置、人员招录、员工培训等工作，使从业人员的职业发展规划更加明晰，有利于促进其提升职业能力和素养。来源：http://www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/201904/t20190403_313788.html

写在前面：        首先，感谢华为云能能给我这次机会来体验MapReduce服务。        其次，吐槽一下编辑帖子的这个页面，说实话，实际体验不好，丢失了好几次编辑的内容。介绍：                 本人从事云计算的售前售后咨询工作，之前接触过阿里云和aws，从去年下半年开始也加入了华为云学院，参加过多期的课程培训，考取了HCIA-CLOUD证书，参加过微认证的考试。在体验官的发帖者中也发现了在云学院中 的一些熟悉的名字，希望大家能一起学习华为云、了解华为云。这次体验华为云的MR产品给我不一样的感觉。            痛点  大数据时代的数据分析任务比传统的数据分析任务要复杂的多，利用MapReduce可解决相应的难题，自建MapReduce环境存在以下痛点：            1.环境搭建迅速，传统自己搭建需要一周的时间。            2.环境复杂，技术要求高。            3.业务云化日趋完善，现有业务上云急需解决。   MR产品        前提，该账户在所创建集群的region内建有vpc和安全组。   购买并创建MR集群的过程友好度满分，安装帮助文档操作就ok，简单易懂，这里不做赘述。        购买完成后绑定弹性ip并添加安全组规则。        购买完成后自动创建集群，并自动带有用于测试生产的环境。简单易得，即开即用。友情提示：如果使用Chrome浏览器登录华为云的话，点击上图的“点击查看”可能没反应，按照下图的提示允许弹窗就行了。友情提示：这边的登录用户名默认是admin，密码是创建集群时指定的密码。在OBS桶中创建用于存储数据逇文件夹，并上传Hadoop3.1.1子项目hadoop-mapreduce-examples代码，并上传需处理的数据。    再说说和其他云的比较。    首先说阿里云，由于阿里云起步较早，MR产品功能相对来讲比较丰富。阿里云MR的帮助文档十分丰富，且API和SDK也较为全面。华为云的MR产品则简单易用，对比阿里云没有那么繁琐，美中不足的是帮助文档对初学者不够友好，帮助文档过于简单。    再说AWS，作为世界范围内云计算的行业领导者，AWS的产品个人认为不符合中国人的使用习惯。首先，AWS的帮助文档写的像一坨X一样，毫无逻辑，看着十分费劲。其次对于AWS的使用者来说，学习成本太高，很多功能都没集成，使用起来十分繁琐，要用到很多cli或者lambda函数。还有一点，AWS的计费是基于欧美的那套信用体系，费用不如国内的云看的直观。

       2018年华为云沃土AI开发者使能计划推出，使能开发者，做云上生态的黑土地。为更好的建设与开发者共创的通道，使能人才培养，2018年华为云MVP&云享专家上线。华为公司副总裁、云BU总裁郑叶来表示:“ 华为希望通过沃土AI开发者使能计划,搭建一个技术交流、人才培养、机遇共创的通道,全面助力每一位开发者、每一位老师和每一位合作伙伴。”       2019年华为云计划赋能更多MVP&云享专家进行技术共创，为此华为云推出了云专家激励计划，针对专家贡献和使命给予相应激励，更好的传播华为云品牌，为行业进行技术步道和技术赋能。       在过去这些年里，华为作为技术提供商，帮助众多企业实施数字化转型战略，越来越多的客户提出：华为自己是如何用云来打造数字化华为的呢？3月21-22日在福州海峡国际会展中心召开的“华为中国生态伙伴大会2019”华为云专家闭门会议上，我们邀请到来自全国各地的华为云MVP、云享专家、优秀开发者代表共同探讨了关于大数据、区块链解决方案，附件是两位来自华为的云享专家和大家分享的演讲材料，供大家学习参考。        如果您也热爱技术、乐于分享，华为云专家期待您的加入，和我们一起交流技术、共促业务发展！       

受邀 MapReduce服务体验官，感到非常荣幸，也非常忐忑。对 MapReduce服务不了解，非常想借这个机会了解学习大数据。这次体验的是使用Spark实现车联网车主驾驶行为分析-最佳实践1、创建集群（略，感谢代金券）2、准备Spark样例数据2.1创建一个名称为obs-demo-data-hwt-richblue88的桶2.2在IAM创建DIS委托2.3申请DIS通道2.4下载并安装DIS Agent2.5下载并获取Spark样例数据2.6配置DIS Agent采集数据agent.yml配置2.7启动Agent2.8查看数据上传情况3、准备Spark样例程序3.1创建桶，创建一个名称为obs-demo-analysis-hwt-richblue883.2分别新建program、output和log文件夹3.3创建作业3.4查看作业结果1.操作体验:是否能够顺畅的创建集群，提交作业，跑组件的样例程序创建集群OK。但是缺乏集群的说明，不知道选哪种集群比较适合场景。按照最佳实践重新建了集群才把后面的做下来。2.性能:您在体验过程中使用了哪些组件，跟自己搭建CDH，或者用过友商的对标组件相比，性能如何？主要使用spark。对标腾讯云，最大的感受还是更方便一些。腾讯云的操作，几乎是要命令行操作。性能上，因为是测的最佳实践案例，数据量小，感觉性能还可以。不知道真实业务跑起来咋样。缺点是作业没有进度条。要点进去看日志才知道跑到哪一步了。3.功能特性:对比体验官用过的其他大数据平台，是否有哪些功能需要补齐或加强？感受到的是界面的图形化做的不错。但是从大数据来讲，不仅仅是这个一个套间。与其他功能（数据湖、实时流、数据接入、数据仓库、云搜索等）怎么混搭使用？或者弄一个最佳组合套间出来比较好。个人感觉产品多，但是缺整体的框架。建议是整理通用的框架出来，或者从场景推荐最佳的大数据产品组合。4.满意度及推荐度：当自己的项目或是公司有大数据应用的需求时，是否愿意自己使用或推荐身边的同事朋友使用华为云MRS服务？什么原因促使你做出这个结论？华为云一直是国产的标杆。一直是努力进步的云。我相信华为云的EI、大数据产品越做越好。但是希望更深入客户的应用和痛点。比如MRS的输出，能不能展示得更好一点。而不是让用户从obs里去下载。然后从费用来说，成本确实比较高。如果输出的内容对企业有价值还可以考虑，如果只是测试体验，收费就不好说了。

以Hadoop+Spark的大数据时代跃进，现在己经退潮（最火是2012~2015年），所以，某系统一直沿用“祖传”版本Apache Hadoop 2.4（的确是Apache版，不是CDH……）。反正嘛，系统建是建了，却一直没有用起来，毕竟对于不是三大运营商或者大型互联网企业用Hadoop是浪费，其实那个系统用hadoop也就只是做了个数据可视化（其实不用Hadoop也可以做）。新开发的系统都打着AI、区块链这些旗号。趁着华为云MapReduce的试用体验，重新熟悉一下快忘光的hadoop知识。1.先来试试跑Hadoop版的“HelloWorld”：WordCount首先肯定要看入门指南，然后就蒙了找了老半天“文件管理”在那里啊？只得登录控制台那么传到OBS后，又怎样弄到HDFS上呢？文档中也没有找到命令行下怎样做……是不是在这里啊？但问题是根本就打不开啊，也添加安全组规则了啊。配成0.0.0.0/0，还是不行。晕死了 既然前端不行，就试试用JAVA推吧2.二次开发测试按照说明，怎么没有2.0.0的样例呢？不管了，先导入去试试。问题是MRS Manager根本就打不开啊，二次开发无法进行了，毕竟要Kerberos认证。并且二次开发包用Eclipse neon 3会报错…….来到这里，真的怀疑是自己操作的问题，还是产品文档没有完善啊？再回到检查访问控制，的确是开了9022 那么如果是360浏览器的问题，我换成IE试试，结果还是不行。开兼容性视图还是不行。问题是不管http还是https都打不开…… 应该是这3次体验评测中，最不顺利的一次。3.突然打开了试过用手机的Quark浏览器，是提示证书有问题。回想起之前，某业务系统也是要用低版的chrome将浏览器改为猎豹，因为猎豹的chrome版本较低，不认证证书问题。（真的服了！！！！！！好歹也得要支持IE啊，谁还会去选crhome的版本呢？）另外嘛，就用http也怎么啦？至少可以应急用啊。尝试登录，不管是华为云ID、手机号，还是LINUX的root，都是登录不了。又来一个大坑。群上求助才知用户名是admin，晕倒！终于进来了，界面挺高大上，然而，文件管理依然找不到啊。同样地作业管理，也不知飞到那里去......好了，接下来，真的不知道怎样测试了，回答一下标准问题吧1.操作体验:是否能够顺畅的创建集群，提交作业，跑组件的样例程序创建集群是正常，毕竟可以收费嘛。但是那个帮助文档，真的太out了，好歹也得要指出在那里用啊。问题是连文件也传不了，作业也提交不了，更不用说跑通Demo。至少也得要将最基本的快速入门指南做到没有bug啊。 2.性能:您在体验过程中使用了哪些组件，跟自己搭建CDH，或者用过友商的对标组件相比，性能如何？没法测试下去，真的自己搭Apache Hadoop比华为云的MRS用起来爽多了。 3.功能特性:对比体验官用过的其他大数据平台，是否有哪些功能需要补齐或加强？其实主界面的一大堆仪表盘是挺酷的。但真的真的文档方面要下功夫。并且界面那怕不支持新版Chrome，也得至少要支持IE11啊。二次开发Demo能测试一下，再release好不？或者将eclipse+demo+依赖jar+JDK一套打包好就更好了。 4.满意度及推荐度：当自己的项目或是公司有大数据应用的需求时，是否愿意自己使用或推荐身边的同事朋友使用华为云MRS服务？什么原因促使你做出这个结论？真的不满意，并且也不推荐用MRS。MRS文档渣爆了，并且玩大数据，用华为云的一个月的成本就要1700多元并且配置也一般，倒不如像某系统那样，搞几台服务器，一年下来的自建成本比上云要低，不用的时候，直接关hadoop的VM，节省资源用于其它突发的应用。并且还要传输大量的生产数据，内网跑跑还可以，放在云上嘛，除非重要的业务系统都上去了（至少国企很少这样干，一般都是一些对外服务的边缘系统放上云）。

本期体验产品： 华为云MapReduce产品 本次体验采用有奖征集体验评测报告+群内互动交流反馈的形式。首先从体验官社群中招募20人，体验产品并输出产品体验评测报告。报名成功的体验官，我们会在您的华为云账户中发放1700元产品代金券，用于本次体验。本期体验活动报名链接将会发布在“华为云产品体验官微信群”。因本期体验产品资源有限，请各位体验官务必确定可以有时间参与本次体验再行报名。报名成功后产品代金券会在24个小时内发放到您的华为云账户中，代金券发放后会在群体验官内通知各位，并指导各位使用代金券购买体验所需云产品及云资源。请各位及时参与体验，并按照要求输出体验评测报告。3月27日 16:00前，代金券未使用完的部分，将会进行回收。 我们会按照评测体验维度、深度、意见建议等方面，从中筛选出15-20份高质量体验报告，给予礼品奖励。  只要体验报告内容丰富、有深度，建议和意见中肯合理，那么中奖率就是100%哟~~  ☆奖品设置如下☆ 优秀测评体验报告奖：2名奖品：华为运动手环一副   高质量测评体验报告奖：3名奖品：《深入浅出强化学习原理入门》书籍 体验评测报告激励奖：15名奖品：华为云定制三合一数据线 ☆产品体验评测报告内容要求☆ 体验评测报告内容需要包含以下维度：本次体验活动建议选择MRS2.0版本（其中的组件对标开源最新版本），并建议创建混合集群（可以同时拥有流式组件和分析组件）,测评报告需包含以下维度。1.操作体验:是否能够顺畅的创建集群，提交作业，跑组件的样例程序2.性能:您在体验过程中使用了哪些组件，跟自己搭建CDH，或者用过友商的对标组件相比，性能如何？3.功能特性:对比体验官用过的其他大数据平台，是否有哪些功能需要补齐或加强？4.满意度及推荐度：当自己的项目或是公司有大数据应用的需求时，是否愿意自己使用或推荐身边的同事朋友使用华为云MRS服务？什么原因促使你做出这个结论？ 体验过程及评测报告中可参考的竞品：1.阿里云E-MapReduce2.自建CDH3.AWS-EMR4.腾讯云-弹性MapReduce体验评测报告交稿时间： 3月27日 14:00前，请报名评测的体验官将评体验测报告发帖上传到华为云社区开发者交流论坛中。并同步微信告知小助手（微信：hwyxzs）微信号。3月29日 16:00前，群内公布获奖体验官名单及奖品。 体验报告发帖地址：https://bbs.huaweicloud.com/forum/forum-557-639-1.html评测报告字数不少于1000字，可图文并茂，并在落款标注姓名和群内昵称，以便评奖时使用。  ☆华为云MapReduce使用指南☆1.大家可用PC点击下方链接，进入华为MRS服务主页面，点击“立即购买”进行产品购买。https://www.huaweicloud.com/product/mrs.html2.购买集群的具体参数说明链接如下，（建议创建关闭kerberos认证的集群，可降低您的使用难度）：https://support.huaweicloud.com/usermanual-mrs/zh-cn_topic_0013363945.html在购买MRS服务之前需要先进入虚拟私有云（VPC）服务，创建VPC和子网，并购买弹性IP和带宽。3.在购买集群之后可以通过快速入门，对集群的组件进行简单尝试使用https://support.huaweicloud.com/qs-mrs/mrs_09_0001.html4.各个组件的二次开发指南：https://support.huaweicloud.com/devg-mrs/mrs_06_0001.html5.MRS服务提供的体验馆：体验不同行业的大数据场景，让更多的人了解大数据在日常生活中的作用。通过简单、快速一键式集群服务搭建，帮您更好的了解和掌握高可靠、高安全、易使用的大数据特性。进入场景体验，点击查看详情，可以按照实现方法，进行各行业的大数据处理分析的demo操作https://www.huaweicloud.com/product/mrs/demos/aggregation.html  

 MapReduce服务上线以来，我们在用户的意见和建议中不断地进行改进和优化。如今MRS已来到2.0时代。MRS 2.0对大数据引擎做了全面升级，并推出实时流与批分析一体的混合集群，支持计算存储分离的统一存储方案，为客户提供低成本、高性能、更易用的全新一站式大数据平台服务。      下面就由小编给大家详细介绍下MapReduce2.0的新特性。MRS 2.0 新特性一览表  一、MRS 2.0 vs 1.X ——Hadoop篇：Ø  冷数据占存储空间更小对于冷数据的存储，我们一直希望能够减少其所占存储空间。纠删码作为给HDFS拓展的新特性，是一种与副本相比更节省存储空间的数据持久化方法。传统HDFS数据只采用冗余的方式来获得数据可靠性(默认冗余200%)，带来了存储成本的提升。该技术在HDFS实现了纠删码使得数据冗余减少到50%，且可靠性更高(使用Reed-Solomon(10,4)编码的数据可以允许4个节点失效)，并引入条带化的块存储结构，最大化的利用现代集群单节点多磁盘的能力，使得数据写入性能在引入编码过程后，仍和原来多副本冗余的性能接近，更值得一提的是，应用层无需改动写入数据的实现方式即可获得这部分提升。使用场景上，纠删码编码的数据在读写数据时，会耗费更多的CPU，在CPU资源富裕的大数据应用场景，能给客户带来更大的成本空间。Ø  Yarn的Opportunistic Containers过去的YARN集群，资源利用率较低，主要有两个因素，一是延迟反馈，YARN依赖心跳管理集群资源，空闲资源能够再次被申请，需要多次心跳交互才能感知到；二是YARN应用声明的资源比实际使用量大，导致利用率低。Opportunistic Containers相对于之前的Guaranteed Container来说，优先级更低，会被Guaranteed Container抢占，但其优势在于让container请求在YARN的NodeManager节点排队(即使资源不足)，一旦有空闲资源，可以立即开始执行，消除了延迟反馈，提升了Container启动速度，从而提高了集群利用率。 Ø  新机制实现Yarn的高扩展新引入Yarn federation机制：将一个超大的集群分解成多个子集群的方式来实现Yarn的高扩展性，每个子集群有自己的ResourceManager和NodeManager，Yarn federation将这些子集群拼接在一起使他们成为一个大集群。在Yarn federation环境中，Application看到的是一个超大的集群，并且能够在整个集群的任何节点执行Task。Ø  支持自定义资源模型从MRS2.0开始，Yarn支持自定义资源模型（support user-defined countable resource types），不仅仅支持CPU和内存，比如集群管理员可以自定义诸如GPU，软件许可证等等资源，Yarn任务可以根据这些资源的可用性进行调度。 除此之外，华为云MRS服务2.0全面兼容Hadoop 3版本，提供了DataNode节点内多磁盘均衡工具，来处理添加或替换磁盘时可能导致的DataNode内部多块磁盘存储的数据不均衡的问题。 二、MRS 2.0 vs 1.X ——Hive篇：Ø  新执行引擎TezMRS2.0上的Hive，使用新的执行引擎Tez代替原先的MapReduce，性能有了显著提升。Tez可以将多个有依赖的作业转换为一个作业（这样只需写一次HDFS，且中间节点较少），从而大大提升DAG作业的性能。下面的图表阐述了这个过程：左图表展示的流程包含多个 MR 任务，每个任务都将中间结果存储到 HDFS 上（前一个步骤中的 reducer 为下一个步骤中的 mapper 提供数据）。右图表展示了使用 Tez 时的流程，仅在一个任务中就能完成同样的处理过程，任务之间不需要访问HDFS。使用 Tez 完成Hive 查询的好处包括：·       它为你提供了全面的 DAG 支持，同时会自动地在集群上完成大量的工作，因而它能够充分利用集群的并行能力，在多个 MR 任务之间不需要从 HDFS 上读 / 写数据，通过一个单独的 Tez 任务就能完成所有的计算。·       它提供了会话和可重用的容器，因此延迟低，能够尽可能地避免重组。·       兼容原先MR任务。Tez提供了的全新的UI界面，可以更加方便的查看每个任务的执行情况。Ø  提供了HPLSQLMRS2.0中的Hive支持存储过程（HPLSQL）。使用存储过程能够更加方便的执行具有关联性的HQL语句集，通过定义变量和传参，灵活地调用方法获取事务的执行结果，比之前反复执行多条hql语句效率更高。通过定义连接，可以在一个HPLSQL中访问不同的关系型数据库。下面是一个简单的HPLSQL例子：CREATE FUNCTION hello(text STRING)RETURNS STRINGBEGIN  RETURN 'Hello, '   || text || '!';END; FOR item IN (  SELECT s1,s2 FROM   test limit 10)LOOP  PRINT item.s1 ||   '|' || item.s2 || '|' || hello(item.s1);END LOOP;CREATE FUNCTION hello(text STRING)RETURNS STRINGBEGIN  RETURN 'Hello, '   || text || '!';END; FOR item IN (  SELECT s1,s2 FROM   test limit 10)LOOP  PRINT item.s1 ||   '|' || item.s2 || '|' || hello(item.s1);END LOOP; Ø  HiveWebUI使运维更加简单HiveServer如今提供的web界面，可以方便查看正在运行的SQL有哪些，执行了多长时间等，可以说是运维同学的一大福音。新版本的Hive还充分利用现代CPU提供的SIMD，AVX2等指令集，来提高CPU利用效率。例外，CBO这种基于代价的查询优化，对于多表join性能优化效果显著。使用新版本后，根据不同场景，Hive的性能提升了不止50%呢。 三、MRS 2.0 vs 1.x ——Spark篇：Ø  真正毫秒级低延迟处理无论是最早的Spark Streaming，还是Spark 2.0中推出的Structured Streaming，均采用定时触发，生成微批的方式实现流式处理。Spark Streaming的处理逻辑如下：当新的数据到达时，Driver需要等到定时器下一个触发的时刻，将这段时间内到达的所有新数据生成一个新的批次，并将其加到一个队列中。之后，会由Driver的另一个线程获取队列中的批次，解析处理后生成Task并分发给各个Executor执行。显然，等待定时器触发，以及分发Task到Executor执行，都带来了额外的时间开销。Structured Streaming处理逻辑有所不同，但存在相同的问题。MRS 2.0中包含的Spark 2.3版本，在Structured Streaming中新加入了Continuous Processing模式，正是解决了上述问题。使用该模式时，会在各个Executor上启动一组长时间运行的任务，而不再是定时触发。数据一旦到达，就会立刻被计算处理，从而避免了等待定时器下一次触发的额外时间消耗，以及生成Task并分发到Executor的额外时间消耗，实现了真正毫秒级的低延迟处理，最小延迟从原先的100毫秒左右，降低到现在的3-5毫秒左右。Ø  支持流和流的join操作在MRS 2.0之前，Structured Streaming仅支持流和静态数据集之间的join操作，MRS 2.0中包含了Spark 2.3版本，加入了期待已久的流和流的join操作。流和流的join操作，支持内连接和外连接，可用在大量的实时场景中，例如比较常见的点击日志流的join操作，现在就可以通过几行代码轻松实现。Structured Streaming之前在Spark 2.0版本中推出，用来替代原先的Spark Streaming。Structured Streaming基于Spark SQL引擎，使用户能够使用与批处理一样的DataSet API来构建流式应用，并能享受Spark SQL引擎带来的性能提升，另外，Structured Streaming还提供了exactly-once的语义支持，因此推荐大家使用Structured Streaming替代原有的Spark Streaming程序。Ø  PySpark性能优化基于Apache Arrow和Pandas库，实现了pandas_udf。利用pandas对数据进行矢量化的优化，并通过Arrow降低Python与Spark的通信开销。使用pandas_udf替代pyspark中原来的udf对数据进行处理，可以减少60%-90%的处理时长（受具体操作影响）。Ø  MLLib优化提升在Spark 2.3中带来了许多MLLib方面的提升，例如，支持Structured Streaming中使用MLLib的模型和pipeline；支持创建图像数据的DataFrame；使用Python编写自定义机器学习算法的API简化等。 四、MRS 2.0 vs 1.x ——HBase篇：Ø  HBase on OBS: 数据与MRS集群解耦HBase2支持为WAL和HFile设置存储在不同类型的文件系统，MRS 2.0中的HBase2.1支持设置WAL on HDFS和HFile on OBS，实现存储和计算分离的目的，并有以下几个优点：·     计算存储分离可以根据需要对RegionServer进行弹性扩缩容，避免计算和存储绑定造成的资源浪费；·    华为云OBS的单价低于云盘和直通盘，在大容量存储需求下极大的降低存储成本；·    OBS支持跨AZ和跨Region的数据复制，极大提高数据的可靠性。此外，相比开源HBase2，MRS HBase2.1对on OBS场景做了更多的可靠性优化：·    创建集群支持on OBS的模式，简化操作步骤；·    简化Region Location计算的算法，不再对数据本地性作要求；·    数据恢复过程中的WAL Split阶段统一在HDFS中完成，恢复时长同on HDFS。 Ø  新的多租户方案RegionServer Group作为新的多租户方案，可以将多个RegionServer进行分组，组成不同的RGS。不同的表可以分布在不同的RGS中，不同RGS中的表不会互相受到影响，以这种从RegionSever中物理隔离的方式，从而实现多租户的方案。Ø  优化region状态转换AssignmentManager V2基于Procedure V2实现，能够更快速的分配Region，维护的region状态机存储不再依赖于ZooKeeper，移除了region在zookeeper中的状态信息，只在HMaster的内存和Meta表中维护region状态，极大的解决了region状态转换过程中引起的问题。Ø  优化HFile实现方式MemStore中的数据达到一定大小以后，先Flush到内存中的一个不可改写的Segment，内存中的多个Segments可以预先合并，达到一定的大小以后，才Flush成HDFS中的HFile文件，这样做能够有效降低Compaction所带来的写IO放大问题。 此外，HBASE 2.x更改了数据的读写方式，会直接在二级缓存中进行读写，采用堆外内存Offheap替代之前的堆内内存，减少对Heap内存的使用，有效减少GC压力。HBase2.x 开始默认使用NettyRpcServer替代HBase原生的RPC server，大大提升了HBaseRPC的吞吐能力，降低了延迟。 五、MRS 2.0 vs 1.x ——Kafka篇：Ø  支持Kafka MirrorMakerMirrorMaker用于Kafka集群之间的流数据同步，可以把Kafka集群中的消息复制到另一个Kafka集群中，这在测试环境引流的时候，或者需要把多个不同的Kafka集群的消息合并在一个大集群时非常有用。Kafka mirrormaker通过Kafka集群间的数据镜像能力，实现跨kafka集群的消息实时同步备份，可用作在线kafka集群的数据容灾场景和kafka集群的数据在线迁移场景，提高数据迁移的吞吐量和容错性。 六、MRS 2.0 vs 1.x ——集群管理篇：Ø  混合集群原先MRS只支持独立的分析集群和流式集群，对于一些小型数据场景及测试场景，既要部署分析和流式组件，就需要部署两套集群。于是MRS2.0引入了“混合集群”概念，在同一集群中用户就可以同时部署分析和流式组件，节省了管理节点的成本，并且可以大大减少不同集群的通信成本，是小型集群和测试场景大大的福音。Ø  混合计费模式的弹性伸缩企业生产环境长期使用大数据集群，为节省成本往往会选择价格更优惠的包周期预付费购买模式。但大数据的计算资源率随着业务时段存在峰谷变化，如果包年包月购买的资源按照峰值就会存在大量时间段的浪费，按照谷值购买又会存在忙时资源不足影响业务。因此MRS 2.0提供了混合计费的弹性伸缩能力，可以在包周期集群上配置弹性策略（按时间段或者业务指标进行集群节点弹性伸缩），弹性部分节点按需收费。客户可以根据业务情况配置自动弹性伸缩策略，MRS服务会在繁忙时申请额外资源，空闲时释放多余资源，帮助客户降低成本，聚焦核心业务。Ø  Manager的监控展示的优化MRS2.0的Manager界面默认显示历史监控数据，用户可以选择实时或者任意区间查看监控数据查看监控数据更便捷。磁盘使用率、内存使用率等指标细化显示，主机监控更细致，星型符号标注主备管理节点，用户体验更友好。 MRS2.0新增了这么多特性，进一步实现了完整统一的计算系统，为大家提供7*24小时不间断服务的系统级平台。同时具有强大的包容的生态圈，并支持计算存储分离的功能，大家从各个平台迁移过来都非常方便。开源中的所有新特性，都可以来MRS 2.0上抢先一步体验到。 MRS 2.0 敬请期待。。。

课程内容：1、大数据流式集群+分析集群的创建2、基于大数据的水务数据的分析展示课程材料见附件华为云AI+大数据学习营MRS服务高阶课程.rar

高校学习营活动贴地址：https://bbs.huaweicloud.com/forum/thread-13291-1-1.html服务地址：https://www.huaweicloud.com/product/cs.html 学习课堂：https://education.huaweicloud.com:8443/courses/course-v1:HuaweiX+CBUCNXE021+Self-paced/about学习流程：注册华为云（完成认证）——下载附件中的资料——进入学习课堂（学习相关课程）——完成作业并上传邮箱注意：开始学习之前请先阅读【华为云AI+大数据高校学习营】课程学习FAQ相关事项，熟悉作业流程，格式。确认代金券已成功发放到账户，再开始学习&作业。完成作业的同学请及时删除闲置的图，避免造成欠费。作业一：通过Flink StreamSQL实现车辆超速告警场景，即车辆一旦超过限速，即时短信和邮件告警。超速标准和超速数据随意，实现功能即可。参考链接：https://github.com/huaweicloud/huaweicloud-cs-sdk/tree/master/huaweicloud-cs-examples注意：创建最小spu，完成后停止作业即可作业二：开放性题目，使用CS自定义模板，实现任意一个功能，提交作业内容包含：问题描述：描述作业解决什么问题或实现什么功能 ，解决方案：说明问题的解决方案和实现步骤 ，源码提交：提交过程中使用的源码及jar包，结果展示：结果的输出和展示。

【摘要】 华为云社区月刊，每月更新一刊，欢迎大家品读。本期推荐2018年度华为云社区十大精品专题、21天晋级大数据实战营小结、云安全2018年度小结、年终庆典开发者英雄大会活动，精彩内容值得分享。

AI 功能相关 AT 命令模组发送上行数据时携带 RAI 指示标志， 核心网根据此指示标志来决定是否需要立即释放当前 RRC 连接状态， 具体指示标志有两种：⚫ 当前数据发送完成后，后续没有上行或下行数据，则立即释放 RRC 连接；⚫ 当前数据发送完成后，仅有一条下行数据（如应答或对上行数据的响应），且后续没有其他上行数据交互，则立即释放 RRC 连接。2.1. RAI 功能相关 AT 命令2.1.1. AT+NSOSTF 发送 UDP 数据并携带标志位通过 AT+NSOSTF 命令向远端服务器发送 UDP 数据并携带标志位。参数AT+NSOSTF 发送 UDP 数据并携带标志位设置命令AT+NSOSTF=<socket>,<remote_addr>,<remote_port>,<flag>,<length>,<data>响应<socket>,<length>OK如果出现错误，响应：ERROR或+CME ERROR:<err>最大响应时间 300 毫秒<socket> 通过 AT+NSOCR 建立的 Socket<remote_addr> IPv4 地址 点分表示的 IP 地址<remote_port> 远端服务器 UDP 端口号。 范围为 0-65535。<flag> 标志位，十六进制格式表示；若需要同时设置多个标志，则该参数由各标志位进行逻辑或运算（OR） 得到。0 不设置任何标志位备注1. <remote_addr>支持八进制、十进制或十六进制表示法。2. <remote_addr>仅支持 IPv4 地址。3. 目前<data>仅支持十六进制字符串格式。4. 关于此命令的更多详情，请参考文档 [1]&[2]。2.1.2. AT+QLWULDATAEX 发送 CON/NON 数据通过 AT+QLWULDATAEX 命令可向华为 IoT 平台发送携带辅助释放指示的 CoAP CON (Confirmable)数据或 NON (Non-confirmable) 数据。参数0x100 特殊消息数据，以高优先级发送。 该功能需要 USIM 支持。0x200 RRC 连接释放指示： 上行数据发送完成后， 指示核心网立即释放连接0x400 RRC 连接释放指示： 上行数据发送完成并收到下行数据回复后， 指示核心网立即释放连接<length> 已发送数据长度；以十进制表示。 最大数据长度为 512 字节。<data> 已接收的数据； 以十六进制字符串或带引号的字符串格式表示。AT+QLWULDATAEX 发送 CON/NON 数据设置命令AT+QLWULDATAEX=<length>,<data>,<mode>响应OK如果出现错误，响应：ERROR或+CME ERROR:<err>最大响应时间 300 毫秒<length> 已发送数据长度；以十进制表示。最大数据长度为 512 字节。<data> 已接收的数据；以十六进制字符串表示。<mode> 发送的 CON/NON 数据模式0x0000：发送 NON 数据0x0100： 发送 CON 数据0x0001： 发送 NON 数据，带 RELEASE 标记0x0101： 发送 CON 数据，带 RELEASE_AFTER_REPLY 标记备注1. 针对 BC95 模组， <mode>值 0x0001 和 0x0101 仅在 B657SP5 或之后版本上支持。2. 发送 CON 消息之后， 必须在收到响应或发送超时之后才能发送下一条 CON/NON 消息。3. 关于此命令的更多详情，请参考文档 [1]&[2]。RAI 功能操作示例3.1. 发送 UDP 数据并携带标志位执行 AT+CSCON 命令使能 URC 上报功能，通过 URC 的上报状态，可判断标志位是否生效。[13:38:08:105]AT+CSCON=1 //使能 URC 上报功能[13:38:08:121]OK[13:38:08:344][13:38:08:344]+CSCON:0[13:38:24:470]AT+NSOCR=DGRAM,17,1234,1 //创建 UDP socket[13:38:24:502]0[13:38:24:518]OK[13:38:28:717]AT+NSOSTF=0,220.180.239.212,8052,0x400,2,AB30 //使用 0x400 标志位发送数据[13:38:28:765]0,2[13:38:28:765]OK[13:38:29:340][13:38:29:340]+CSCON:1[13:38:29:611][13:38:29:611]+NSONMI:0,2 //收到下行数据后， 立即释放 RRC 连接[13:38:29:931][13:38:29:931]+CSCON:0[13:38:37:244]AT+NSORF=0,512[13:38:37:276]0,220.180.239.212,8052,2,AB30,0 //读出下行数据[13:38:37:307]OK[13:38:56:275]AT+NSOSTF=0,220.180.239.212,8052,0x200,2,AB30 //使用 0x200 标志位发送数据[13:38:56:323]0,2[13:38:56:339]OK[13:38:58:782][13:38:58:782]+CSCON:1 //建立 RRC 连接，并开始发送数据[13:38:59:086][13:38:59:086]+CSCON:0 //数据发送完毕后，立即释放 RRC 连接3.2. 发送 CoAP CON/NON 数据执行 AT+CSCON 命令使能 URC 上报功能，通过 URC 的上报状态，可判断 RAI 功能是否生效。[14:17:35:307]AT+CSCON=1 //使能 URC 上报功能[14:17:35:322]OK[14:17:45:876][14:17:45:876]+CSCON:0[14:17:53:301]AT+NCDP?[14:17:53:301]+NCDP:180.101.147.115,5683 //IoT 平台服务器地址[14:17:53:333]OK[14:18:03:920]AT+QLWULDATAEX=3,AA34BB,0x0001 //使用 0x0001 标志位发送 NON CoAP 数据[14:18:05:404]OK[14:18:05:532][14:18:05:532]+CSCON:1 //建立 RRC 连接，并开始发送数据[14:18:05:947][14:18:05:947]+CSCON:0 //数据发送完毕后，立即释放 RRC 连接[14:21:06:880]AT+QLWULDATAEX=3,AA34BB,0x0101 //使用 0x0101 标志位发送 CON CoAP 数据[14:21:06:911]OK[14:21:07:933][14:21:07:933]+CSCON:1 //建立 RRC 连接，并开始发送数据[14:21:08:221][14:21:08:221]+QLWULDATASTATUS:4 //CON CoAP 数据被平台确认收到[14:21:09:179][14:21:09:179]+CSCON:0 //数据发送完毕后，立即释放 RRC 连接 

11月22日，"知者创物——全球互联网技术大会GITC2018北京站"在北京国家会议中心盛大召开，大会共有1个主会场涵盖无人驾驶、人工智能、区块链、AR&VR、智慧城市、全球化、智能制造、技术论坛等8大主题以及大数据应用、网络安全、基础架构、质量测试、前端技术、运维等十余个分会场，同时还有闭门垂直峰会和领袖峰会。在主会场方面，"华为云EI 智能体，行业升级新引擎"的演讲引起与会嘉宾的强烈反响；分会场方面，华为AI Fabric与华为云视频服务全景等议题也大受追捧。同时，华为云视频服务的高清低码技术和短视频服务系列应用产品也在会上进行了展出。华为云中国区CTO 彭柯，来自全球160位的互联网演讲嘉宾以及其他互联网人士出席了大会。全球互联网技术大会GITC2018北京站现场盛况华为云EI智能体,行业升级新引擎华为云EI（企业智能）服务基于华为最新AI芯片实现能力升级，经过不断发展迎来华为云EI城市智能体的问世。华为云中国区CTO彭柯在大会主会场作了"华为云EI 智能体，行业升级新引擎"的主题演讲，其绘声绘色的演讲多次博得阵阵掌声，他指出，华为云EI企业智能自问世以来，已经经过华为云在城市、制造、物流、互联网等8大行业的超过200个项目进行探索，基于华为最新发布的Ascend 310及910AI芯片，华为云EI从"芯"出发，终于以全栈全场景服务强力升级。华为云EI正致力于助力产业升级，针对海量重复场景、专家经验场景及多域协同场景，实现效率提升、专业传承和突破极限。华为AI芯片大大提升了算力，这也标志着华为云将全面进入AI新时代。华为云EI城市智能体希望与更多伙伴同行，共同创造城市的美好未来。华为云EI智能体希望能更好地结合行业智慧，成为行业升级新引擎，最终实现'用得起、用得好、用得放心'的普惠AI。"华为云中国区CTO彭柯在大会主会场发表演讲AI新时代，智享未来新体验在大会华为分会场，华为AI Fabric与华为云视频服务全景等议题大放异彩。数据中心交换机产品总监邓一鸥作了"华为AI Fabric，引领数据中心进入极速无损的高性能时代"的演讲，他指出，AI正在以前所未有的速度深刻改变人类社会生活，改变世界。越来越多的企业将AI视为数字化转型的下一站，利用AI助力决策、重塑商业模式与生态系统、重建客户体验的能力将是数字化转型计划取得成功的关键推动力。与云计算时代相比，AI时代企业DC的使命正在从聚焦业务快速发放向聚焦数据高效处理进行转变。伴随着AI的热潮，深度学习服务器集群涌现，以及各种SSD等高性能新型存储介质的发展，对端到端通信时延提出了更高的要求，华为AI Fabric解决方案始终致力于无损网络研究，为AI时代数据存储和处理提升效率提供端到端的解决方案。数据中心交换机产品总监邓一鸥在演讲中如今，视频已成为各行业基础能力，多业务、全接入场景成为方案的核心，在这一领域，华为云视频服务高级营销经理孙浩在会上作了"智能视界，乐享未来---解码华为云视频服务全景"的演讲，他指出，在视频编码器测评领域享有盛誉的MSU（Moscow State University，莫斯科国立大学）视频编码器大赛中，华为自主研发的HW265软件编码器在结构相似度（SSIM）及多方法评估融合（VMAF）评价指标均获得第一名的好成绩。华为实时转码支持H.265高清低码，极致压缩，画质更清晰，使得客户的出流带宽成本进一步降低。画质重生，让你尽享视觉盛宴。华为云视频服务专家在大会作主题演讲华为云游戏文娱项目群总经理聂颂在"创新要素的改变，现在与未来"的主题演讲中指出，多年持续投入，华为成为全球领先的ICT解决方案供应商。强力投资核心技术，依托"云+联接"，提供稳定可靠、安全可信、可持续演进的云服务，打造智能世界的"黑土地"，成为客户面向未来发展的发动机和永远的伙伴。基于华为云，我们提供游戏开发测试、游戏部署、游戏运营、游戏创新全场景覆盖的游戏解决方案。华为云游戏文娱项目群专家AI时代的企业智能，华为云EI为互联网行业赋能。华为云EI产品部解决方案架构师翁哲宇在题为"AI时代的企业智能"的演讲中提到，人工智能正在推动影响国计民生的制造业、物流业、金融业、家电业、媒体娱乐业等产业智能化升级，华为全栈全场景AI解决方案打造客户用得起，用得好，用得放心的普惠AI平台。华为云EI产品部专家在演讲中创新合作，从芯开始华为平台聚集了许多合作伙伴，英特尔就是一位和华为经过了20多年的合作的老朋友，Intel资深技术顾问卢玉峰在演讲中指出，从最开始的网络侧计算，到现在的NFV、AI和云计算，英特尔与华为的合作越来越广，也越来越深入，英特尔与华为20+年核心业务合作历程覆盖全球。我们相信，在华为公有云上，从芯片开始的等多项创新合作将有助于打造一朵与众不同的华为云。Intel资深技术顾问卢玉峰映客直播高级技术总监陈雪峰在演讲中提到了人工智能在直播推荐中的应用，包括通过人工智能对用户外表/风格画像及直播场景识别，对行为理解的处理等能力，促进直播产业的发展。映客直播高级技术总监陈雪峰成果展示，出彩夺目在四层大会展示区展示了华为云视频服务的高清低码技术和短视频服务，华为云视频服务，为您提供从视频采集、上传、 转码、存储、分发到播放的一站式服务，依托华为云，致力打造简单、高效、智能、可信的视频服务平台，帮助行业伙伴更好的开展视频转码、视频点播、视频直播、视频AI等业务。华为云视频服务的高清低码技术，可将高清视频以极低带宽占用实现流畅、清晰、稳定传输，同等视频质量下码率下降20%~30%，在提升用户视频体验同时，极大降低带宽成本。华为云视频服务还提供集短视频录制、上传、转码、存储、分发、播放于一体的一站式短视频端到端解决方案，开放了丰富多样的API、SDK，帮助开发者快速构建优秀短视频应用。拍摄、剪辑、混音，实时美颜、滤镜和酷炫粒子特效，自定义皮肤、AI贴纸，人脸手势识别炫酷玩法，轻松嵌入，分分钟搞定。大会展示区的应用展示GITC 全球互联网技术大会·北京站，着眼2018互联网领域的最新技术成果，聚焦未来行业发展趋势。未来，华为将继续发挥自身在人工智能、智慧城市、智能制造、技术论坛等领域优势，助力每一位合作伙伴拨开迷雾，乘风破浪。视频直播服务（Live）依托华为云，凭借在视频业务领域长期技术积累，快速敏捷为行业提供高并发、低延迟、高清流畅、安全可靠的端到端直播解决方案。计划于2018/12/01 00:00:00将视频直播服务（Live）正式转商用。如需继续使用视频直播服务，请您提前确保账户余额充足。另若公测期间您使用体验域名测试的，请您及时申请域名并完成备案。华为云在此提醒您，相关资源如果不再使用，请于2018/12/01 00:00:00前登陆控制台，删除对应资源，避免产生费用。详情点击官网查看更多信息，请您点击了解。