M8000C大数据网络安全隔离器产品简介为保证网络安全，许多单位单独建立了内部网络（以下简称‘内网’），且将内网和互联网进行了物理隔离，物理隔离后内网和互联网之间是没有物理链路连接的，故不能通讯。如果需要从外部或异地访问内网，则需要铺设专线将设备或局域网络接入内网，此外，可以通过数据摆渡、单向光闸非即时的在内网和互联网之间安全传输数据。M8000C大数据网络安全隔离器是通过互联网来构建两个安全局域网的网络链路的网络传输解决方案。可以实现在异地通过任意的互联网网络即时而且安全的访问物理隔离的内部网络。运行环境为保证安全，服务端须要分别由两个ISP商提供的固定IP，接入到有物理隔离的内网里面的需要从外部访问的局域网络，对应的客户端在任意可以上网的地方即可。产品功能异地安全接入内网:可实现异地内网之间的通讯和局域网络互联，能够代替专线同时能保证安全性，能够代替传统VPN依靠互联网的优势在任意网络传输数据，而安全性远高于只能采用逻辑隔离方式的VPN。访问控制：可以设定允许访问的IP和端口。地址伪装：被探测的属于公网的IP，与内网无关。产品优势高适用性 适用于任何有内网的行业，可以在任意已经成熟的网络系统继承中增加或新建。采用高效低功耗芯片，实现1000M以上网络通讯。高安全性 利用四个单向光闸摆渡数据，从物理链路上断开，保证内网的绝对安全不可入侵；上下行分离，确保数据不在相同通路、相同会话中传输，防止会话分析和获取，同时加入数据混淆；所有进入传输通道的数据全部采用国标保密要求和算法进行高强度加密，保障数据的安全性。高易用性 采用底层网络封装技术，实现TCP会话重组，实现应用层全协议兼容的网络通讯，形成会话级通信不需要再次对协议、应用进行再次开发来保证安全，减少成本和费用。典型部署产品实图应用场景电视台实时采访某省级电视台，在两会期间对代表进行采访的同时，希望能够将采访数据即时的传送到台里的内部网络，进行处理，在任意可以连接网络的地方只要采用M8000C大数据网络安全隔离器网络设备，无论是在会堂前，还是在机场，发布会现场都能够随时随地访问并实时接入到内部网络。而且能够保证在接入绝对的安全。外出采访车当需要在任意地方进行采访或者电视台内部的网络产生即时访问或通讯时，只需要在出行的采访车上增加一台该设备，则在任意有互联网接入的地方则可以接入到电视台的内部网络，当需要在外即时的使用内部网络的资源的适合，M8000C大数据网络安全隔离器可以满足该要求，而且比以往任何的VPN的方式都安全。公安局公安局的需要总部和外勤联合作战，采用即时指挥、实时通讯和信息共享，在外工作的小组和工作车辆需要接入到公安内部网络（与任何互联网完全物理隔离）上，而且能够在追捕嫌疑犯的移动过程中，随时与总部信息共享以便总部的即时指挥。M8000C大数据网络安全隔离器的客户端设备可以不受任何接入方式的影响，特别是在4G/3G任意变换的sim卡信号下，同样能够完成与公安总部内网的连接，保证信息通畅。边防武警手持设备某武警边防部队通过在单个手持设备上利用弹性安全网络处理多个安全级别的信息，而无需通过拥挤的安全数据中心路由。这种能力将能够在现有的商业和军用网络上运行，同时保持敏感信息的安全性和运行的安全性。气象局资料上传各地气象局会把每天的天气预报节目制作完成后，上传到电视台的播出系统中。由于是直接传电视台播出系统，不能直接通过网络传输。使用M8000C大数据网络安全隔离器系统后，就可以通过该系统直接传输到电视台播出系统中去，就不需要再单独租用专线进行传输，保证效率的同时还节省了成本。

2019年6月3日，武汉博讯正式入驻华为云市场，我们在云市场中发布了全域旅游智慧解决方案，旨在凭借云计算及大数据技术实力，助力政府和景区布道全域旅游。产品介绍国家旅游局在2015年1月发布的《关于促进智慧旅游发展的指导意见》中指出：“智慧旅游是游客市场需求与现代信息技术驱动旅游业创新发展的新动力和新趋势，是全面提升旅游业发展水平、 促进旅游业转型升级、 提高旅游满意度的重要抓手。”该解决方案的系统价值在于打通了游客，景区运营方及政府三方面，真正满足了旅游者对现代信息的需求，提高了旅游便利化水平和产业运行效率，最终实现旅游服务、 管理、 营销、 体验智能化。 产品特点• 系统三大特色：人工智能 全国首创的人工智能和旅游业务结合成问答知识库，通过深度学习技术进行旅游知识的自学习和自我升级。  • 系统三大特色：旅游大数据 通过各方数据，细分用户标签，对平台用户进行个性化推荐，提供智能提醒、智能推荐、智能行程规划。  • 系统三大特色：全域旅游生态构建 汇聚景区内全业态的点位信息，集吃住行游购娱一体，实现多维全服务的流程体系。应用场景作为老板姓触手可及的智慧应用方案，该方案覆盖老板姓日常吃住行游购娱，真正做到群众方便、管理高效、政府放心。 游客服务出行导航游客能提前了解景区实时人流景区，避免拥堵，了解车位分布，免除停车烦恼。无缝接入主流导航，让出行交通一路畅通。景区交通外部大交通与景区小交通无缝衔接；景区内电瓶车和自行车随心选择；扫码支付，轻松出游。智能游导机器人智能导游机器人全程陪伴，语音交互方便快捷，识别率高；前方人流预测，周边智能推荐，智能行程规划，人工智能让您的出行更省心。智能游导旅游资源一张图全面覆盖；景点信息完整展示，多媒体介绍声情并茂；打卡网红地标一个都不会错过。紧急求助App/报警终端实时显示位置，点面联动、实时保障游客安全  管理服务 统一管理平台后台管理系统为全域旅游管理提供支撑， 视频监控、 公共广播、 多媒体信息发布、 人员热力地图、 统一资源网管等统一平台管理。游客大数据多维数据接入，实时人流热力图一目了然，精度小于5米；自定义电子围栏，实现对各景区全域和重点区域的监控，可实现自定义多边形围栏设定，满足景区不规则地形要求；多维数据标签构成精准游客画像，为运营提供数据支撑；洞察客户群体，深入理解客户需求。精准信息推送后台可针对精准客户群体，配合景区运营需要发送短信；不受运营商限制，三网通达，到达率99.9%。旅游数据大屏集成的大数据管理平台，可实现对交通、人流、物流、信息流、管网运行、系统状态的全方位实时 监控，并将通过热点分析、智能资产管理、智能资源调度等系统，帮助管理人员更好地进行重点景区的 运营维护和管理服务。   小结武汉博讯一直秉承“技术领先、客户至上”的服务理念，重视技术创新与技术进步。在注重标准化和规范化的同时，提供开放、安全、可靠的应用解决方案，专注于旅游、中小企业、政府、通信运营商等行业领域的信息化服务。基于云计算和大数据平台，提供智慧城市、智慧旅游、工业信息化等解决方案的咨询，设计和实施。博讯的全域旅游智慧解决方案，打通了规划、设计、实施、运营，覆盖游前、游中、游后，服务游客、运营方、管理方，实现真正意义上的全域旅游智慧化服务。//end

大数据安全云盘产品简介大数据安全云盘以“安全”为核心，分布式文件系统和大数据为技术基础，为企业或单位提供安全、方便、快速、易操作的文件和信息安全管理的企业云盘解决方案。整个完整的系统主要分为三大部分：大数据云盘及应用管理业务部分、大数据安全交互部分、分布式对象存储部分。产品优势完善的用户体验大数据安全云盘打造的全新视觉界面，页面采用的扁平化视觉风格，美观大方；交互设计流畅简洁，操作简便；各模块之间分类清晰，逻辑性强；采用模块化、组件化和松耦合系统设计方法，方便维护。多终端数据同步，灵活共享与协作支持Android、iOS、Windows等多种主流终端，随时随地访问，多终端数据实时同步，支持文件分享、离线查看、版本管理等，畅享高效办公。方便的文件管理所有类型文件在线集中管理，快速汇总分发，上传文件大小不设限，还能在线预览大多数格式的文件。沿袭友好的windows文件管理风格，让您的操作更方便。支持文件批量上传下载；在线高质量预览文件，支持大多数文件类型；文件上传或者下载过程中，支持断点续传；误删文件恢复,所有删除的文件可到回收站进行恢复。技术优势以最低的成本搭建高效可用的私有云存储平台为企事业单位搭建了一个高效可用的私有云存储平台，实现了桌面文件备份和不同终端的数据共享，通过这些手段，显著降低了购买存储及管理的成本。建立了数据安全可靠而且高效的共享机制在文件加密、传输过程加密、存储介质加密、权限管理、操作留痕等信息安全管理手段，安全高效便捷在在个人与个人之间，个人与部门之间，设备与设备之间共享数据。建立起以非结构化信息协作平台，大幅度搞高工作成效大数据安全云盘系统在结合了文件云存储管理以及公共资料库管理的基础上，提供了项目协作管理功能模块，这样企事业单位就建立起了以非结构化信息协作的核心平台，与企事业单位之前以结构化信息平台（各类数据库平台）并重，加强了企事业单位员工、各办事机构科室以及客户之间在有一个协作平台，可以大幅度提高企事业单位的工作效率。满足各种智能终端在文件信息协同工作上的迫切需求通过大数据安全云盘可以实现协作开展任务、系统编辑文档，通过PC客户端、WEB端、手机APP，构建了一个高效可用、统一规范的云存储平台，企业单位的工作效率将大大提高。

重庆泛涵数码科技有限责任公司  重庆泛涵数码科技有限责任公司（简称“泛涵公司”）成立于2004年，是一家致力于信息安全大数据产品的设计、研发、销售及售后服务的现代化高新科技公司。 泛涵公司的核心竞争力是技术和人才。公司员工95%以上拥有大学本科及以上学历。公司每年都在技术研发方面投入资金，不断推进核心安全技术的发展。产品简介      面对新型网络攻击手段的出现和广电行业网络对安全的特殊需求，应采用全新安全防护防范理念的网络安全技术，建设网间安全传输系统。目标是在不同网络之间进行物理隔离，同时完成网间数据的安全极速传输。 大数据安全交互系统通过“两层防毒过滤+两层防攻击+统一认证+智能优化高速传输”的设计，确保了数据能安全在不同网络之间传输。产品优势安全的双机架构双独立主机，采用USB或IB线缆连接，从物理上断开以太网链路支持异构操作系统高效的病毒查杀  与国内外知名杀毒软件深度耦合，提升杀毒性能   支持Avira，ESET Nod32，Avast，BitDefender，Kaspersky等严格的文件检查黑白名单策略，严格过滤待传输的文件检测文件类型和文件格式是否匹配，防止文件篡改先进的传输技术采用多通道usb设计或先进的Infiniband设计IB架构系统吞吐量可达10.4Gbps，USB架构系统吞吐量可达6.4GbpsTAG序列每分钟可稳定传输4000个以上完美的终端支持支持浏览器、PC客户端、手机客户端等支持批量上传和断点续传多元的功能模块支持集群传输，统一管理、统一资源调度，完善的审计信息指定存储空间自动扫描传输，并可按设定规则分类迁移丰富的传输方式支持CIFS、B/S、C/S等常用上传方式，兼容多种主流浏览器   完美支持TGA快速传输应用场景通用文件传输部署在非安全网络和高安全网络（比如办公网到制作网、上载区到播出网等），通过USB链路进行连接，编辑记者可在上载区或办公网中安全进行挑选素材，并传输到高安全网络中。网间数据交互云平台和台内业务系统均属于生产业务系统，安全级别相同，根据安全等级保护要求，均需要设定边界，实现安全交互，因此，建议构建网间安全交互系统，实现云平台与台内各业务系统的内容传输。安全送播在制作网/上载与媒资之间部署大数据安全交互，通过文件深度检测、杀毒、隔离安全传输等手段，保证媒资的安全。在媒资与播出之间部署大数据安全交互系统，所有的指令和文件都通过大数据安全交互系统进行传输及解析，保证播出网的万无一失 资质                                               案例

微话题名称“数据标准建设，以高校信息化建设为例”希望大家能够畅所欲言。如果大家有其他任何与数据标准建设相关的问题，也可以在本帖回复直接咨询云享专家jack.jia。=======【云享专家·微话题】数据标准建设 =======企业(高校)信息化系统与工程建设过程中数据标准建设已经成为了一个制约信息化发展的重要问题，为发现数据价值而开展数据治理成为各方的一个关注问题，本话题通过数据标准建设提出了一套打破数据壁垒，解决数据孤岛问题的解决办法，主要涉及数据标准，数据质量分析，数据交换平台，数据总线平台，数据展示平台，应用容器引擎等方面展开介绍高质量的数据标准建设完成以后，相信有一天，可以作为智慧校园建设的重要组成部分，起着一个关键性的作用。信息化系统与工程建设过程中，对于数据整理，数据关系，数据质量，数据防线和数据可视化大家都有各自的理解和观点，，今天我们就“数据标准建设”为题一起来讨论，希望看到大家精彩的评论：1 数据标准的数据抽取如何解决？2 数据清洗问题如何解决？3 数据标准建设过程中，元数据管理与评价如何进行？4 数据总线在数据标准开发过程中的重要意义是什么，如何实现？5 应用容器引擎(docket)如何支撑数据标准体系中的各个应用？6 敏捷大数据在数据标准建设过程中如何应用微话题活动：参与本次微话题讨论，有机会获得优质评论奖活动时间：2019年3月14日-3月27日参与方式：直接在本帖回复你关于以上6个问题中的3个问题的理解或评论获奖方式：活动结束后，将由云享专家 jack.jia  选取出2名优质评论奖，各送出50元华为云代金券。优质评论：1226741228:1 数据标准的数据抽取如何解决？数据抽取的表现形式：（1）字段分列：截取某一字段的部分信息。（2）字段合并：将某几个字段合并为一个新字段。（3）字段匹配：将原数据表没有，但其他数据表中有的字段，有效地匹配过来。字段分列采用的方法：（1）菜单法（2）函数法。字段合并可采用，CONCATENATE(text1,text2,text3,...........)将几个文本字符串合并为一个文本字符串，text项可以为文本字符串，数字，或者对单元格的引用。字段匹配可采用，VLOOKUP函数：在表格的首列查找指定的数据，并返回指定的数据所在行中的指定列处的单元格内容。VLOOKUP(lookup_value,table_array,col_index_num,range_lookup)\2 数据清洗问题如何解决？在数据挖掘过程中，数据清洗主要根据探索性分析后得到的一些结论入手，然后主要对四类异常数据进行处理，分别是缺失值、异常值、去重处理以及噪音数据的处理。探索性分析：这个部分是对数据的初步认识以及对先验知识的探索分析过程，利用python相关的科学计算库进行探索，例如数据类型，缺失值，数据集规模，各特征下的数据分布情况等，并利用第三方绘**进行直观的观察，以获取数据的基本属性与分布情况，另外，通过单变量分析与多变量分析，可以初步探索数据集中各特征之间的关系，以验证在业务分析阶段所提出的假设。缺失值：（1）在缺失率少且属性重要程度低的情况下，若属性为数值型数据则根据数据分布情况简单的填充即可，例如：若数据分布均匀，则使用均值对数据进行填充即可；若数据分布倾斜，使用中位数填充即可。若属性为类别属性，则可以用一个全局常量‘Unknow’填充，但是，这样做往往效果很差，因为算法可能会将其识别为一个全新的类别，因此很少使用。（2）当缺失率高(>95%)且属性重要程度低时，直接删除该属性即可。然而在缺失值高且属性程度较高时，直接删除该属性对于算法的结果会造成很不好的影响。（3）缺失值高，属性重要程度高：主要使用的方法有插补法与建模法。异常值：（1）简单的统计分析。（2）3∂原则--基于正态分布的离群点检测。（3）基于模型检测。（4）基于距离。（5）基于密度。（6）基于聚类。处理异常的方法：（1）删除异常值----明显看出是异常且数量较少可以直接删除。（2）不处理---如果算法对异常值不敏感则可以不处理，但如果算法对异常值敏感，则最好不要用这种方法，如基于距离计算的一些算法，包括kmeans，knn之类的。（3）平均值替代----损失信息小，简单高效。（4）视为缺失值----可以按照处理缺失值的方法来处理去重处理：对于重复项的判断，基本思想是“排序与合并”，先将数据集中的记录按一定规则排序，然后通过比较邻近记录是否相似来检测记录是否重复。这里面其实包含了两个操作，一是排序，二是计算相似度。目前在做竞赛过程中主要是用duplicated方法进行判断，然后将重复的样本进行简单的删除处理。噪音处理：对于噪音的处理主要采用分箱法于回归法进行处理。3 数据标准建设过程中，元数据管理与评价如何进行？各类元数据：数据库元数据、管理型元数据、业务元数据、数据字典元数据、脚本元数据。对各类元数据实行统一管理，包括增删改查预览等操作。评价标准：准确性、完备性、及时性、重复性、一致性、合规性。可采用数据质量监控：质量点监控、数据剖析、数据指标、表空间监控、表监控、SQL脚本监控。4 数据总线在数据标准开发过程中的重要意义是什么，如何实现？数据总线相当于数据的总干道，所有的关键数据都会经过这条干道，实现数据的汇集，所以保证总线承载量以及畅通性至关重要。如果是各类型的实时数据接入可采用flume、flink、kafka这样的大数据组件，存储在hdfs上。5 应用容器引擎(docket)如何支撑数据标准体系中的各个应用？主要体现在三个方面：（1）编译。Docker 允许您用微服务方式组织您的应用程序，而不用担心上线环境和测试环境不一致，并且不用关心运行平台和语言，Docker 镜像是跨平台的，真正实现一次编译，到处运行。（2）装运。通过 Docker 可以设计应用程序开发，测试，发布的整个周期，并且用统一的用户接口去管理，Docker 提供了两个非常重要的概念，Docker 容器和 Docker 镜像，目前几乎成为企业标准。（3）运行。Docker 可以部署可扩展的服务，Docker 容器具有很好的隔离性，程序运行在 Docker 容器中更加安全可靠，可以部署运行在各种 Linux X64 平台上。6 敏捷大数据在数据标准建设过程中如何应用敏捷大数据架构除了支持大规模数据增长之外，更重要的是能适应大数据分析业务的扩展和变化，通过容器和服务化技术，具备高容错性和稳定性，能支持大数据分析的失败处理和自动恢复等，能在海量数据条件下快速完成多种计算模型和分析处理，能基于数据融合单元和计算服务化技术，支持多模态计算和多模式计算任务处理，能在有限的成本条件下提高大数据分析效率。

《直播回看》栏目会将“华为云开发者者联盟”移动端课程平台的精品音视频直播课，定期进行展播，支持各位伙伴进行回看学习本期推荐： 区块链-基于华为云BCS的区块链应用开发实战分享【主讲人介绍】主讲人：Kai华为云资深软件工程师，12年软件设计、开发经验，目前专注在区块链和网络安全领域，为客户提供最专业的区块链服务。【课程大纲】课程介绍1. 基于区块链身份共享的银行II类账户跨行开户Demo业务介绍2. 智能合约代码实现3. 应用端代码实现4. 编译部署和效果展示【课程链接】可扫描下方二维码进入“华为云开发者联盟“移动端直播间收听课程

苏州国云数据科技有限公司国云数据是中国顶级的大数据技术服务运营商，拥有国家自主可控并国际领先大数据技术和产品，旗下有世界领先的大数据操作系统，致力于让人人都能使用数据，专注于帮助一流企业和政府大数据规划和实践，逐步走向国际化的中国大数据民族品牌。国云数据由原阿里巴巴数据部门核心成员于2011年创立，拥有北京、河南、内蒙古等多个子公司与研发中心，拥有百余多项大数据技术著作权和专利。旗下大数据分析平台：有11万企业客户使用，旗下大数据实验平台有100多所高校在使用，同时面向政府的大数据交换共享、分析挖掘、应用服务平台，已在贵州、内蒙、苏州、北京、部委、公安、工业等省和市使用。国云教育是国云数据旗下品牌和垂直事业部，专注于为高校提供大数据分析应用类教学、科研、培训等一体化平台和解决方案，包含大数据分析应用实验平台环境，大数据经管类专业课程开发，大数据师资培训和数据分析技能竞赛等内容。目前已服务包括安徽大学、华东师范大学、哈尔滨商业大学、无锡职业技术学院、武汉职业技术学院等100多家本科和高职院校。国云数据在商科大数据人才培养方面的优势大数据分析应用实训平台介绍大数据分析应用实验列表和商科数据课程体系增值服务：大数据分析比赛增值服务：大数据分析师资培训

具体内容见附件

【摘要】 华为云 EI 布道师分享 Apache 的故事今年是 Apache 软件基金会20周年庆，作为一家全球性的以开发开源软件为公共利益的慈善组织，正在变得更加的多元化、日渐丰富与完善。从本土软件产业的角度而言，须以站在世界的角度来认识、参与、贡献，进而领导，让更多的人受益。从个人而言，就是要经历观察、学习、奋斗、参与的过程。目前 ASF 全球活跃成员（Member）有700多名，其中华人约有28名，目前住址在中国的有 10 位（其中今年新当选 6 位华人里住址在中国的有 3 位）。这三位来自中国新当选的 ASF Member 分别是陈亮，堵俊平（请参考开源社公众号4月18日发布的文章），张乎兴。今天为大家推荐的故事是新当选的 ASF Member - Apache CarbonData 项目委员会主席 - 陈亮，这是一个关于本土开发者成长的历程，一个让我们从中看出崛起与趋势的走向。Apache CarbonData 作为本土企业里第一个捐赠给 ASF 的开源项目、第一个走入 ASF 孵化器、也是第一个从 ASF 孵化器顺利毕业成为顶级项目的本土开源项目。作为一个本土大企业内第一位开路先锋的筚路蓝缕、披荆斩棘正是点滴在心头，如今贡献社区成就自身，当选为 ASF Member ，可谓是实至名归。以下陈亮将为大家娓娓道来。陈亮简介  ：2005年加入华为，一直从事大数据和 AI 相关的研发工作，对开源软件有深入理解。“下面以华为云 EI 布道师身份给大家分享下我的 Apache 故事。”01 我的Apache故事前言很高兴2019年4月受邀成为全球最大开源社区 Apache 软件基金会的 Member ，ASF member 与 Apache 项目 PMC/Committer 主要的区别是，前者是参与基金会层面的事务，后者是具体项目层面的事务。今年也是 Apache 基金会成立20周年，为帮助中国更多的项目和个人参与到 Apache，社区朋友建议我抽空分享下我的 Apache 故事和经验。我的 Apache 故事与华为的 Apache 相关的大数据开源历程几乎一样，在华为很难找出第2个人，像我这样全程参与了整个工作。02 开启 Apache 之旅  2011-2014年我被外派到华为印度研究所，负责软件平台工作，当时根据印度员工两个优势（语言+软件），公司将大数据开源相关业务交由我的团队负责。华为在 2012 年 HBase 峰会上，分享并开源了 HBase 二级索引方案 hindex  https://github.com/Huawei-Hadoop/hindex 这在业界引起极大的反响和关注，有人认为，如果华为早点公布这个方案，HBase 多列组合快速查询的问题早就解决了。我是在 2012 年开启了 Apache 之旅，开始研究开源文化和 Apache Way 的精髓，下面这些理念，我个人比较认可，分享给大家，摘自艾里克.斯蒂芬.雷蒙《大教堂与集市》，“只要眼球足够多，所有臭虫都好捉”，开源软件和开放性内容兴起的背后是社会信息结构变革。技术和知识在公共领域的畅通促进发展、公平和机遇，破除与经济和政治权力绑结的知识垄断。然而草根能量需要一个健康的进化机制来真正推动社会的进步，其中核心是知识生产和传播的可靠性、可信度。 03 参与 Apache 社区，积累个人的功勋值 ( Merit )  几乎所有知名的大数据开源软件全在 Apache 基金会下管理，每天社区都在发生很大的变化。华为是业界最早提供大数据套件发行版厂商之一，为了给客户提供稳定可靠的大数据软件，我们积极参与 Apache 大数据项目的内核特性开发，并贡献回馈到开源社区，多次在华为公司园区内组织 Apache 项目线下技术交流（2014年与陈超@七牛云技术总监，一起组织了杭州第一次 Apache Spark 技术 Meetup）2016年华为将研究开发多年的大数据项目 CarbonData 开源，并捐赠给 Apache 软件基金会，进入 Apache Incubator（孵化器），经过来自华为、Intel 、Talend 、交通银行、上汽、携程等众多公司架构师和开发人员的努力，CarbonData 经过不到一年的时间，于2017年4月顺利地由孵化器毕业，正式成为 Apache 社区顶级项目，并由我本人担任此项目的 PMC Chair（项目委员会主席）。在此要特别感谢3位 Apache mentors（孵化项目导师 - 法国人 JB，印度人 UMA，印尼裔 Henry）对 Apache CarbonData 项目的贡献和帮助。同时也要感谢 Apache Kylin 项目负责人 Luke Han (韩卿)，前期给了不少指导。这几年参与 Apache 项目，积累了大量经验，希望可以帮助到更多项目进入 Apache 孵化，回馈社区。由于端到端负责过 Apache 孵化项目，且参与过多个 Apache 社区项目（Hadoop 、Spark 、Flink 、Hive等），我很快被 Apache Incubator（孵化器）接纳为 PMC 成员。除了未曾担任 Apache 基金会的 Board Member 和 Officers，基本上 Apache 其他所有的角色，我都担任过。(User->Contributor->Committer->PMC->PMC Chair->Member->IPMC)04 Apache 经验共享Apache Way 总结：开源项目到 Apache 的关键路径：Apache 、Linux 开源社区的对比分析：本人总结的一套 Committer 脚本： git clone  https://git-wip-us.apache.org/repos/asf/projectname cd projectname git remote rename origin apache git remote add github  https://github.com/apache/projectname git config --local --add remote.github.fetch '+refs/pull/*/head:refs/remotes/github/pr/*' git fetch --all git checkout -b pr-1062 github/pr/1062 git rebase -i apache/master   (-i squash some commits.) pick fda59df commit 1 squash x536897 commit 2 squash c01a668 commit 3 （This means, you take the first commit, and squash the following onto it） git log       -- get the commit  info git checkout apache/master git cherry-pick 0e1c3b09ccc3493ca50a0a41ae993260a9a30493(To be merged PR's commit info) git commit --amend -m "PR title" -m "PR description" -m "This closes #1062" git push apache HEAD:master05 感想、收获早期国内有 Apache 孵化项目经验的人还比较少（2015年时只有 eBay 中国研究院的3个 Apache 孵化项目），不像现在这么多（目前源自中国的 Apache 顶级项目有8个，Apache 孵化项目有6个），有些问题可以直接问，少走弯路。当时 CarbonData 在孵化时，也碰到了很多问题和挑战，解决问题的办法就是去仔细阅读 Apache 官网的规定，以及去学习社区 Mailing list（邮件列表）大家曾经讨论过的问题。在 Apache 社区绝大多数人都是很 OPEN 和 NICE 的，当有人对你的项目提出问题时，其实别人是在帮助你的项目，切记不能用带着情绪化的语言去回复和争吵，且回复时就在公共的 mailing list 里公开答复。（之前有一个例子，项目成员私信去和提问题的人确认问题，最后被人家拿出来说事，被质问为什么不在社区公开讨论，结果囧大了！）参与 Apache 开源社区，确实要花很多时间去做贡献，但相比收获、学习到的知识、朋友、人脉等，一路走来，绝对值得！社区福利（数量有限，仅限前50名）：如想获得华为云 ModelArts 免费云资源使用券，可以联系 chenliang613@apache.org 。（ModelArts 是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期 AI 工作流）---------------作者：简单的坚持原文链接：https://bbs.huaweicloud.com/blogs/63207406701811e9bd5a7ca23e93a891

原标题：不是技术也能看懂云计算，大数据，人工智能我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢？因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也会提云计算。所以说感觉他们又相辅相成不可分割，如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系，所以有必要解释一下。一、云计算最初是实现资源管理的灵活性我们首先来说云计算，云计算最初的目标是对资源的管理，管理的主要是计算资源，网络资源，存储资源三个方面。1.1 管数据中心就像配电脑什么叫计算，网络，存储资源呢？就说你要买台笔记本电脑吧，你是不是要关心这台电脑什么样的CPU啊？多大的内存啊？这两个我们称为计算资源。这台电脑要能上网吧，需要有个网口可以插网线，或者有无线网卡可以连接我们家的路由器，您家也需要到运营商比如联通，移动，电信开通一个网络，比如100M的带宽，然后会有师傅弄一根网线到您家来，师傅可能会帮您将您的路由器和他们公司的网络连接配置好，这样您家的所有的电脑，手机，平板就都可以通过您的路由器上网了。这就是网络。您可能还会问硬盘多大啊？原来硬盘都很小，10G之类的，后来500G，1T，2T的硬盘也不新鲜了。(1T是1024G)，这就是存储。对于一台电脑是这个样子的，对于一个数据中心也是同样的。想象你有一个非常非常大的机房，里面堆了很多的服务器，这些服务器也是有CPU，内存，硬盘的，也是通过类似路由器的设备上网的。这个时候的一个问题就是，运营数据中心的人是怎么把这些设备统一的管理起来的呢？1.2 灵活就是想啥时要都有，想要多少都行管理的目标就是要达到两个方面的灵活性。哪两个方面呢？比如有个人需要一台很小很小的电脑，只有一个CPU，1G内存，10G的硬盘，一兆的带宽，你能给他吗？像这种这么小规格的电脑，现在随便一个笔记本电脑都比这个配置强了，家里随便拉一个宽带都要100M。然而如果去一个云计算的平台上，他要想要这个资源的时候，只要一点就有了。所以说它就能达到两个方面灵活性。第一个方面就是想什么时候要就什么时候要，比如需要的时候一点就出来了，这个叫做时间灵活性。第二个方面就是想要多少呢就有多少，比如需要一个很小很小的电脑，可以满足，比如需要一个特别大的空间，以云盘为例，似乎云盘给每个人分配的空间动不动就就很大很大，随时上传随时有空间，永远用不完，这个叫做空间灵活性。空间灵活性和时间灵活性，也即我们常说的云计算的弹性。为了解决这个弹性的问题，经历了漫长时间的发展。1.3 物理设备不灵活首先第一个阶段就是物理机，或者说物理设备时期。这个时期相当于客户需要一台电脑，我们就买一台放在数据中心里。物理设备当然是越来越牛，例如服务器，内存动不动就是百G内存，例如网络设备，一个端口的带宽就能有几十G甚至上百G，例如存储，在数据中心至少是PB级别的(一个P是1024个T，一个T是1024个G)。然而物理设备不能做到很好的灵活性。首先它不能够达到想什么时候要就什么时候要、比如买台服务器，哪怕买个电脑，都有采购的时间。突然用户告诉某个云厂商，说想要开台电脑，如果使用物理服务器，当时去采购啊就很难，如果说供应商啊关系一般，可能采购一个月，供应商关系好的话也需要一个星期。用户等了一个星期后，这时候电脑才到位，用户还要登录上去开始慢慢部署自己的应用，时间灵活性非常差。第二是空间灵活性也不行，例如上述的用户，要一个很小很小的电脑，现在哪还有这么小型号的电脑啊。不能为了满足用户只要一个G的内存是80G硬盘的，就去买一个这么小的机器。但是如果买一个大的呢，因为电脑大，就向用户多收钱，用户说他只用这么小的一点，如果让用户多付钱就很冤。1.4 虚拟化灵活多了有人就想办法了。第一个办法就是虚拟化。用户不是只要一个很小的电脑么？数据中心的物理设备都很强大，我可以从物理的CPU，内存，硬盘中虚拟出一小块来给客户，同时也可以虚拟出一小块来给其他客户，每个客户都只能看到自己虚的那一小块，其实每个客户用的是整个大的设备上其中的一小块。虚拟化的技术能使得不同的客户的电脑看起来是隔离的，我看着好像这块盘就是我的，你看这呢这块盘就是你的，实际情况可能我这个10G和您这个10G是落在同样一个很大很大的这个存储上的。而且如果事先物理设备都准备好，虚拟化软件虚拟出一个电脑是非常快的，基本上几分钟就能解决。所以在任何一个云上要创建一台电脑，一点几分钟就出来了，就是这个道理。这个空间灵活性和时间灵活性就基本解决了。1.5 虚拟世界的赚钱与情怀在虚拟化阶段，最牛的公司是Vmware，是实现虚拟化技术比较早的一家公司，可以实现计算，网络，存储的虚拟化，这家公司很牛，性能也做得非常好，然后虚拟化软件卖的也非常好，赚了好多的钱，后来让EMC(世界五百强，存储厂商第一品牌)给收购了。但是这个世界上还是有很多有情怀的人的，尤其是程序员里面，有情怀的人喜欢做一件什么事情呢？开源。这个世界上很多软件都是有闭源就有开源，源就是源代码。就是说某个软件做的好，所有人都爱用，这个软件的代码呢，我封闭起来只有我公司知道，其他人不知道，如果其他人想用这个软件，就要付我钱，这就叫闭源。但是世界上总有一些大牛看不惯钱都让一家赚了去。大牛们觉得，这个技术你会我也会，你能开发出来，我也能，我开发出来就是不收钱，把代码拿出来分享给大家，全世界谁用都可以，所有的人都可以享受到好处，这个叫做开源。比如最近蒂姆·伯纳斯·李就是个非常有情怀的人，2017年，他因“发明万维网、第一个浏览器和使万维网得以扩展的基本协议和算法”而获得2016年度的图灵奖。图灵奖就是计算机界的诺贝尔奖。然而他最令人敬佩的是，他将万维网，也就是我们常见的www的技术无偿贡献给全世界免费使用。我们现在在网上的所有行为都应该感谢他的功劳，如果他将这个技术拿来收钱，应该和比尔盖茨差不多有钱。例如在闭源的世界里有windows，大家用windows都得给微软付钱，开源的世界里面就出现了Linux。比尔盖茨靠windows，Office这些闭源的软件赚了很多钱，称为世界首富，就有大牛开发了另外一种操作系统Linux。很多人可能没有听说过Linux，很多后台的服务器上跑的程序都是Linux上的，比如大家享受双十一，支撑双十一抢购的系统，无论是淘宝，京东，考拉，都是跑在Linux上的。再如有apple就有安卓。apple市值很高，但是苹果系统的代码我们是看不到的。于是就有大牛写了安卓手机操作系统。所以大家可以看到几乎所有的其他手机厂商，里面都装安卓系统，因为苹果系统不开源，而安卓系统大家都可以用。在虚拟化软件也一样，有了Vmware，这个软件非常非常的贵。那就有大牛写了两个开源的虚拟化软件，一个叫做Xen，一个叫做KVM，如果不做技术的，可以不用管这两个名字，但是后面还是会提到。1.6 虚拟化的半自动和云计算的全自动虚拟化软件似乎解决了灵活性问题，其实不全对。因为虚拟化软件一般创建一台虚拟的电脑，是需要人工指定这台虚拟电脑放在哪台物理机上的，可能还需要比较复杂的人工配置，所以使用Vmware的虚拟化软件，需要考一个很牛的证书，能拿到这个证书的人，薪资是相当的高，也可见复杂程度。所以仅仅凭虚拟化软件所能管理的物理机的集群规模都不是特别的大，一般在十几台，几十台，最多百台这么一个规模。这一方面会影响时间灵活性，虽然虚拟出一台电脑的时间很短，但是随着集群规模的扩大，人工配置的过程越来越复杂，越来越耗时。另一方面也影响空间灵活性，当用户数量多的时候，这点集群规模，还远达不到想要多少要多少的程度，很可能这点资源很快就用完了，还得去采购。所以随着集群的规模越来越大，基本都是千台起步，动辄上万台，甚至几十上百万台，如果去查一下BAT，包括网易，包括谷歌，亚马逊，服务器数目都大的吓人。这么多机器要靠人去选一个位置放这台虚拟化的电脑并做相应的配置，几乎是不可能的事情，还是需要机器去做这个事情。人们发明了各种各样的算法来做这个事情，算法的名字叫做调度(Scheduler)。通俗一点的说，就是有一个调度中心，几千台机器都在一个池子里面，无论用户需要多少CPU，内存，硬盘的虚拟电脑，调度中心会自动在大池子里面找一个能够满足用户需求的地方，把虚拟电脑启动起来做好配置，用户就直接能用了。这个阶段，我们称为池化，或者云化，到了这个阶段，才可以称为云计算，在这之前都只能叫虚拟化。1.7 云计算的私有与公有云计算大致分两种，一个是私有云，一个是公有云，还有人把私有云和公有云连接起来称为混合云，我们暂且不说这个。私有云就是把虚拟化和云化的这套软件部署在别人的数据中心里面，使用私有云的用户往往很有钱，自己买地建机房，自己买服务器，然后让云厂商部署在自己这里，Vmware后来除了虚拟化，也推出了云计算的产品，并且在私有云市场赚的盆满钵满。所谓公有云就是虚拟化和云化软件部署在云厂商自己数据中心里面的，用户不需要很大的投入，只要注册一个账号，就能在一个网页上点一下创建一台虚拟电脑，例如AWS也即亚马逊的公有云，例如国内的阿里云，腾讯云，网易云等。亚马逊呢为什么要做公有云呢？我们知道亚马逊原来是国外比较大的一个电商，它做电商的时候也肯定会遇到类似双11的场景，在某一个时刻大家都冲上来买东西。当大家都冲上买东西的时候，就特别需要云的时间灵活性和空间灵活性。因为它不能时刻准备好所有的资源，那样太浪费了。但也不能什么都不准备，看着双十一这么多用户想买东西登不上去。所以需要双十一的时候，创建一大批虚拟电脑来支撑电商应用，过了双十一再把这些资源都释放掉去干别的。所以亚马逊是需要一个云平台的。然而商用的虚拟化软件实在是太贵了，亚马逊总不能把自己在电商赚的钱全部给了虚拟化厂商吧。于是亚马逊基于开源的虚拟化技术，如上所述的Xen或者KVM，开发了一套自己的云化软件。没想到亚马逊后来电商越做越牛，云平台也越做越牛。而且由于他的云平台需要支撑自己的电商应用，而传统的云计算厂商多为IT厂商出身，几乎没有自己的应用，因而亚马逊的云平台对应用更加的友好，迅速发展成为云计算的第一品牌，赚了很多钱。在亚马逊公布其云计算平台财报之前，人们都猜测，亚马逊电商赚钱，云也赚钱吗？后来一公布财报，发现不是一般的赚钱，仅仅去年，亚马逊AWS年营收达122亿美元，运营利润31亿美元。1.8 云计算的赚钱与情怀公有云的第一名亚马逊过得很爽，第二名Rackspace过的就一般了。没办法，这就是互联网行业的残酷性，多是赢者通吃的模式。所以第二名如果不是云计算行业的，很多人可能都没听过了。第二名就想，我干不过老大怎么办呢？开源吧。如上所述，亚马逊虽然使用了开源的虚拟化技术，但是云化的代码是闭源的，很多想做又做不了云化平台的公司，只能眼巴巴的看着亚马逊挣大钱。Rackspace把源代码一公开，整个行业就可以一起把这个平台越做越好，兄弟们大家一起上，和老大拼了。于是Rackspace和美国航空航天局合作创办了开源软件OpenStack，如图所示OpenStack的架构图，不是云计算行业的不用弄懂这个图，但是能够看到三个关键字，Compute计算，Networking网络，Storage存储。还是一个计算，网络，存储的云化管理平台。当然第二名的技术也是非常棒的，有了OpenStack之后，果真像Rackspace想象的一样，所有想做云的大企业都疯了，你能想象到的所有如雷贯耳的大型IT企业，IBM，惠普，戴尔，华为，联想等等，都疯了。原来云平台大家都想做，看着亚马逊和Vmware赚了这么多钱，眼巴巴看着没办法，想自己做一个好像难度还挺大。现在好了，有了这样一个开源的云平台OpenStack，所有的IT厂商都加入到这个社区中来，对这个云平台进行贡献，包装成自己的产品，连同自己的硬件设备一起卖。有的做了私有云，有的做了公有云，OpenStack已经成为开源云平台的事实标准。1.9 IaaS, 资源层面的灵活性随着OpenStack的技术越来越成熟，可以管理的规模也越来越大，并且可以有多个OpenStack集群部署多套，比如北京部署一套，杭州部署两套，广州部署一套，然后进行统一的管理。这样整个规模就更大了。在这个规模下，对于普通用户的感知来讲，基本能够做到想什么时候要就什么什么药，想要多少就要多少。还是拿云盘举例子，每个用户云盘都分配了5T甚至更大的空间，如果有1亿人，那加起来空间多大啊。其实背后的机制是这样的，分配你的空间，你可能只用了其中很少一点，比如说它分配给你了5个T，这么大的空间仅仅是你看到的，而不是真的就给你了，你其实只用了50个G，则真实给你的就是50个G，随着你文件的不断上传，分给你的空间会越来越多。当大家都上传，云平台发现快满了的时候(例如用了70%)，会采购更多的服务器，扩充背后的资源，这个对用户是透明的，看不到的，从感觉上来讲，就实现了云计算的弹性。其实有点像银行，给储户的感觉是什么时候取钱都有，只要不同时挤兑，银行就不会垮。这里做一个简单的总结，到了这个阶段，云计算基本上实现了时间灵活性和空间灵活性，实现了计算，网络，存储资源的弹性。计算，网络，存储我们常称为基础设施Infranstracture, 因而这个阶段的弹性称为资源层面的弹性，管理资源的云平台，我们称为基础设施服务，就是我们常听到的IaaS，Infranstracture As A Service。二、云计算不光管资源，也要管应用有了IaaS，实现了资源层面的弹性就够了吗？显然不是。还有应用层面的弹性。这里举个例子，比如说实现一个电商的应用，平时十台机器就够了，双十一需要一百台。你可能觉得很好办啊，有了IaaS，新创建九十台机器就可以了啊。但是90台机器创建出来是空的啊，电商应用并没有放上去啊，只能你公司的运维人员一台一台的弄，还是需要很长时间才能安装好的。虽然资源层面实现了弹性，但是没有应用层的弹性，依然灵活性是不够的。有没有方法解决这个问题呢？于是人们在IaaS平台之上又加了一层，用于管理资源以上的应用弹性的问题，这一层通常称为PaaS（Platform As A Service）。这一层往往比较难理解，其实大致分两部分，一部分我称为你自己的应用自动安装，一部分我称为通用的应用不用安装。我们先来说第一部分，自己的应用自动安装。比如电商应用是你自己开发的，除了你自己，其他人是不知道怎么安装的，比如电商应用，安装的时候需要配置支付宝或者微信的账号，才能别人在你的电商上买东西的时候，付的钱是打到你的账户里面的，除了你，谁也不知道，所以安装的过程平台帮不了忙，但是能够帮你做的自动化，你需要做一些工作，将自己的配置信息融入到自动化的安装过程中方可。比如上面的例子，双十一新创建出来的90台机器是空的，如果能够提供一个工具，能够自动在这新的90台机器上将电商应用安装好，就能够实现应用层面的真正弹性。例如Puppet, Chef, Ansible, Cloud Foundary都可以干这件事情，最新的容器技术Docker能更好的干这件事情，不做技术的可以不用管这些词。第二部分，通用的应用不用安装。所谓通用的应用，一般指一些复杂性比较高，但是大家都在用的，例如数据库。几乎所有的应用都会用数据库，但是数据库软件是标准的，虽然安装和维护比较复杂，但是无论谁安装都是一样。这样的应用可以变成标准的PaaS层的应用放在云平台的界面上。当用户需要一个数据库的时候，一点就出来了，用户就可以直接用了。有人问，既然谁安装都一个样，那我自己来好了，不需要花钱在云平台上买。当然不是，数据库是一个非常难的东西，光Oracle这家公司，靠数据库就能赚这么多钱。买Oracle也是要花很多很多钱的。然而大多数云平台会提供Mysql这样的开源数据库，又是开源，钱不需要花这么多了，但是维护这个数据库，却需要专门招一个很大的团队，如果这个数据库能够优化到能够支撑双十一，也不是一年两年能够搞定的。比如您是一个做单车的，当然没必要招一个非常大的数据库团队来干这件事情，成本太高了，应该交给云平台来做这件事情，专业的事情专业的人来自，云平台专门养了几百人维护这套系统，您只要专注于您的单车应用就可以了。要么是自动部署，要么是不用部署，总的来说就是应用层你也要少操心，这就是PaaS层的重要作用。虽说脚本的方式能够解决自己的应用的部署问题，然而不同的环境千差万别，一个脚本往往在一个环境上运行正确，到另一个环境就不正确了。而容器是能更好的解决这个问题的。容器是 Container，Container另一个意思是集装箱，其实容器的思想就是要变成软件交付的集装箱。集装箱的特点，一是封装，二是标准。在没有集装箱的时代，假设将货物从 A运到 B，中间要经过三个码头、换三次船。每次都要将货物卸下船来，摆的七零八落，然后搬上船重新整齐摆好。因此在没有集装箱的时候，每次换船，船员们都要在岸上待几天才能走。有了集装箱以后，所有的货物都打包在一起了，并且集装箱的尺寸全部一致，所以每次换船的时候，一个箱子整体搬过去就行了，小时级别就能完成，船员再也不用上岸长时间耽搁了。这是集装箱“封装”、“标准”两大特点在生活中的应用。那么容器如何对应用打包呢？还是要学习集装箱，首先要有个封闭的环境，将货物封装起来，让货物之间互不干扰，互相隔离，这样装货卸货才方便。好在 Ubuntu中的LXC技术早就能做到这一点。封闭的环境主要使用了两种技术，一种是看起来是隔离的技术，称为 Namespace，也即每个 Namespace中的应用看到的是不同的 IP地址、用户空间、程号等。另一种是用起来是隔离的技术，称为 Cgroups，也即明明整台机器有很多的 CPU、内存，而一个应用只能用其中的一部分。所谓的镜像，就是将你焊好集装箱的那一刻，将集装箱的状态保存下来，就像孙悟空说：“定”，集装箱里面就定在了那一刻，然后将这一刻的状态保存成一系列文件。这些文件的格式是标准的，谁看到这些文件都能还原当时定住的那个时刻。将镜像还原成运行时的过程（就是读取镜像文件，还原那个时刻的过程）就是容器运行的过程。有了容器，使得 PaaS层对于用户自身应用的自动部署变得快速而优雅。三、大数据拥抱云计算在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢？3.1 数据不大也包含智慧一开始这个大数据并不大，你想象原来才有多少数据？现在大家都去看电子书，上网看新闻了，在我们80后小时候，信息量没有那么大，也就看看书，看看报，一个星期的报纸加起来才有多少字啊，如果你不在一个大城市，一个普通的学校的图书馆加起来也没几个书架，是后来随着信息化的到来，信息才会越来越多。

2019年4月26日“华为云技术沙龙“第一站在南京正式开启，来自全国各地的开发者共聚南京，一起深入讨论了当下的三大技术热点：区块链、IoT物联网、大数据。附件是三位专家现场的演讲材料，分享给大家供学习参考。主题一：华为云BigData Pro大数据基础设施方案讲师简介：文震，华为云 BigDataPro 方案架构师。拥有十五年研发领域工作经验，专注于云存储、云计算、大数据等领域。目前从事华为云架构设计、方案设计、研发和项目交付实施等工作。主题摘要：华为云 BigData Pro 方案（大数据计算与存储分离），是以 OBS 作为大数据分析和 AI 训练存储介质的解决方案。主要面向金融、物流、泛政府、大企业和互联网等行业中的大数据分析 &AI 训练等创新服务业务场景。主题二：基于华为云一站式智能IoT平台快速打造行业解决方案讲师简介：梁瑞锋，华为云 IoT 高级架构师。六年物联网技术研究经验，现任华为公司物联网生态解决方案高级架构师，致力于提高生态伙伴物联网转型速度，助力企业赢得数字化转型的机遇。主题摘要：华为云 IoT 平台能够提供完善的流控机制和高效的传输优化，现场通过实操演练，帮助开发者快速理解如何基于华为云 IoT 平台高效地完成终端接入和应用集成，从而构建有竞争力的 IoT 解决方案，以及价值变现。主题三：基于华为云区块链的可信数字业务创新实践讲师简介：Peter Mu，华为云 PaaS 解决方案架构师，区块链创新项目负责人，主导完成华为云区块链技术孵化到上线全过程。主题摘要：主要介绍区块链基本概念、技术演进、客户价值和适用场景判断，华为云区块链技术关键特性和核心技术、华为云区块链生态伙伴合作和分工界面。动手操作环节将会包括华为云区块链 BCS 操作体验，从开通集群开始，快速体验开通服务、创建实例、安装部署、运维监控等业务流程。【华为云专家，期待您的加入】如果您也热爱技术、乐于分享；想要参与技术沙龙、结识技术大咖、打造个人技术品牌....华为云专家欢迎您的加入！华为云MVP：点击了解华为云·云享专家：点击了解

说到云计算，想必大家都不陌生。从海外的aws培育市场之后全球的大企业都一个个的搞起了云计算。放眼海外，展望国内。中国2019云计算企业排行是什么样子呢？阿里云 - 上云就上阿里云在国内能在国际上叫得响的云计算公司就一个阿里巴巴，在国内云计算厂商中阿里云说自己排名第二，没人敢排第一。阿里云（www.aliyun.com）创立于2009年，是全球领先的云计算及人工智能科技公司，为200多个国家和地区的企业、开发者和政府机构提供服务。2017年1月阿里云成为奥运会全球指定云服务商。2017年8月阿里巴巴财报数据显示，阿里云付费云计算用户超过100万。阿里云致力于以在线公共服务的方式，提供安全、可靠的计算和数据处理能力，让计算和人工智能成为普惠科技。阿里云在全球18个地域开放了49个可用区，为全球数十亿用户提供可靠的计算支持。此外，阿里云为全球客户部署200多个飞天数据中心，通过底层统一的飞天操作系统，为客户提供全球独有的混合云体验。 腾讯云 - 产业智变 云启未来腾讯云背靠大树加上国际和国内已经有了成熟的模式，腾讯云自推出之后就蒙眼狂奔，在去年某研究院公布的排行中排名前五之内。腾讯云基于QQ、微信、腾讯游戏等海量业务的技术锤炼，从基础架构到精细化运营，从平台实力到生态能力建设，腾讯云将之整合并面向市场，使之能够为企业和创业者提供集云计算、云数据、云运营于一体的云端服务体验。百度智能云 - 计算无限可能提起百度云，大多数人第一个想法就是百度网盘，其实百度网盘是百度网盘和百度云不一样，唯一相似的是百度网盘用的二级域名是yun.baidu.com。f坊间传言因为二级域名百度云和百度网盘还有一些纠葛。不过好的一些是在今年4月百度云终于找到了定位升级为“百度智能云”，从yun到bcc再到cloud相信百度智能云会是国内云计算排名靠前的存在。百度智能云是百度提供的公有云平台，于2015年正式开放运营。百度云秉承“用科技力量推动社会创新”的愿景，不断将百度在云计算、大数据、人工智能的技术能力向社会输出。2019年4月11日，“百度云”品牌升级为“百度智能云”。京东云 - 预见无限可能提起京东云，会有开发者疑问京东不是商城吗，他们也有公有云了？其实笔者早几年就使用过京东云提供的JAE服务。京东云（JD Cloud）是京东集团旗下的全平台云计算综合服务提供商，拥有全球领先的云计算技术和丰富的云计算解决方案经验。为用户提供从IaaS、PaaS到SaaS的全栈式服务（Full Stack），从IDC 业务、云计算业务到综合业务的全频道服务（Full Spectrum），以及包含公有云、私有云、混合云、专有云在内的全场景服务（Full Services）和跨行业的全生态云服务（Full Ecosystem）。同时，京东云依托京东集团在云计算、大数据、物联网和移动互联网应用等多方面的长期业务实践和技术积淀，形成了从基础平台搭建、业务咨询规划，到业务平台建设及运营等全产业链的云生态格局，为用户提供一站式全方位的云计算解决方案。华为云 +智能,见未来应该是去年或者前年开始在私有云市场领先的华为公司也携“华为云”品牌杀入公有云市场。关于华为云的排名，笔者认为不看一时。虽然在去年某研究院公布的排行中排名前五之内，但大家可以参考这两年的小米手机和华为手机的市场占有率之间数据变化。华为云是华为公司倾力打造的云服务品牌，为客户提供稳定可靠、安全可信、可持续演进的云服务。面向大中型企业，华为云帮助他们解决云转型中的困难，更好地把握未来；面向中小型企业，华为云陪伴他们成长，共同应对成长中的挑战。UCloud - 中立 安全 可信赖的云计算服务商今年初，UCloud就有要做科创板第一股（第一个吃螃蟹的人）的传言。在4月1日UCloud披露《首次公开发行股票并在科创板上市招股说明（申报稿）》，不出意外UCloud将成为首个在国内上市的独立云计算厂商。UCloud （优刻得科技股份有限公司）是国内领先的云计算服务平台，坚持中立，不涉足客户业务领域，致力于打造一个安全、可信赖的云计算服务平台。自主研发IaaS、PaaS、AI服务平台、大数据流通平台等一系列云计算产品，并深入了解互联网、传统企业因为篇幅有限，国家队：天翼云、沃云、浪潮云、移动云等，民间队：金山云、网易云、七牛云、三丰云、新浪云、苏宁云、美团云、盛大云、360云等。就不一一介绍了。通过上述介绍，你认为2019云计算前十名都有谁呢？原创文章，首发https://www.wshenm.com/2019cloudtop.html 转载请标明出处。

人社部、市场监管总局、统计局联合发布新职业　2019年4月1日，人力资源社会保障部、市场监管总局、统计局正式向社会发布了人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员、云计算工程技术人员、数字化管理师、建筑信息模型技术员、电子竞技运营师、电子竞技员、无人机驾驶员、农业经理人、物联网安装调试员、工业机器人系统操作员、工业机器人系统运维员等13个新职业信息。这是自2015年版国家职业分类大典颁布以来发布的首批新职业。人力资源社会保障部组织职业分类专家，严格按照新职业评审标准和程序，从有关申报单位提交的新职业建议中评选出来，经公示广泛征求社会各界意见后确定的。首批新职业主要集中在高新技术领域，具有以下几个特点： 　　一是产业结构的升级催生高端专业技术类新职业。当前，我国经济已由高速增长阶段转向高质量发展阶段，这对劳动者的科学文化素质和能力水平提出新的要求。近几年，随着我国人工智能、物联网、大数据和云计算的广泛运用，与此相关的高新技术产业成为我国经济新的增长点。对从业人员的需求大幅增长，形成相对稳定的从业人群。人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员和云计算工程技术人员等4个专业技术类新职业应运而生。这些新职业属高新技术产业，以较高的专业技术知识和能力为支撑，从业人员普遍具有较高学历。　　二是科技提升引发传统职业变迁。随着新兴技术的采用，传统的第一、第二产业越来越智能化。工业机器人替代生产流水线上简单劳动力的做法在部分地区得到推广，与机器人相关的生产、服务和培训企业蓬勃发展。工业机器人的大量使用，对工业机器人系统操作员和系统运维员的需求剧增，使其成为现代工业生产一线的新兴职业。随着无人机技术的成熟，利用无人机完成一些人类难以完成的高难险和有毒有害工作成为可能，通过无人机可以进行植保、测绘、摄影、高压线缆和农林巡视，无人机在物流等领域也拥有广阔的应用空间。大量无人机的使用，使无人机驾驶员成为名副其实的新兴职业。　　三是信息化的广泛应用衍生新职业。信息化如同催化剂，使传统职业的职业活动内容发生变革，从而衍生出新职业，如：数字化管理师、建筑信息模型技术员。随着物联网在办公、住宅等领域得到广泛应用，信息化与现代制造业深度结合，物联网安装调试从业人员需求量激增。近几年，在国际赛事的推动下，基于计算机的竞技项目发展迅猛，电子竞技已成为巨大的新兴产业，电子竞技运营师和电子竞技员职业化势在必行。在农业领域，农民专业合作社等农业经济合作组织发展迅猛，从事农业生产组织、设备作业、技术支持、产品加工与销售等管理服务的人员需求旺盛，农业经理人应运而生。　　　相关阅读：　　　　一、如何界定新职业，新职业信息包括哪些内容？　　新职业是指《中华人民共和国职业分类大典》（以下简称大典）中未收录的，社会经济发展中已有一定规模从业人员，且具有相对独立成熟的专业、技能要求的职业。　　新职业信息主要包括：职业名称、职业编码、职业定义和主要工作任务等内容，与大典中的职业信息基本一致。对具有“环保、低碳、循环”等绿色特征的职业标示为绿色职业，统一以“绿色职业”的汉语拼音首字母“L”标识。　　二、我国何时建立新职业信息发布制度，有何意义？　　建立新职业信息发布制度是国际通行做法，也是职业分类动态调整机制的重要内容。1999年，我国颁布了首部大典，共收录了1838个职业。进入新世纪后，随着我国经济社会的快速发展，产业结构调整、科学技术进步、大众创业创新，社会上涌现出许多新业态，亟待在国家层面上予以认可规范，新职业信息发布制度应运而生。首次新职业信息发布工作始于2004年，至2009年，累计发布了12批次120多个新职业。2010年后，国家启动了大典修订工作。2015年7月，颁布了2015年版大典。2015年版大典颁布近4年来，随着经济社会发展、科学技术进步和产业结构调整，新产业新业态新模式滋生孕育出新职业，亟需重启新职业信息发布工作。　　新职业信息发布制度的意义。首先，有利于促进就业创业。通过发布新职业信息对新职业进行规范，加快开发就业岗位，扩大就业容量，强化职业指导和就业服务，促进劳动者就业创业。其次，有利于促进职业教育和职业培训改革。推动专业设置、课程内容与社会需求和企业生产实际相适应，促进职业教育培训质量提升，实现人才培养培训与社会需求紧密衔接。再次，有利于完善我国职业分类和职业标准体系。将新职业纳入国家职业分类统一管理，并根据产业发展和人才队伍建设需要，加快职业技能标准开发工作，有利于建立动态更新的职业分类体系，完善职业标准体系。　　三、新职业是如何产生的？ 　　新职业是在向社会公开征集的基础上，经专家评审、公示征求意见后，按程序遴选确定的。此次共征集到43个建议职业，经专家严格评审，报人力资源社会保障部、市场监管总局、统计局批准，最终发布13个新职业信息，分别是：人工智能工程技术人员、物联网工程技术人员、大数据工程技术人员、云计算工程技术人员、数字化管理师、建筑信息模型技术员、电子竞技运营师、电子竞技员、无人机驾驶员、农业经理人、物联网安装调试员、工业机器人系统操作员、工业机器人系统运维员。这13个新职业主要集中在高新技术领域，对从业人员知识、技能水平具有较高要求。 　　四、新职业信息发布有何影响？　　新职业信息发布，使国家职业分类体系更加科学完善，更好地服务于国民经济信息统计、人力资源开发管理、职业教育培训和人才评价工作，为国家制定相关产业发展政策、开展就业人口结构变化和劳动力供求状况研究分析、制定人力资源市场政策提供了科学依据。对用人单位和从业人员的影响主要体现在：规范了用人单位的岗位设置、人员招录、员工培训等工作，使从业人员的职业发展规划更加明晰，有利于促进其提升职业能力和素养。来源：http://www.mohrss.gov.cn/SYrlzyhshbzb/dongtaixinwen/buneiyaowen/201904/t20190403_313788.html

写在前面：        首先，感谢华为云能能给我这次机会来体验MapReduce服务。        其次，吐槽一下编辑帖子的这个页面，说实话，实际体验不好，丢失了好几次编辑的内容。介绍：                 本人从事云计算的售前售后咨询工作，之前接触过阿里云和aws，从去年下半年开始也加入了华为云学院，参加过多期的课程培训，考取了HCIA-CLOUD证书，参加过微认证的考试。在体验官的发帖者中也发现了在云学院中 的一些熟悉的名字，希望大家能一起学习华为云、了解华为云。这次体验华为云的MR产品给我不一样的感觉。            痛点  大数据时代的数据分析任务比传统的数据分析任务要复杂的多，利用MapReduce可解决相应的难题，自建MapReduce环境存在以下痛点：            1.环境搭建迅速，传统自己搭建需要一周的时间。            2.环境复杂，技术要求高。            3.业务云化日趋完善，现有业务上云急需解决。   MR产品        前提，该账户在所创建集群的region内建有vpc和安全组。   购买并创建MR集群的过程友好度满分，安装帮助文档操作就ok，简单易懂，这里不做赘述。        购买完成后绑定弹性ip并添加安全组规则。        购买完成后自动创建集群，并自动带有用于测试生产的环境。简单易得，即开即用。友情提示：如果使用Chrome浏览器登录华为云的话，点击上图的“点击查看”可能没反应，按照下图的提示允许弹窗就行了。友情提示：这边的登录用户名默认是admin，密码是创建集群时指定的密码。在OBS桶中创建用于存储数据逇文件夹，并上传Hadoop3.1.1子项目hadoop-mapreduce-examples代码，并上传需处理的数据。    再说说和其他云的比较。    首先说阿里云，由于阿里云起步较早，MR产品功能相对来讲比较丰富。阿里云MR的帮助文档十分丰富，且API和SDK也较为全面。华为云的MR产品则简单易用，对比阿里云没有那么繁琐，美中不足的是帮助文档对初学者不够友好，帮助文档过于简单。    再说AWS，作为世界范围内云计算的行业领导者，AWS的产品个人认为不符合中国人的使用习惯。首先，AWS的帮助文档写的像一坨X一样，毫无逻辑，看着十分费劲。其次对于AWS的使用者来说，学习成本太高，很多功能都没集成，使用起来十分繁琐，要用到很多cli或者lambda函数。还有一点，AWS的计费是基于欧美的那套信用体系，费用不如国内的云看的直观。

       2018年华为云沃土AI开发者使能计划推出，使能开发者，做云上生态的黑土地。为更好的建设与开发者共创的通道，使能人才培养，2018年华为云MVP&云享专家上线。华为公司副总裁、云BU总裁郑叶来表示:“ 华为希望通过沃土AI开发者使能计划,搭建一个技术交流、人才培养、机遇共创的通道,全面助力每一位开发者、每一位老师和每一位合作伙伴。”       2019年华为云计划赋能更多MVP&云享专家进行技术共创，为此华为云推出了云专家激励计划，针对专家贡献和使命给予相应激励，更好的传播华为云品牌，为行业进行技术步道和技术赋能。       在过去这些年里，华为作为技术提供商，帮助众多企业实施数字化转型战略，越来越多的客户提出：华为自己是如何用云来打造数字化华为的呢？3月21-22日在福州海峡国际会展中心召开的“华为中国生态伙伴大会2019”华为云专家闭门会议上，我们邀请到来自全国各地的华为云MVP、云享专家、优秀开发者代表共同探讨了关于大数据、区块链解决方案，附件是两位来自华为的云享专家和大家分享的演讲材料，供大家学习参考。        如果您也热爱技术、乐于分享，华为云专家期待您的加入，和我们一起交流技术、共促业务发展！