-
获奖名单公布kswilad123445Regan Yue恭喜以上开发者,之前未填写获奖信息的开发者,请与11月5日16:00前完成获奖信息填写。为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】活动奖励a. 奖励一:参与互动用户每人获得圆梦积分3分b. 奖励二:在所有参与互动用户中抽取3个幸运奖,奖品为《ModelArts人工智能应用开发指南》书籍1本。专家简介刘毅华为云PaaS服务产品架构师15年软件开发、架构设计从业经验,工作中主要从事大型企业级软件的架构与研发,在金融,医疗等领域具备多个项目的成功实践。持续跟踪 serverless, 云原生等软件开发前沿技术,为开发者提供了丰富的应用开发最佳实践。董鑫武华为云PaaS服务产品布道师23年软件开发、架构设计从业经验,先后从事电信业务支撑系统、企业级软件解决方案设计和应用开发,在智慧城市、智慧园区等领域具备多个项目的成功实践。深耕云原生、低代码等软件开发前沿技术,并应用于开发实践,为企业、高校等各类开发者提供了丰富的应用开发最佳实践。 直播简介 1.如何高效对接华为云服务,API/SDK/CLI工具和代码示例要怎么选择? 2.数字化转型的深入,越来越多的应用将基于云开发和部署,软件需求越来越海量、零碎、善变,而专业的开发人员千金难求。如何高效地开发云原生的应用,解决传统模式开发效率低,上线慢等问题? 3.Serverless技术和应用是业界热点,如何快速开发出Serverless应用? 本次论坛华为云高级专家将为您详细解读 直播亮点1.了解云原生、Serverless应用开发的特点2.熟悉华为云原生、Serverless开发碰到的问题和解决方案3.熟悉云应用、Serverless开发的工具链4. 熟悉对接华为云的API/SDK/CLI、IDE插件等工具的使用5.了解华为云低代码开发平台AppCube应用场景及能力,以及AppCube给传统企业数字化转型带来的价值 直播时间9月25日 15:00活动时间9月22日—10月7日互动方式直播前您可以在本帖留下您感兴趣的问题,专家会在直播时为您解答。直播后您可以继续在本帖留言,与专家互动交流,我们会在全部活动结束后对参与互动的用户进行抽奖。活动规则本次活动结束后,将由华为云工作人员将符合抽奖条件的用户名单导入至巨公摇号平台(https://www.jugong.wang/random-portal/)内,抽取各奖项,并截屏公示抽奖过程。如您不同意此抽奖规则,请勿参加本次活动。 Tips1、请务必使用个人账号参与活动(IAM、企业账号等账号参与无效)。2、所有获得华为电子产品奖项的获奖用户,请于获奖后3日内完成实名认证,否则视为放弃奖励。3、收货信息填写说明:1)为保证您顺利领取活动奖品,请您提前填写奖品收货信息,如您没有填写,视为放弃奖励。收货信息请【点击此处填写】2)填写时间截至2021年10月25日23:59。3)在HC2021开发者社区系列活动中完成一次填写即可。我们最终将会按照您填写的信息发放奖励。4、活动规则请戳https://bbs.huaweicloud.com/forum/thread-154048-1-1.html
-
9月16日,由中科软科技股份有限公司主办的中国寿险科技应用高峰论坛2021隆重举行。国内头部保险公司管理者、国内外各界信息化专家、保险科技公司齐聚北京,共议保险科技未来发展,探索保险科技发展新机遇。会上,华为云首席产品官方国伟带来“技术共生、商业共赢,全栈云原生技术助力金融突破创新瓶颈”主题演讲,他指出,保险线上化和用户年轻化是大势所趋。这种变化给保险行业供给侧带来新挑战,保险公司通过技术手段强化生态建设,更好地服务客户已成业内共识。未来,华为云将和保险业合作伙伴一起共创共享共赢,通过技术赋能,驱动保险业智能化升级,加速商业价值转化。“技术共生、商业共赢,全栈云原生技术,助力金融突破创新瓶颈”主题演讲演讲过程中,方国伟提到华为云通过技术赋能,助力保险企业优化业务流程、缩短业务耗时、降低理赔成本、防范理赔风险,全面提升场景创新能力,共同为用户带来优质的保险服务。华为云首席产品官方国伟技术赋能,华为云助力保险业务全面提速在底层基础设施层面,华为云通过云原生和分布式云,助力保险业务全面提速。大多数金融机构存在系统数据难以打通、交付方式部署安装的硬件标准不统一、运维成本高等问题,导致创新难,无法应对大数据量和日益碎片化、海量、高频化的新保险场景。方国伟表示,在用户投资理财诉求逐渐快速多变的背景下,金融行业的软件架构升级已经迫在眉睫,云原生架构成为最佳选择。华为云打造的云原生2.0解决方案,通过资源高效的基础设施和领先的容器、大数据等云原生技术,帮助保险企业实现全栈敏捷的应用构建能力。在业务流程层面,华为云打造全流程极简AI开发平台,帮助保险企业实现智能化升级。方国伟介绍,全流程极简AI开发平台可以缩短模型开发周期,极大提升开发调试效率与模型运行性能。在理赔上,可以提升智能理赔时效,减少运营人力投入,提升风控能力。在客服环节,智能客服可以大幅降低人力成本,提升客户满意度。同时,智能陪练可以提升业务员服务质量和效率。智能营销可以提高购买转化率,在AI+大数据的助力下实现精准定价。在运营层面,华为云云原生数据库,助力保险公司大幅提升业务运转效率。华为分布式数据库,具有高性能、高扩展、高安全等优势,具备支持高吞吐强一致性事务能力,可以实现 容量和性能按需水平扩展,同时,云原生数据库作为业界首个纯软全密态数据库技术,可以实现数据从传输、计算到存储的全程加密,很好地保障数据安全。永安保险、众惠相互等保险企业使用云原生数据库后,大大提高了高并发处理量,实测保险意健险场景以及保险销管系统场景均有多倍性能提升,大幅提升了运维效率。在保障数据信息安全方面,华为云提供全栈的信创能力,帮助保险企业实现技术的自主可控。华为云为中国人寿等保险企业提供一站式鲲鹏移植专业服务,通过鲲鹏+麒麟OS+CCE+DWS数仓帮助客户迁移开发测试、OA业务、云桌面,助力企业实现可持续高效发展。共建生态,加速保险企业创新发展今年,华为云推出云云协同等创新举措,并正式发布“云云协同创新计划”,加速全球企业创新发展。云云协同,即华为云和华为终端云服务在能力和生态方面深度协同,为用户提供统一的服务和体验,包括统一的账号、支付、音频、视频、地图和广告等开放能力。在金融行业从人走向物,从B端走向C端,各种业务创新场景层出不穷的背景下,云云协同打通B端和C端生态,并与与客户共享,帮助优秀应用快速触达终端用户,实现用户增长。方国伟认为,云云协同可以帮助保险移动端精准投放广告投放,狙击优质客户。云云协同基于用户的设备信息、app行为偏好、金融消费意向、关键词行为偏好、兴趣习惯、人口属性、地理信息来做出更全面画像,使保险公司能够更加了解用户需求、用户偏好,为用户提供更个性化、精准化地服务。云云协同让企业加速触达用户,缩短转化路径,提升转化效率。方国伟表示,未来,云云协同将加快生态协同创新,共创新体验,新应用,新产业战略。加快“保险+科技”的发展布局,激发保险业“新活力”,以更好地融入数字经济浪潮。本次大会中,华为云金融行业总经理朱兵向保险行业客户表示,我国保险业正处于一个快速发展期,未来增长空间广阔,保险科技的兴起恰逢其时。华为云这两年进步很大,已经有50多家保险企业选择了华为云,未来,华为云基于自身信创及云云协同的优势,会在营销端和服务端推出更多可落地的解决方案业务场景,包括最新基于保险数据安全保护的隐私计算TICS,智能客服中的知识图谱学习等,满足更多新的需求,打造更方便、更全面的服务模式。华为云期待与客户携手,共同驱动中国保险业的发展和创新,推动用户体验升级,构建保险科技新生态。
-
华为内部有个学习栏目叫【专家大讲堂】,有个四年前的演讲视频特别引人注目。这几年时间里,不断有员工搜索观看并留言:“真知灼见!现在回头来看这个演讲,最近几年云服务领域的一些争议和弯路,其实方老师当年已经讲得非常清楚了。”带着巨大的好奇,我们打开了这位演讲专家方国伟的履历。毕业于清华大学计算机系的他,曾负责构建了微软中国的第一个云计算演示中心,也是亚马逊AWS中国的第一个技术人员,是国内最早开始推动云计算概念、技术和业务的践行者之一。在与云同行的数十载期间,方国伟在团队里曾被亲切地称呼为“云计算一哥”。如今的方国伟,担任着华为云首席产品官的职位。本期华为云社区《云享人物·大咖面对面》,邀约到了这位技术大咖,让我们一起听他聊聊云的故事。1、云最有待突破的不是技术,而是心理和利益曾几何时,有人质疑云服务是新瓶装旧酒,有的人认为是大势所趋。十年河东,十年河西,当我们的生活发生翻天覆地变化的同时,云也悄然间改变了传统产业。事实证明,云时代终究以不可逆的态势席卷而来。方国伟是其中的见证者,也是推动者。从那个特别的2008年开始,他就一头扎进了这个行业,起起伏伏的13年里,他始终坚信:云计算是经济规律和技术发展到一定阶段的必然产物,是ICT行业发展的方向,是大趋势,这其中公有云又会占据主导地位。今年4月,IDC 发布的《全球及中国公有云服务市场(2020年)跟踪》报告显示,2020年全球公有云服务整体市场规模(IaaS/PaaS/SaaS)达到3124.2亿美元,同比增长24.1%。中国公有云服务整体市场规模达到193.8亿美元,同比增长49.7%,全球各区域中增速最高。这是一个处于快速增长,且潜力无限的庞然巨物,但是即便如此,依然有许多企业在观望,不敢轻易踏入到这条流经未来的技术河流中,认为业务上云充满了太多的变数。在几年前的采访中,方国伟曾说过这样一句话:“云计算最有待突破的不是技术,而是心理和利益。”如今再谈到这个问题,他给出了相同的答案。一个新事物的出现,必然会撬动既有的利益格局。很多传统企业有自己的数据中心,由内部团队负责基础设施运维。一旦采用公有云的方式,团队本身的利益会受到损失,比如工作量减少或者直接被裁撤,由此造成的利益损害是上云的“隐形”障碍。但换个思路看,利益再分配可以导向更好的结果,当传统企业把IT底层的基础设施交给专业的云厂商,就可以从高昂的硬件维护成本中抽离。让既有的人力集中力量去做应用层的业务创新,这是一个利大于弊的长期规划。而心理上也一直存在认知上的误区,“比如很多人对公有云的安全性还是持怀疑态度,觉得不如自建数据中心放心,但大部分情况下这种认知是错误的。”大的公有云厂商往往有强大的安全团队来保护客户的数据信息安全,有成熟的安全合规解决方案。但是对于单个企业来说,它在安全上投入的资源相对有限。这主要就是心理上的问题,需要时间去消解。就像电商发展初期,买家会担心钱付了货没收到,后期担保支付系统解决了这个问题。同样,上云的心理疑虑也需要在技术上做更多的工作,这也是云厂商后期要深入考虑的。归根结底,对于传统企业来说,上云是顺势而为的必选项。所以,在云计算发展的下一个关键节点中,如何让这些大型传统企业能够批量、放心的上云至关重要。 方国伟强调,这是华为云的最佳机会。2、华为云六大关键基因,真正帮到传统企业上云“云本质上就是ToB的服务,这恰恰是华为最擅长的,从传统运营商业务到企业业务,服务好政企是刻在我们的基因中。”方国伟表示这些经验弥足珍贵,它们可以无缝匹配到政企的上云中,这是其一。在当前的公有云市场,华为云既不是做电商起家,也不是纯粹的互联网软件公司,业务与上云的客户和合作伙伴的冲突最少,这种安全、中立、可信的定位,是其二的优势。第三,云的发展方向是软硬一体,云里面会有越来越多的专用硬件,云厂商对底层软硬件的构建也拥有了更多的控制权,从鲲鹏、昇腾处理器、擎天加速卡到其他各种硬件,华为原先在ICT行业积累的硬件创新经验可以直接通过云平台服务客户。“伙伴云是我们非常unique的模式, 和伙伴一起建云的这个模式,几乎没有其他云厂商在做。”早些年,华为就探索和客户合作构建私有云,这也是做伙伴云的基础。如今,华为云可以将公有云的全栈能力部署到客户本地,并通过在线集中运维或本地化运维为他们提供云服务,这是华为云服务能力在客户机房的延伸。方国伟详细解释道,以华为云为核心,建立一个涵盖不同场景的云平台,辐射到伙伴、边缘侧、客户侧等等。用华为大云连接各个伙伴云、边缘云,最终实现统一体验的分布式云联盟。就像去国外出差,虽然手持中国运营商的手机,但其实是由当地的运营商来提供服务,从使用角度看是完全无感知的。再比如华为云的专有云解决方案,它可以在公有云中从物理层面隔离出专属资源池,让计算资源、存储资源仅供客户独享专用。这些都是针对客户特定场景的创新优化,灵活匹配政企组织架构和业务流程,用创新的技术手段,实现用户视角的一朵云,更好满足他们的需求,放心上云。除此之外,全球化的业务部署能力、与消费者云协同所具备的移动化能力,这些都是华为云的独特所在。但是机遇总是和挑战并存的,当华为云的模式里既有公有云、伙伴云,相应的研发、产品管理的协同就是一个挑战,方国伟也在思考如何从产品角度做好协同,充分发挥ToB的传统优势。3、一切从用户诉求出发,没有水晶球可以看到未来方国伟在华为很重要的一个工作就是云产品的规划,这是一个既宏观又具体的工作。谈及这个“艰巨”的工作,他坦言,“没有人有水晶球可以看到未来,但从用户的诉求上也许能做一些趋势的判断。”就像贝索斯当年思考电商的发展,不需要绞尽脑汁去猜测未来会发生什么变化,而是要看有什么东西是不变的,这里的不变就是人们的诉求:更多的产品选择、更快的配送、更便宜的价格。这个理念同样适用于云产品,方国伟认为云产品的发展就是要满足:1、从产品规划的角度解决大企业业务都要上云的问题;2、人都是有惰性的,云产品要设计的更好用,比如写的代码更少,配置更自动化;3、更便宜或更好的性价比是永恒的命题。诸如Serverless的出现、低代码工具的流行,都验证了这些特性。所以在规划产品的过程中,如果可以牢牢抓住这三点,也能更灵活地适应云服务市场上的客户的需求。去年,华为云首次向业界提出了云原生2.0的概念,这也是方国伟在极力推进的关键规划之一。和CNCF对云原生定义稍有不同的是,他认为这个词的本意指的是应用或服务从一开始基于云平台设计和构建的,即“生于云,长于云”, 这里的基于云平台就是利用云平台所提供的产品和服务。从这个层面看,是否使用了容器、Kubernetes等技术并不是判断云原生的关键标准。在华为内网的一篇文章中,方国伟进一步解释了这个概念:现在我们说的云原生架构、网络和硬件都是针对云场景或云环境来设计和构建的,从而区别之前企业IT的场景和需求。比如传统的盒子式防火墙产品,在云场景下就略显疲软,因为云平台要求的扩展性更高,要有多租、动态调整配置和分布式部署的能力。所以云原生2.0意味着,除了容器、Kubernetes可以提供更细粒度,更灵活的资源调度之外,云平台上还有大量能够帮助用户快速构建应用的服务,比如帮用户管理和挖掘数据智能的服务,帮助构建万物互联的服务。现在的云原生就是要充分利用云上的各种服务能力,云平台到了以“应用为中心”的阶段。立而不破,时髦的概念不仅仅是互联网企业的专属,传统企业完全可以摆脱历史包袱,根据实际情况向云原生的模式变革。方国伟相信通过云原生2.0,更多的政企都能够成为新云原生企业,从“ON Cloud”模式逐渐转变为“IN Cloud”模式,完成数字化转型变革的目标。基于云原生2.0,他强调华为云后续将加大在Serverless上的投入,并且会把云原生2.0和分布式云、边缘云相结合,从最开始完全基于资源集中的中心云模式走向云边协同的分布式云模式,让云更好的满足客户在时延、网络成本以及数据安全方面的需要。在今年9月底的2021华为全联接大会(HC)上,华为云也会围绕云原生2.0发布一些相关的产品。4、另一个战场:生态与开发者谈起未来云厂商的竞争,方国伟摊开手笑了笑,他倒不是非常担心。线上公开市场的竞争,很难存在真正的垄断,各家的产品服务都是摆在台面上购买使用,也许有的入场时机早,抓住了早期的流量红利。“但云涵盖的产品非常广,竞争往往是综合性而非单点的。”方国伟例举了几个关键的点:用户体验、数据安全、合规和治理、可靠性和稳定性、成本控制、服务水平、生态(包括合作伙伴生态和开发者生态)。比如大企业可能对稳定性更敏感,小企业更看重成本控制、是否有自动化的服务,大家的考量是不一样的。但最优秀的云厂商,就像学生时代的第一名,基本没有学科短板,各方面的发展均衡且优秀。也正是考察综合竞争力,新技术的突破很难带来颠覆性的市场变化。如方国伟所言,“虽然单个技术的突破有助于提高竞争力,但云是一种新的服务方式,新的技术和应用的推出,只会让云服务更加丰富,云模式本质短期不会发生变化。”这其中不得不提的是生态建设。因为在上云后,除了消耗计算资源,越来越多的用户会使用云的软件服务,包括存储、数据库、IoT、AI等等,这些产品的背后是一个个普通的开发者。所以,极简的开发工具,高效便捷的开发流程,也是云厂商竞争的战场。方国伟直言道,“上云的合作伙伴最关心的也是能不能在这个生态里赚到钱。”同样地,华为云可以把原先做ToB的硬件生态的经验体系,从线下迁移到线上,并且和既有的消费者云生态做好协同和整合。“所以,我们会更加重视生态和开发者。” 包括会针对具体行业的一些具体场景提供支撑使能服务,提高开发者的效率,帮助他们快速开发应用。方国伟透露,在HC期间会有一些重磅的发布,比如有的传统企业需要开发直播APP,我们就要通过成熟的产品支撑这些传统企业的互联网应用开发。当然,这只是冰山一角,水面下的惊喜,大家可以敬请期待。5、好风凭借力,时代造人,人亦成就时代狄更斯的《双城记》中有一段经典的开篇,这是最好的时代,也是最坏的时代。前一句适用于拥抱云的企业,后一句适用于因循守旧来不及转身的企业。但对于开发者来说,云时代就是最好的时代。“推动人类社会前进主要靠两个东西,一个是能量,一个是信息。信息时代让信息的价值得到极大展现,我认为现在以及在可预见的未来,都是技术人员的春天,我们可以产生巨大的价值推动社会进步。”方国伟自己的经历正是最佳的注脚,在技术的洪流中,顺势而为,成为云的见证者,也是关键的参与主导者,与热爱的事业一路同行。那么,开发者作为推动云发展的个体,又该如何抓住时代的机遇呢?“选对趋势,选好赛道,然后一定要有一技之长,或者说一针捅破天的能力。”如今天时和地利都有了,就看一技之长能否完全发挥出来。在这一点上,方国伟也谈到了技术人员在技术之外的三个关键能力:第一是培养业务视角(business sense)看问题的能力, 要理解和接受在企业中技术本质上是为业务服务的,技术匹配业务,所以心态上一定要摆正。打个比方,企业和学校不一样,因为在企业是公司付钱让你做技术,学校是你付钱做技术。第二是沟通的能力, 一般认为沟通能力强就是日常的能说会道,但是除口头表达之外,写邮件、写报告、乃至演讲,都是沟通能力的呈现。把才华通过产品发挥出来,再由各种沟通渠道来表达呈现。第三是同理心, 本质上就是要有换位思考或者将心比心的能力,它可以很好地帮助我们处理日常问题,更好的理解客户需求,也能提高沟通效果。云快速发展的十多年,行业经历了一轮轮洗牌,起起落落之间,身处在技术浪潮中的每个单独的个体,无论是个人还是企业,都得走出舒适区,敢于自我革命,开创第二增长曲线。采访的最后,方国伟很是谦虚地总结,“我很幸运,在云计算这个浪潮中发挥自己的特长,做自己喜欢的事情。”时代造人,人亦成就时代。彩蛋“运动是身体的锻炼,阅读是大脑的锻炼。”方国伟坚持健身20余年,精神状态和身材管理在我们看来都很不错。对于阅读这个爱好,他解释到:“计算机要发挥作用需要:算法+数据。人的大脑就是一个生物的、碳基的计算机,一些算法是与生俱来的(在我们DNA中延续下来的),一些算法是需要后天去构建的。学习、思考就是构建这个算法的过程。我信奉终身学习理念,而阅读是成本最低,最方便的一种学习方式。”同时,为大家推荐他最近在读的一本由UC Berkeley教授Matthew Walker写的书《Why We Sleep》。“有一样东西,它能提高你的记忆力,增加你的魅力;让你保持苗条,降低食欲;保护你不得癌症和老年痴呆;不让你感冒和伤风;降低你心脏病、心梗和糖尿病的风险。会让你感觉更快乐,不抑郁,不紧张。”“大家都知道身体是1,其他是0,但是大部分人在0上花费很多时间,在1上花费很少,以睡得少而自豪。这本书能改变大家的一些错误想法,对睡眠有个正确的认知。祝愿大家都有一个好身体。”
-
Volcano是一个基于Kubernetes的云原生批量计算平台,也是CNCF的首个批量计算项目。Volcano 主要用于AI、大数据、基因、渲染等诸多高性能计算场景,对主流通用计算框架均有很好的支持。它提供高性能计算任务调度,异构设备管理,任务运行时管理等能力。本篇文章将从Volcano架构、Volcano核心概念及功能、Volcano Code Tour、平台组件安装部署等方面来带大家认识Volcano。 Volcano架构 1、Volcano全景Volcano是基于Kubernetes的高性能批量计算平台,目前支持几乎所有的主流计算框架,包括MindSpore、TensorFlow、Kubeflow、MPI、PyTorch、飞浆、Spark、HOROVOD 等。Volcano支持的部分计算框架 计算框架遇到的问题:1)1:1的operator部署运维复杂2)不同框架对作业管理、并行计算等要求不同3)计算密集高,资源需求波动大,需要高级调度能力 Volcano面向主流计算框架提供:1)统一容器基础设施,提高资源利用率2)通用作业管理、队列Fair-share, Gang, bin-pack等高级调度算法3)简化运维管理 2、Volcano整体架构Volcano利用声明式的CRD定义我们的API,主要有3个核心的API,Volcano Job、PodGroup、Queue。Volcano Job 是对高性能任务的通用定义,PodGroup提供了Job中Task的管理能力,Queue 为任务的分类提供了基础。Volcano的架构 Volcano 核心组件主要包含三个:Admission、ControllerManager、Scheduler 。Admission对Volcano CRD API提供校验能力;ControllerManager负责对Volcano CRD进行资源管理;Scheduler对任务提供丰富的调度能力。 3、Volcano工作流程从零开始运行Volcano作业:1)用户创建一个 Volcano 作业2)Volcano Admission 拦截作业的创建请求,并进行合法性校验3)Kubernetes 持久化存储 Volcano Job 到 ETCD4)ControllerManager 通过 List-Watch 机制观察到Job 资源的创建,创建任务(Pod)5)Scheduler 负责任务的调度,绑定 Node6)Kubelet Watch 到 Pod的创建,接管 Pod 的运行7)ControllerManager 监控所有任务的运行状态,保证所有的任务在期望的状态下运行 Volcano核心概念及功能1、Volcano核心概念1)Queue:Queue的概念源于 Yarn,它是Cluster 级别的资源对象,可为其声明资源配额,也可由多namespace 共享,并且提供 soft isolation2)PodGroup:PodGroup是任务的分组,它与 queue 绑定,占用队列的资源。它与 Volcano Job 是一对一的关系;也可为其声明 Scheduling 条件3)Volcano Job:它是批量计算作业的定义,支持定义作业所属队列、生命周期策略、所包含的任务模板以及持久卷等信息 2、作业管理插件 svc:提供不同类型任务之间互访能力env:任务索引,例如 Tensorflow Worker indexssh:ssh 秘钥对创建及挂载,主要供 MPI 作业使用 3、Scheduler架构Scheduler支持动态配置和加载。 4、核心调度算法1)Gang Scheduling2)Fair Share3)Preempt & Reclaim4)Reserve & Backfill5)Topology Aware Scheduling6)GPU Sharing Volcano Code Tourcmd目录是Volcano所有组件启动的入口;config 是Volcano的配置;defs 是安装时的配置;docs 是Volcano的设计文档;example 提供了简单的例子,hack 提供安装时的脚本;installer 提供安装的模板。 pkg 是最重要的目录,里面包含了 api、controller、scheduler 、webhook 等代码。test 提供了e2e测试用例, vendor是依赖库。 安装部署1、Volcano InstallVolcano安装部署有多种方式:若已存在K8S集群,建议通过 Helm方式安装部署,该方式支持自定义安装配置;开发者建议通过Development Yaml方式部署。 对于开发者,Volcano已内置一键式安装部署脚本,路径为 volcano. sh/volcano/hack/local-up-volcano. sh。运行该脚本时,默认会使用kind创建 Docker in Docker的模拟集群,并安装部署Volcano。 2、Volcano 组件正确安装部署后,将生成4个组件,分别为:Volcano-admission、Volcano-admission-init、Volcano-controllers、 Volcano-scheduler ,其中admission-init以作业的方式生成证书。
-
云原生技术日渐成熟,已经成为新时代云计算的技术标准。随着5G的商用化普及及企业数字化转型催生了边缘计算,成为云计算的新边界。云原生与边缘计算相遇会碰撞出怎样的火花?KubeEdge 作为CNCF首个孵化的云原生边缘计算项目,如何将云原生与边缘计算完美融合?企业如何进行云边协同方案的选型与落地阶段的问题解决?10位技术大咖深度分享,干货满满云原生边缘计算发展历程与未来展望KubeEdge:云原生边缘计算平台基于云原生构建边缘计算平台 (优势和挑战)KubeEdge项目概况、架构、核心能力KubeEdge应用场景KubeEdge社区介绍、未来展望及后续计划KubeEdge落地案例Kubernetes+KubeEdge: 管理中国高速公路上的10万边缘节点中国移动: 基于KubeEdge实现中国移动10086客服云边协同平台谐云科技:助力边缘云生态共建,加速云原生落地创新基于KubeEdge 和Kuiper 的边缘流式数据处理实践打造开源开放社区,共建云原生边缘计算生态KubeEdge SIG MECKubeEdge SIG IoT/DeviceKubeEdge SIG AI持续更新中……材料下载方式扫码关注公众号容器魔方回复“KubeEdge 资料”即可下载添加小助手,发送“KubeEdge” 加群社区专家入驻,技术问题随时答疑
-
KubeEdge即Kube+Edge,顾名思义就是依托K8s的容器编排能力和调度能力,实现云边协同、计算下沉、海量设备的平滑接入。本篇文章将从KubeEdge架构设计理念、KubeEdge代码目录概览、KubeEdge集群部署三方面带大家认识KubeEdge。 KubeEdge架构设计理念 1、Kubernetes的架构这里是一个经典的K8s架构,K8s相信大家已经了解比较多了,它主要是分为控制面和数据面,而现在K8s的生态已经非常火爆了,关于应用管理和容器管理已经形成了一套标准,这里列举了它的一些优势:只有API server可以访问etcd组件通过 API Server 访问集群状态API采用声明式设计API对象彼此互补、可组合优先使用事件监听而不是轮询… 2、基于Kubernetes构建边缘计算的优势与痛点 核心优势主要有4方面: 容器化应用封装现在已经成为应用交付的一个趋势,我可以把我的应用打包到容器里,我只打包一次,可以跑在各种地方,这种如果应用到我们IOT领域,我们传统有很多IOT嵌入式设备,它其实很多硬件和软件强相关的,如果换一个硬件,可能软件就要更改,如果说我这个容器化封装以后,设备可支持容器runtime,我可以将容器跑在任何IOT设备上。通用应用抽象定义:K8s的API,包括development、pod现在其实在业内已经形成一套标准,大家都比较了解和认可,其实我们基于这些应用做这个平台,大家也更能容易接受。 松耦合架构:它的可扩展性比较好,比如我们基于K8s之上可以通过CRD来定义一些API,像我们通过设备管理CRD来定义一些IOT里device的一些API,到时候我们可以直接通过K8s的一些方式来管理这些设备;还有一些可扩展,比如它的CIA可以对接各种runtime,我们有些边缘节点它的资源非常有限,我们就可以对接一些轻量化的runtime。 其关键痛点有:1)资源有限网关设备,128MB内存K8s集群需要至少1G内存 2)网络不畅边缘位于私有网络,无公网IP云边跨越公网,带宽有限,延迟高K8s的List-watch需要数据中心网络 3)边缘如何离线自治网络不稳,随时可能离线边缘业务离线可工作边缘离线可故障恢复 4)设备接入和管理缺少边缘设备抽象缺少边缘设备接入协议支持 3、KubeEdge 架构与核心理念我们这个架构主要是分了云、边、端三部分,云上边就是我们的控制面,边就是我们的边缘节点,端就是跑了我们的一些端侧设备,云上左边是一个K8s的master,是没有做过改动的原生的K8s控制面,后边我们加了我们的一个组件叫CloudCore,它云上的组件主要是会拿一些K8s控制面上的东西,通过EdgeController和DeviceController做一些处理,然后通过下边的Cloud Hub,Cloud Hub主要是跟边端通信的,边端有个EdgeHub和Cloud Hub通信,然后把数据拿下来。边端是主要做了一个应用管理和设备管理的能力,应用管理左边会有一个Edged,右边有DeviceTwin、EventBus,分别是应用管理和设备管理,左边有个DataStore,就是我们说的本地自治的能力,比如说我们这应用或者设备的元素从云上分发下来,我们是先把它存到一个数据库里,然后再到它的Edged或者设备里边,这样就能保证云边网络断开或者边缘节点重启了以后我应用的Edged它可以从数据库里把应用源数据拿出来,这样就能保证在故障的情况下业务可以正常恢复。 核心理念:1)云边可靠协同双向多路复用消息通道,支持边缘节点位于私有网络Websocket + 消息封装,大幅减少通信压力,高时延下仍可正常工作云边消息校验,网络不稳定时不丢数据 2)边缘离线自治 节点元数据持久化,实现节点级离线自治节点故障恢复无需List-watch,降低网络压力,快速ready 3)边缘极致轻量重组Kubelet功能模块,极致轻量化(~70mb内存占用)支持CRI集成Containerd、CRI-O,优化runtime资源消耗 4)边缘设备管理云端通过Kubernetes API管理边缘Device 4、KubeEdge 社区生态KubeEdge致力于将Kubernetes的能力拓展到边缘业界首个边缘容器平台项目Apache 2.0协议2019年3月捐给CNCF基金会2020年9月晋级为孵化级托管项目K8s IoT Edge WG参考架构基于Kubernetes构建,100%兼容K8s API11个特性版本,最新版本为v1.6.0(截止2021年3月)3600+ Star,900+ Fork,550+贡献者目前成立3个社区SIG: SIG Device IoT、SIG MEC、SIG AI参与社区贡献的企业包括:中国联通,ARM,中国移动,谐云,中国电信,时速云,JD.com,浙大SEL实验室,EMQ,InfoBlox,Inovex,Midokura等 KubeEdge代码目录概览 ADOPTERS就是我们社区的一些采纳者,比如说你用了KubeEdge,并且想成为参与者,建议者,你可以提一个PR,把你们写到这个ADOPTER里面去,下面的这些就是代码目录,主要就是cloud(云端)、edge(边缘端)、mappers(接入设备的mapper端),还有OWNERS是我们项目的一些matiner,主要负责核代码,比如你对我们社区贡献比较多,我们可以把你加到OWNERS,帮我们核代码和检视代码。 KubeEdge集群部署1、KubeEdge 集群部署工具—— keadm这个是借鉴了K8s的Kubeadm,可以一键部署KubeEdge集群,在部署KubeEdge集群时,要先装一个K8s的master,这个master用任何符合K8s的标准都可以,这个 keadm是基于K8s之上部署KubeEdge系统。 子命令参数:init:部署云端组件join:部署边缘端组件gettoken:从云端获取边缘端启动凭据reset:重置KubeEdge集群的云端和边缘端 2、KubeEdge 部署 —— 云端在已经装好的master上装我们的云端,用 init即可:重要参数:--kube-config:连接K8s Master的凭据--advertise-address:签发到边缘证书里的IP地址 3、KubeEdge 部署 —— 边缘端边缘端主要用我们的join命令:重要参数:--token:边缘端启动时访问云端的凭据--cloudcore-ipport:边缘端访问的云端IP地址
-
活动已结束,邮寄信息填写中!活动获奖结果什么时候公示,什么时候发放奖品,在哪里可以查看?主办方将在活动结束后按报名、奖品规则及活动参与信息整理获奖用户数据,并在本帖公示,请拉到帖子下方查看公示附件。请点击填写获奖邮寄信息。本次活动获奖名单公示时间为2021年11月11-14日,公示期结束后主办方将收集所有获奖人员奖品发放信息(需填写华为云账号、姓名、邮箱电话、邮寄地址等个人信息,如未在指定时间内填写则视为放弃领奖资格;本次活动邮寄信息收集为2021年11月15日-18日,主办方将在信息收集完整后的14个工作日内完成所有奖品发放。云原生2.0时代已经到来云原生技术的成熟正极大地影响着个人、企业乃至整个社会的生产生活方式。继《黄金系列》、《钻石系列》课程之后,在50000+黄金课程学员的呼声和期待下,华为云学院联合CNCF、华为云云原生团队重磅推出《华为云云原生王者之路集训营》王者系列课程。参与集训营活动,开展学习打卡与实战演练,赢取“价值200USD职业认证考试券、筋膜枪、华为手环4PRO、3D颈肩按丨摩丨披肩、罗技键鼠套装、沙箱实验点半价折扣券”等精美好礼!邀请好友一起参与活动,更有双重获奖机会,快来参与吧!完成本报名后请务必扫码备注“云原生”进学习群活动参与前提:<活动页面报名> +<一键报名学习路径:王者系列课程> 主活动:华为云云原生王者集训营来啦!-- 活动简介 -- 本集训营课程分为黄金、钻石和王者三阶段,从云原生基础知识介绍到最佳实践讲解、底层原理和方案架构深度剖析,层层深入,可满足不同云原生技术基础和学习目标人群的需求。本课程将理论与实践相结合,精选数十个企业典型应用场景,作为学员上机实践案例,帮助学员将所学技术快速与企业业务相结合,服务于企业生产。本课程视频全部免费!免费!免费!,实验环境由华为云云容器引擎提供。 活动报名:9月18日-11月7日,在此时间范围内皆可报名参与活动 课程学习:10月21日-11月2日 每日10:00课程解锁 目标学员:计算机、软件工程等专业的大学生、涉及Kubernetes、Istio等技术的应用开发者、其他的云原生技术兴趣爱好者当前活动为第3阶段:王者系列课程。相比1期黄金系列课程,2期钻石系列课程,3期王者系列课程为高阶版课程,对学员有一定学习基础要求,重点面向培养技术架构师和技术主管,如自身基础较薄弱,建议先提前预习黄金&钻石课程(已全部更新完毕)开始学习。 活动奖品:价值200USD职业认证考试券、筋膜枪、华为手环4PRO、3D颈肩按丨摩丨披肩、罗技键鼠套装、沙箱实验点半价折扣券--课程日历 -- 整体学习节奏: 第1阶段:活动招募开启+国庆假日挑战赛 → 第2阶段:黄金/钻石课程预习与回顾→ 第3阶段:王者课程开课打卡→ 第4阶段:实战演练与结营赛 -- 参与流程 -- ① <活动报名> & <王者系列课程报名>② 添加小助手微信(HWcloudedu)加群③ 完成任务赢积分(国庆假日挑战赛/课程学习+实战演练+微认证+结业考核+课程评价与心得)第1阶段:活动招募开启+国庆假日挑战赛 第2阶段:黄金/钻石课程预习与回顾 第3阶段:王者课程开课打卡 第4阶段:实战演练与结营赛④ 积分兑奖-- 获奖攻略 -- ⭐如何获取资料包?:有效邀请≥1名好友,即可获取《云原生资料包》,自10月8日起,小助手将在每周五为满足获奖条件的用户添加课程白名单,用户点击进入课程即可查看资料包并进行下载。⭐什么是有效邀请? :参与活动的邀请与被邀请用户需在华为云平台实名认证账号,并进行课程报名与学习,双方均需要参与学习任务打卡,且邀请人至少需完成沙箱/微认证任一个任务。⭐如何邀请好友?:点击 <活动报名> 后,点击 分享有礼 按钮即可生成专属海报邀请好友。⭐课程学习需要截图回帖打卡吗?:不需要截图、回帖、手动打卡,只需自行学习(报名当节课程,且该节课程学习进度100%),后台会自动记录和统计学员学习情况。 积分任务说明:完成积分打卡任务,获取该项任务积分,每项任务总分100分,最终按积分占比计算学习积分榜总排名,赢取相关奖品。学习阶段积分任务任务要求积分占比课前准备活动报名点击报名活动,并一键报名所有课程(获奖前提)——开营直播10月20日19:00-20:30观看开营直播,享微认证限时0元,参与互动抽取50元京东卡/10000码豆——课程学习课程学习每日课程学习打卡:报名当节课程,且该节课程学习进度100%(请注意,如课程跳看小于一定时长,即使前台展示100%,后台也不记录数据)20%实战演练沙箱实验自主开展沙箱实验《基于容器实现一分钟自动化部署》,且实验进度100%25%微认证活动时间内,学习微认证《一分钟自动化部署》并获取微认证证书,按最高考试成绩计算积分30%学习心得课程评价课程学习结束后,在课程后面输出有效课程评价,每门课程评价1次+7分,满分100分(学习心得、课程评价、讲师评价等有效评价内容,不少于50字)5%学习成果检验结营考试通过结营考试((11月3日开启,≥80分为通过,满分100分),获取华为云官方课程认证证书5%自主创建CCE集群开展实验点击开通指引学习,创建CCE集群,并根据课程内容自主开展相关实验,在本活动帖下回复”华为云账号+姓名+任务成功截图“进行打卡(如下示意图)。(帖子仅管理员可见)最终统计以本帖回复为准。前期参与钻石集训营已完成任务的学员,回复之前截图即可。15%活动结束结营直播11月2日晚19:00-20:30,观看结营直播并参与互动抽取50元京东卡/10000码豆——去【开通学习环境】回帖示范已结束(获奖公示中)——热身活动:国庆假日挑战赛-每日抽奖⭐挑战赛任务时间:9月19日-10月7日⭐挑战赛规则:用户需在抽奖前已完成“沙箱实验、微认证”任一任务,即可参与国庆假日挑战赛每日抽奖活动,该项任务积分将计入“王者课程集训营”中任务1:自主开展沙箱实验《基于容器实现一分钟自动化部署》,且实验进度100% (王者课程集训营活动积分占比25%)任务2:学习微认证《一分钟自动化部署》并获取微认证证书 (王者课程集训营活动积分占比30%)⭐奖项设置: 终极大礼,在此一抽 一等奖:价值200USD职业认证考试券(1张) 想买就买,不再犹豫 二等奖:价值200元京东卡(3张) 超级抢手,限量定制 三等奖:开发者定制收纳袋 ( 5个) 超高质量,人人想要 四等奖:开发者定制数据线 (21个) 超多好礼,人人普惠 五等奖:沙箱实验点半价折扣券 (500张) ⭐每日抽奖规则:1.10月1日-10月7日期间,小助手将每日转发抽奖链接至社群,用户可参与当日抽奖,未加群请加小助手微信HWcloudedu备注云原生加群。2.兑奖条件:用户需在抽奖前已完成“沙箱实验、微认证”任一任务,抽中后才完成任务则抽奖失效,不具备获奖资格,小助手将根据抽奖时间和任务完成时间进行校验。3.每人每日拥有1次抽奖机会,完成时间越早,抽奖次数越多,如小明在10月1日前,就完成了任务,则10月1日-7日,皆可参与抽奖,小红10月6日才完成任务,则仅可以参与10月6日和7日抽奖,每次抽奖可获取不同奖品,但相同奖品仅发放一次,不重复发放。⭐如何领取奖品:请在抽中奖品后,填写有效邮寄信息,方便主办方在核实兑奖条件后,为您发放奖品,奖品将在主活动结束后一同发放。如您抽中的为券类奖品:考试券、京东卡、折扣券等,因该类奖品无需邮寄,您可在填写地址信息时对地址进行模糊处理,并在详细地址信息处补充您的邮箱信息。考试券和京东卡,我们将通过邮箱为您发放,折扣券我们将通过华为云账号为您发放。 常见问题Q&A1、如何报名活动,拥有获奖资格?答:本次活动时间为2021年9月18日-11月7日,活动参与需点击报名活动,并一键报名所有课程(获奖前提);报名成功后务必添加小助手微信(HWcloudedu),备注“云原生”加群,本次活动不收取任何费用。2、活动奖品如何赢取?答:活动期间,用户可按奖项要求参与活动,在不同奖项中,用户皆有获奖资格,但若获得奖品为相同奖品,则仅发放1个该奖品,不重复/替换发放。3、如何邀请好友、获得邀友奖品?点击“立即报名”按钮完成报名后,点击“分享有礼”,将您的专属链接分享给好友,好友完成课程报名与学习即邀请成功。邀友奖说明:①按邀请人数排名发放奖品,每排名需满足最低邀请人数才可获取当级别奖品,如不满足,则奖品降至满足人数的一档,例:获取第一名奖品,邀请人数至少≥200,小明为积分榜第1名,但总邀请人数180人<200人,则获取总邀请榜第2名奖品(总邀请人至少≥150人)②有效邀请说明:参与活动的邀请与被邀请用户需在华为云平台实名认证账号,并进行课程报名与学习,双方均需要参与学习任务打卡,且邀请人至少需完成沙箱/微认证任一个任务。4、活动获奖结果什么时候公示,什么时候发放奖品,在哪里可以查看?主办方将在活动结束后按报名、奖品规则及活动参与信息整理获奖用户数据,并在本帖公示,本次活动获奖名单公示时间为2021年11月11-14日,公示期结束后主办方将收集所有获奖人员奖品发放信息(需填写华为云账号、姓名、邮箱电话、邮寄地址等个人信息,如未在指定时间内填写则视为放弃领奖资格;本次活动邮寄信息收集为2021年11月15日-18日,主办方将在信息收集完整后的14个工作日内完成所有奖品发放。【实物奖品】获奖结果公示结束后,将按照实际获奖情况收集获奖用户邮寄信息,并统一发出奖品,所有实物奖品包邮,不额外收取任何费用。由于获奖用户自身原因(包括但不限于提供的联系方式有误、身份不符等)造成奖品无法发送的,视为获奖用户放弃领奖;在适用的法律法规允许范围内,为确保奖品顺利发放,受限于奖品当时的库存状况等,华为有权对上述事项进行调整(如奖品以实际发放为准,价格不低于示例奖品)并向您提前告知。【券类奖品】获奖结果公示结束后,代金券及折扣券类奖品,主办方将直接将券发放至您报名参与活动的华为云账号,发放成功后,可直接使用。请在30天内使用,使用方法见【操作指引】华为云微认证购买流程指引(使用代金券),过期无效。如发放失败,则将在本帖进行公示,在主办方公示7天内反馈,可进行奖券补发,过期无效。职业认证考试券,京东卡等奖品,奖品券码及使用指引将一起发送至用户邮箱。【码豆】码豆可在码豆会员中心兑换实物礼品,用户可以通过完成任务赚取码豆,累积码豆越多,可兑换的礼品越丰富,华为荣耀畅玩手环、蓝牙音箱等精美礼品等你带回家~为保证码豆成功发放,请先登录一次会员中心。(如修改过账号名请提前联系活动负责人并告知修改前后的账号名)。用户参与活动获取码豆,在获奖公示结束后跟随所有奖品一起发放。若发放失败,主办方将在本帖进行公示,在7个工作日内回复正确账号,可以补发,过期无效。【资料包】有效邀请≥1名好友,即可获取《云原生资料包》,自10月8日起,小助手将在每周五为满足获奖条件的用户添加课程白名单,用户点击进入课程即可查看资料包并进行下载。5、抽奖奖品如何抽奖、发放、领取及使用?【假日挑战赛】活动抽奖,将通过微信抽奖展开,请按活动规则及工作人员微信群指引,参与抽奖活动。【学习积分奖】抽奖及【阶段实操奖】抽奖,主办方将在本活动结束后,使用巨公摇号抽奖平台在所有满足抽奖规则的人中抽取,抽奖名单将2021年11月11-14日在本帖进行公示。6、本次活动的主办方是谁?华为云计算有限公司 (华为云学院,有问题可以添加小助手微信HWcloudedu咨询) 其他活动参与须知1、每位参加活动的用户理解并同意,为联系用户以及奖品发放的需要,用户报名参加本次活动时与用户在获奖后通过填写邮寄信息问卷时,华为云学院需收集您提供的华为云账号、姓名、邮箱、联系方式、邮寄地址真实个人信息(如未在规定时间内填写信息视为放弃领奖资格)。活动主办方收集该等个人信息会转移给礼品发放的快递供应商公司负责具体执行礼品的邮递服务。收集的该等个人信息会自奖品寄出及发放结束后(为防止奖品遗失等突发情况)保留30个自然日用于邮寄快递服务、通过邮箱发放考券等,自该期限届满后,该等所有数据会被删除或者销毁,在主办方持有该个人数据期间,用户可以联系华为云学院按照法律规定履行数据主体的权利,包括但不限于撤销同意、请求删除、访问、查阅或者复制、更正或者补充、删除、知情权、决定权、您有权要求我们对您的个人信息处理规则进行解释说明。若需行使上述权利,联系方式请见《隐私政策声明》。2、为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为),利用资源从事违法违规行为的用户收回奖励资格。3、本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。上述更新、修改或删除于公布时即时生效,用户应当主动查阅本活动规则的最新内容;所有参加本活动的用户,均视为认可并自觉遵守《华为云用户协议》、《可接受的使用政策》、《隐私政策声明》。
-
随着云原生技术的普及,使用Kubernetes部署应用已经成为常态,越来越多的企业已经步入多集群时代。随着集群数量的增长,对集群的运维、管理带来了新的挑战:集群繁多的重复劳动:运维工程师需要应对繁琐的集群配置、不同云厂商集群间的管理差异以及碎片化的API访问入口等问题;业务过度分散的维护难题:应用在各集群的差异化配置繁琐;业务跨云访问以及集群间的应用同步难以管理。集群的边界限制:应用的可用性受限于集群;资源调度、弹性伸缩受限于集群。厂商绑定:业务部署的黏性问题,缺少自动化故障迁移;缺少中立的开源多云容器编排项目。 Karmada结合了华为云多云容器平台MCP以及Kubernetes Federation核心实践,并融入了众多新技术:包括Kubernetes原生API支持、多层级高可用部署、多集群自动故障迁移、多集群应用自动伸缩、多集群服务发现等,并且提供原生Kubernetes平滑演进路径,让基于Karmada的多云方案无缝融入云原生技术生态,为企业提供从单集群到多云架构的平滑演进方案。Karmada项目全景上图为Karmada在开源社区技术全景,区别于kubefed只做多集群应用分发的局限,Karmada将以模块化的方式提供应用多集群部署、高可用调度、故障迁移、多集群服务发现和流量治理、多云集群生命周期管理等能力集,并面向多种典型的用户场景预置策略集,让用户可以结合企业实际情况自由定制适合自身的多云平台。 2、Karmada关键1)Kubernetes 原生 API兼容既有应用配置及基础设施无需改造,由单集群架构平滑升级到多集群(多云)架构,无缝集成Kubernetes现有工具链生态2)开箱即用面向多场景的内置策略集,包括两地三中心、同城双活、异地容灾等支持应用的跨集群上的自动伸缩、故障迁移和负载均衡3)集中式管理提供地域无关的集中式集群管理支持公有云、私有云或边缘集群4)丰富的多集群调度策略多集群亲和性调度、应用跨集群拆分、资源重新平衡多维度多层次的高可用部署:区域/可用区/集群/供应商等5)开放中立由多家互联网、金融、制造业、电信、云服务厂商共同发起以 CNCF 的开放治理为目标 3、Karmada架构设计Karmada 控制平面由以下几个组件组成:API 服务器(Karmada API Server)控制管理器(Karmada Controller Manager )调度器 (Karmada Scheduler)Karmada通过独立的API 服务器(Karmada API Server)提供与其他组件进行通信的 REST 接口,包含Kubernetes原生API及Karmada扩展API,而Karmada 控制管理器根据用户创建的 API 对象执行操作, Karmada 调度器则实现应用在多集群中的调度。Karmada 控制器运行各种控制器,控制器监视Karmada 的对象,然后与底层集群的 API 服务器通信,对Kubernetes资源进行全生命周期管理。集群控制器:聚焦集群管理,将 Kubernetes 集群附加到 Karmada,通过创建集群对象管理集群的生命周期。策略控制器:实现PropagationPolicy对象的生命周期。根据 PropagationPolicy中的resourceSelector 匹配对应Kubernetes资源对象,并为创建ResourceBinding以进行应用多集群调度。绑定控制器:实现 ResourceBinding 对象的生命周期,根据调度器的角度结果,为每个调度到目标集群的对应资源创建Work 对象;执行控制器:负责work对象与成员集群中实际资源对象的状态同步。 4、未来展望Karmada计划在今年Q4完成整体技术栈的能力开发,发布1.0版本,并捐赠CNCF。 小红书技术部负责人张雷表示:“小红书一直努力为云原生产业发展贡献自己的力量,希望通过Karmada项目,把小红书构建多云业务的实践经验贡献给社区,让更多企业能享受云原生技术的红利。”CNCF总经理Priyanka Sharma也对Karmada项目的开源作出了回应:“华为一直是云原生社区与开发者生态的重要参与者,此次发布的Karmada对所有企业构建多云业务架构至关重要,希望未来CNCF与华为云继续密切合作,持续帮助广大云原生开发者。” 未来,我们也希望越来越多的开发者能加入Karmada社区,共建多云生态!关于 Karmada 的更多技术细节,请查看项目仓库 https://github.com/karmada-io/karmada扫码添加小助手,发送“karmada”加群社区专家入驻,技术问题随时答疑
-
首先,为你认真学习、坚持不懈的态度点个赞。现华为云学院进行“华为云云原生王者之路集训营心得集锦”征集欢迎您积极分享您的云原生学习笔记学练考心得训练营参后感技术干货等相关内容(不少于500字,感情饱满,自然流露)我们将精选您的分享内容,推送至华为云学院华为云社区华为云论坛华为云相关微信公众号等各大官方平台为您的学习经历“添光添彩”让你上“墙”,给你“好看”参与方式:以【我的云原生王者之路集训营:xxxx】为主题,在华为云学院论坛发帖,或直接发送内容至邮箱:huaweicloudedu@huawei.com,非常期待您的发帖。
-
基于容器和无服务器平台的云原生应用在正在快速地被全球的组织所部署。虽然说云原生应用会带来易延展性、无与伦比的韧性、以及快捷的开发速度,云原生应用同样会带来挑战。云原生应用会有大量的可移动成分,并且基于那些短暂的架构组件。这就会给运营和维护产生难度;除此以外,自然还有安全隐患。云原生安全需要新的解决思路、策略和工具。这里,有五个可以帮助改善企业云原生安全的小建议。什么是云原生?云原生应用为云而创建,而且整个软件开发生命周期——开发、部署、测试和升级,都会在云环境完成。“云”的概念不局限于公有云,也可以意味着远程和本地资源都有的混合云或者超过一个云供应商的多云环境。云原生计算基金会(CNCF)认为三种工具应该用于云原生计算中:容器化、微服务结构和动态编排。容器化意味着软件和其关联依赖绑定,从而实现软件可移动、可扩展;动态编排包括了使用Kubernetes等工具管理云端容器;而微服务结构能够优化资源。容器能够被另一项云原生计算能力——无服务器功能所替代。云原生的安全挑战云原生应用给基础设施和应用安全带来了额外挑战。以下是一些关键挑战:多个需要保护的实体:DevOps团队和基础设施团队会使用微服务来运行云原生应用。在过去,多个进程或者软件功能会在一个虚拟机上运行。现在,每个进程或者能力都会被包装成分离的容器或者无服务器功能。每个实体都易于被攻破,因此需要全开发周期的防护。多样的结构:云原生系统会涉及很多公有云和私有云、云服务、以及应用结构。每个结构都有不同的隐患和安全需求。安全团队必须理解这一复杂的攻击面,并且为每个不同的结构找到解决方案。不断变化的环境:公有云和私有云环境在持续变化。快速的软件发布周期意味着微服务应用的每个组件都必须每日进行升级。另外,使用不可变性和基础设施即代码意味着应用会被持续分解并重构。安全团队会发现很难在不减缓发布周期的情况下,保护这些技术应用。如何保护云原生应用有多种保护云原生应用的方式,包括:安全左移、在函数和容器级别应用边界安全、贯彻最小角色和最低权限、保护应用依赖,以及安全共责。1. 安全左移许多企业依然在使用已有的工具,却无法处理云原生应用环境的速度、规模和动态网络。如果再加上无服务器功能,会让整个基础设施变得更抽象,让问题更严重。网络攻击者会寻找容器和无服务器代码中的隐患,以及云基础设施中的错误配置,以接入包含敏感信息的实体,再用它们提升权限,攻击其他实体。另一个问题是企业在用CI/CD工具持续开发、测试和发布应用。当使用容器部署云原生应用的时候,开发者会从本地或者公共库当中获取镜像,但一般不会检查这些镜像是否包含安全隐患。一种解决方案是给安全团队提供一些工具,阻止不受信任的镜像进入CI/CD管道,以及启用一些机制让不受信任的镜像在进入生产前就避免产生安全问题。通过在开发流程早期扫描镜像的漏洞、恶意软件成分等,开发者可以贯彻安全标准。2. 在函数和容器级别应用边界安全在无服务器应用中,系统会被分解成几个能从不同资源接受项目触发的可调用组件。这就给了攻击者更大的攻击选择,以及更多实施恶意行为的途径。一个很重要的方式是使用为云原生环境而制作的API和应用安全工具。除此以外,一个很普遍的操作是在功能级别使用边界安全——识别功能是否被一个和平时不同的来源所触发,然后监控事件触发中存在的异常情况。在容器化环境里,一个重要点是在不同级别都要实现安全——编排控制面板、物理主机、pod和容器。编排的一些最佳安全实践包括节点隔离、限制和监测容器之间的流量、以及对API服务器使用第三方认证机制。3. 最小角色与最低权限云原生资源之间会有大量频繁的交互。如果能够对每个无服务器功能或者容易都能配置一些独特的许可,就能有极大概率提升安全性。可以通过基于每个函数使用IAM,或者对容器进行颗粒度的许可,加强接入控制。花一点时间创建最小角色,或者为每个函数或容器创建一系列的许可。这就确保了即使云原生结构中有一个点失陷,其造成的危害也是最小的,并且会防止其他元件产生提权问题。4. 保护应用依赖无服务器函数和应用的代码经常从npm或者PyPI的库中获取有依赖关系的包。为了保护应用的依赖,就需要包括完整开源组件以及其漏洞数据库的自动化工具。同样,还需要能够在开发流程中触发安全行为的云原生编排工具。通过持续运作这些工具,就可以防范产线上运行的有隐患的代码包或者容器。5. 安全共责在开发者、DevOps和安全团队之间建立亲密的关系。开发者并不是安全专家,但他们可以被教导安全操作知识,从而确保他们可以安全地编写代码。安全团队应该知道应用是如何开发、测试和部署的,还有哪些工具在流程中被使用,从而安全团队能够在这些流程中有效地加入安全元素。云原生要求各种企业管理安全和开发的方式,因此尽快让不同团队减少隔阂至关重要。云原生的启用对企业来说是一个形成合作和共享文化的罕见契机。结论这篇文章提及了云原生面临的挑战,包括大量需要保护的实体,以及持续变化的环境和结构。同样,也给出了五个能够改善云原生环境的最佳实践:安全左移,在问题进入产线前进行规避。在函数和容器级别应用边界安全。对云原生应用中的实体实行最小角色和最低权限。保护好应用依赖。鼓励开发、运营和安全团队之间的安全共责。点评业务节奏加快使得无服务器应用等云原生应用会越来越多被企业所启用,云原生的安全也会更多被注意。不难发现,本文提到的五个安全建议中,软件安全相关的建议占了大部分:无论是安全左移、应用依赖的防护、还是实现DevSecOps整个安全协同,最终都离不开开发安全相关。这一点来看,DevSecOps和API安全的重要性都会随着云原生的使用进一步地提升。来源:https://netsecurity.51cto.com/art/202108/677745.htm
-
2013年,一位来自著名PaaS云服务公司Pivotal的程序员Matt Stine提出“CloudNative”概念,云原生这个小众且深刻的名字从此流传开来。经过两年的积累,2015年云原生计算基金会(CNCF)成立。这个由Google等大公司牵头成立的厂商中立基金会,在云原生应用推广普及方面起到不可或缺的作用。随着云原生概念不断演进,整个云计算市场对它关注度逐渐提升。业内普遍认为2020年应被看作云原生的元年,大量云服务厂商对外声称可以对企业进行云原生应用的迭代更新,从而实现云平台设施弹性伸缩、动态调度、优化资源利用率等优势,然而事实真的如此吗?感性来看,云原生是基于“未来的软件一定生长于云上”这一理念,对未来云平台发展路径提出的美好畅想。但是作为产业观察者,我们需要进行一系列问题的思考:首先,云原生到底应该被定义为一项技术,还是一种方法论抑或是多项技术总和的体系?其次,云原生改革更新背后的动力和原因具体是什么?而我们应该如何去对现有的云平台进行云原生化布局?最后,是否涉及具体赛道布局云原生的优先级顺序?在思考这些问题之前,我们可以回溯历史长河中技术革新事件,用来和当下云原生的火热市场情况进行类比。一回到1866年的德国,西门子制成发电机。实际可用的发电机在19世纪70年代问世,这标志着电能转为机械能已成为现实,电力可以被用来带动机器,成为补充或取代蒸汽动力的“新能源”。有趣的是直到1900年,全美仍然只有不到5%的工厂使用电力作为主要能源,坚持使用蒸汽能源和配套设备成为业内常态。对于工厂来说,电气时代的开始依旧属于蒸汽时代。与当下现代化工厂截然不同,当时以蒸汽机为主的工厂,所有的动力传输都依靠一根长度超过厂房的巨大传动轴实现。传动轴系统除分配动力的主轴外,副轴、皮带和齿轮的协同作用不可或缺,此外锤子、冲床、压床等设备相互配合才能完成动力系统的整体组成。这样一种高度耦合化的系统,造成了只要有一台设备需要运行、作为动力源头的蒸汽机就不能停下的窘境。同时复杂系统带来的是使用成本提高和危险性增加,由于遇险时蒸汽机无法及时停下,19世纪后叶丧生于工厂制造流程的工人不计其数。在这样的内因外压下,小部分工厂注意到市场上存在更加清洁和现代化的电气机器。他们付出高额置换成本后,将蒸汽机换成电动机,然而令人遗憾的是,这并没有带来相对应的收益。因此绝大多数工厂依然坚持使用蒸汽机,这也造就了之前提到1900年“电气时代中的蒸汽时代”这一情况。究其原因,想要发挥电动机的全部优势,单单把原来的蒸汽机替换为电动机是远远不够的,更要求工厂转换运营的思维模式。在蒸汽时代中人服务于机器,只要机器运行状态良好,工人的资质技术以及数量都对产出效率影响有限;电气时代恰恰相反,电气化设备允许工厂将视线从围绕传动轴的动力系统,逐渐转向工人工作效率和合作能力的提升。蒸汽时代中,动力源泉蒸汽机和巨大传动轴是核心;而在新式的电气工厂中,优秀工人才是核心。我们时常会将生产效率或幸福程度的巨大提升归功于新技术的生产应用,但历史结论反复验证——真正的进步常常晚于新技术的诞生,我们需要更长的时间去思考这样的新技术对既有规则的冲击与影响。如何在信息乱流中找到改革的真正价值所在,是达到并超过预期的基础条件。回到云原生的讨论上,早期“云”这个概念吸引了大量来自学术界、企业的视线。为了降低企业上云的难度,使上云流程标准化,云服务厂商通常会采用直接迁移(Lift and Shift)的方式。这种方式实施成本低、风险小、流程短,为早期上云策略提供了发展的基础环境。将本地数据的精准副本搬运上云的底层逻辑,就如同100多年前电动机替代蒸汽机的复刻。在这种相对简单的上云方式下,云计算的收益并不能最大化体现,公有云的使用成本相比本地部署的服务器并没有显著下降。这样的迭代问题和云服务商当前所谓的解决方案,在呼吁企业向云原生进发的路程中,以似曾相识的方式显现出来。二云原生时代,产业、企业在云原生体系搭建过程中是否应该遵循某些先后顺序呢?一拥而上的更新部署是否真的可以达到企业降本增效的目的呢?想去回答这个问题,不得不回到云原生的核心优势上。云原生CloudNative是组合词,Cloud指是以云计算为基础,Native指为云而设计,Cloud Native指充分利用、发挥云平台的弹性与分布式优势。亿欧智库认为,云原生是一种构建和运行应用程序的技术体系和方法论,云原生特质可以被简单概括为容器化+微服务+DevOps+持续交付。由此我们会发现,单单把它看作一项技术是不准确的。既然不是单纯的技术更新,简单粗暴地用电气机代替蒸汽机的方式是不可行的。云原生在合理利用云计算作为底层技术后,应该从重点技术出发,挖掘平台云原生化的步骤逻辑。平台云原生化的布局不能成为无根之水,在着手更新之前企业应当了解云原生化的平台到底和原先的平台有什么的区别与改进。从产业效用方面来看,云原生极大释放云的红利、充分继承云的设计思想,未来应用将更多基于云上进行本土应用开发,即云原生应用更加适合云的架构。而云计算也为云原生应用提供较好的基础支撑,如资源隔离、分布式、高可用等,云计算的拐点已至,云原生成为驱动业务增长的重要引擎。同时云原生作为支撑数字化转型的重要技术,逐渐在人工智能、大数据、边缘计算、5G 等新兴领域崭露头角,成为驱动数字基础设施的强大引擎。伴随全行业上云的逐步深化,企业云原生化转型进程将进一步加速。从技术特征方面来看,云原生技术架构具备以下典型特征:极致的弹性能力,不同于虚拟机分钟级的弹性响应,以容器云技术为基础的云原生技术架构可实现秒级甚至毫秒级的弹性响应;服务自治故障自愈能力,基于云原生技术栈构建的平台具有高度自动化的分发调度调谐机制,可实现应用故障的自动摘除与重构,具有极强的自愈能力及随意处置性;大规模可复制能力,可实现跨区域、跨平台甚至跨服务商的规模化复制部署能力。从应用价值方面来看,异构资源标准化,容器技术有效解决了异构环境的部署一致性问题,为服务化、自动化提供了基础;加速数字基础设施升级并解放生产力,降低用户数字化技术的使用门槛,提高资源的复合利用率,变革研发运营的生产方式,打破组织壁垒,实现研发与运维的跨域协同,提升交付效率;提升业务应用的迭代速度,赋能业务创新。云原生技术实现了应用的敏捷开发,大幅提升交付速度,降低业务试错成本,高效响应用户需求,增强用户体验加速业务创新。以上几点,使得云原生这一技术体系正受到市场的广泛欢迎。至于如何对云平台进行云原生化的部署更新,亿欧智库认为可以从这几项技术和理念入手。容器云技术催生云原生应用,它便于调试、开发、部署、运维、迁移、扩容的优势,可以很好地与云弹性能力相结合,最大化发挥云的效能和价值。作为SaaS模式呈现,且可被客户获取的微服务,它的特点是可以独立修改、更新、迭代,多个微服务之间不会相互干扰,总体来说是种松耦合的架构。由此看出微服务的特性和容器技术优势相辅相成,容器化成为微服务成长发展的温床。企业想要进行云原生改革,单从技术角度出发是不够全面的,企业开发及运维团队也必须同时进行多项变革,以便更加快速高效地构建和部署应用。通过切实遵循DevOps的原则和文化价值,周全考虑各种活动、技术、团队和流程,企业最终可以实现从瀑布式发布向持续发布的积极转变。三最后一个问题,在企业布局云原生改革期间,哪些具体赛道有更强的优先级?亿欧智库发现,优先级最高的应该是硬件架构异质化严重、对于平台更新与弹性扩容需求高的金融赛道,原因有方面。其一,过去二十多年间,金融机构经历多次硬件架构升级改造,异类硬件设备串联使用导致系统内部资源异质化严重,资源利用效率有限。而容器云可以实现跨网络、设备的节点管理,强大的兼容能力使得金融机构更好的统筹兼顾开发、测试、生产以及信息管理环境。其二,云原生可以很好地解决金融行业出现的集中成交金融产品导致并发场景失衡情况。不难看出金融机构会经历集中抢购、集中交易的高频率高并发场景,扩容问题难以避免。云原生弹性扩容一方面满足峰谷效应带来的波动性影响,同时最大程度上减少金融企业在扩容成本上的消耗。总体来看,云原生体系的优势毋庸置疑。从底层技术来看,云原生天身继承云的设计理念,且更加适合云的架构。在云计算已经相对成熟的今天,云原生配合5G、人工智能、云边端协同等新兴领域技术,也将成为支撑数字化转型的重要技术体系基石之一。从应用价值来看,峰谷效应的有效缓解、微服务的体验升级、开发运维一体化的文化形成都将成为云原生体系在金融行业进一步发光发热的体现。【责任编辑:赵宁宁 TEL:(010)68476606】来源:https://cloud.51cto.com/art/202108/678322.htm
-
一个时代有一个时代的基调,“Open Source is eating the world”的声音言犹在耳,一个属于云计算的时代早就不经意来临。十年前,中国的云计算市场尚处于襁褓之中,市场规模只有10余亿。此后十年,云计算市场迎来爆发式增长,年均增速超过50%,2020年市场规模已超过2000亿元,成为中国数字化升级的“顶梁柱”产业。倏忽十载,云计算产业从弱小到强大,从单一的云基础服务裂变为混合云、云原生、云安全等更契合企业业务需求的多元云服务,迈进了百花齐放的大繁荣时代。随着中国企业数字化转型不断深入,云计算已经脱离简单的市场扩张、让企业上云用云的早期阶段,逐步进入到云原生重构IT架构、上云用云兼顾优化治理、原生安全加速应用的深水区。如今,云计算走到了哪个阶段?企业应该加强哪些方面的云计算能力?如何将自身业务与云计算更好地衔接融合?近日,在2021可信云大会上,中国信息通信研究院云计算与大数据研究所所长何宝宏、中国信通院云计算与大数据研究所副所长栗蔚共同就云计算十年来的发展脉络回顾总结,对云计算产业发展的变革趋势进行全面剖析,并就云计算未来趋势开展深入解读。中国信息通信研究院云计算与大数据研究所所长何宝宏数字化转型迎来分水岭云原生加速重构IT基础设施近两年,“云原生”堪称云计算领域最热的名词之一,其出现不仅将原有IT基础设施重构为云原生基础设施,提供更高效的资源,还为企业打造更敏捷的应用开发、交付运维能力,加速企业应用的敏捷创新。从简单迁移上云的“On Cloud”到在云上基于云原生而重构企业应用的“In Cloud”,云原生成为数字化转型的重要分水岭,其要求企业既要继承过去,又要连接未来;既要立而不破,又要持续进化。根据IDC预计,到2022年,90%的新应用将采用微服务架构,35%的生产环境应用是云原生。此外,在Gartner的报告中,云原生技术也正在向应用场景、技术、生态三个方面快速演进,并将扩展到更多应用场景,比如在混合云和多云管理领域,以及边缘层的应用等。在应用价值方面,云原生能够支撑业务应用的通用技术能力下沉到基础设施,在业务应用完整生命周期中提供持续稳定服务,最大化实现云的价值,让企业在资源配置、产品交付、系统架构等方面获得更高的效能,从而可以将更多精力放在业务视角的响应、分析和决策中,使企业在竞争激烈、需求多变的市场环境中具有更强的创新优势。对于这一趋势,何宝宏表示,企业对于竞争的核心诉求正在转到注重商业模式的改变、快速感知并响应用户的需求,这在很大程度上将倒逼技术架构变革,使架构的支撑焦点由资源转向应用。为此,云原生将在发挥云计算应用价值方面产生积极作用。未来,无论是ERP、CRM等系统应用还是底层IT基础设施,都会越来越趋向于云原生,这将是近些年云计算最大的趋势。不同企业实现应用现代化的路线各不一样,例如:有先进行容器化改造的,有先做微服务架构改造的,也有直接在上云迁移的过程中同步实现微服务改造的,另加之企业内部环境各不一样,所以企业在实现应用现代化进程中遇到的挑战也不尽相同。他们往往会面临很多挑战,包括:如何让运转着的旧系统和新应用之间做到无缝的衔接?如何快速敏捷地完成应用的集成,以提高可持续的交付能力?以及如何在混合多云环境下,最大程度地降低架构转型的技术风险等。在栗蔚看来,云计算融合新技术,带动云原生进入黄金发展期。云原生融合新型信息技术,改变数、智、算的应用方式。云原生带动技术架构、应用效能、云化效益的全方位提升,传统行业用户逐步对外围系统、次核心系统、核心系统进行不同程度的云原生化改造。云原生进一步降低技术门槛,深化云数融合、云智融合、高性能计算的发展,推动云数智高质量融合发展。中国信通院云计算与大数据研究所副所长栗蔚注重云计算应用效能优化治理成为企业上云后突出诉求中国信通院最新发布的《云计算白皮书》显示,2020年云计算市场整体规模达到2091亿元,增速56.6%。对于很多企业,应用云计算为企业提升了管理效能,但也带来了相当大的复杂性。如果没有适当地策略,可能会妨碍业务的正常运行。所以随着企业用云程度的加深,企业关注点从开始上云的咨询、迁移,逐步地转到上云后的优化。企业需要仔细考虑如何管理、优化和使用云计算服务,从而可以通过降低云管理成本,进一步提升业务的数字化转型效果。对此,云优化治理成为很多企业上云后改善性能、降低成本、提升效率的主要选择,其能够给企业上云策略制定、线路规划、采用实施、云上优化进行全生命周期的优化提升,为企业数字化转型提供新的动力。在谈及云优化治理将如何发挥作用时,何宝宏认为,企业在上云过程中对价格、安全、服务能力等尤为关注,对云品牌的关注度反而降低,这也反映出企业在云计算应用方面的理念日趋成熟。优化治理是云计算永恒的主题,相比以前关注重心只停留在基础设施层面,现在更多地落到应用层面,优化治理不仅能够改善企业上云后在性能、应用、架构等方面的能力,还将充分发挥云计算的效能和价值,让企业更懂云、更好用云。
-
“五年前,我很多客户的平均数据量大约为10TB,以ERP、CRM等数据为主;今天,客户的数据量达到PB级已成新常态,像零售、金融等行业,除了ERP、CRM这些结构化数据之外,还有大量各种行为/社交数据;另外,基于数据驱动的应用场景正在迅速增加,与数据相关操作的复杂性远超以往。此刻,数据上云已是大势所趋、不可阻挡,必须借助云来解决相关问题。”一位聚焦大数据落地的一线行业ISV如是说。的确,随着《关于构建更加完善的要素市场化配置体制机制的意见》首次新增数据要素,在大数据时代下,如何加速发挥数据要素的价值已然成为共识。数据不仅是数字化转型和智能化升级的基础,更成为重塑业务流程与决策方式的关键所在。华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳在6月18日华为云TechWave全球技术峰会(人工智能&数据)上提出了自己的看法:企业实现全面云化、全栈智能的三大关键在于:一,全面拥抱云原生;二,数据驱动决策;三,AI工业化开发。这就需要“围绕数据全生命周期技术创新,激发数据潜能,让数据成为新的生产要素。”当下,的确到了重新认识、理解和应用数据的新阶段。然而,在数字经济蓬勃发展的大趋势下,真正引领数据应用理念、加速数据价值落地的并不是传统存储厂商,也不是开源厂商,而是以华为云为代表的云服务商。云服务商们在千行百业的场景中不断锤炼,所面对的数据规模、数据复杂度、数据处理难度、数据挖掘难度无出其右,也让自身在数据要素落地之路上脱颖而出。数据驱动下的暗流涌动有人曾言:数据如水,它既可以形成大江大河,滋润万物生长;亦能汇聚成连片沼泽孤岛,使人深陷其中。这形象地说明了数据所带来的两面性,而决定因素是数据处理机制。众所周知,因为数据规模、数据类型今非昔比,使得数据的“采、存、算、管、用”等加工处理过程面临着前所未有的挑战,亟需新的数据处理机制来应对。首先,数据产生源、数据类型、数据量都发生了翻天覆地的变化。以数据产生源为例,机器正在成为产生数据的主力军,一辆L4级别的自动驾驶汽车一天可以产生60TB数据量,这还不包括自动驾驶训练算法每天通过训练产生的大量数据;又如,OpenAI去年五月发布的GPT-3模型,光模型参数就高达1750亿个,预训练数据量高达45TB,比上一代模型足足高了100倍……种种例子数不胜数,充分反应出数据处理能力要求的变化。其次,数据操作复杂性今非昔比。大量半结构化/非结构化数据并存、数据分析越来越细化、数据分析链路长、数据操作集成度差,使得在海量数据规模的环境中,数据移动、数据访问活动的授权、管理和审计等一系列数据操作变得困难重重。有人甚至形象地称之为数据重力现象,即随着数据量一直膨胀所带来数据往来、移动操作变得愈加复杂与困难。第三,基于数据驱动型应用正在井喷,并且正在深刻改变着业务流程和决策模式。以金融营销为例,过去依赖本地数据仓库分析来制定营销方案,数据模型范式有要求、维度单一、实时性差,营销方案分析维度少、业务响应差。如今的金融营销,则构建在基于数据驱动的场景之上,收集用户各种维度的相关数据,充分利用云上的资源优势进行训练模型,实现精准营销和数据价值闭环,实时调整营销策略……类似的情况在千行百业中如雨后春笋。因此,将数据存得下、流得动、算得快、用得好,真正构建基于数据的核心能力并不是一件容易的事情。为此,华为云在本次峰会上提出了“DIGITS”设计理念。所谓“DIGITS”即是围绕数据的全生命周期,构建云原生数据平台,实现数据的全域整合(Integration)、统一治理(Governance)和智能(Intelligence),让用户能够基于可信数据(Trustworthy)进行探索发现(Search & Discovery),驱动业务决策(Decision),激发数据潜能。“围绕数据这个核心生产要素,充分发掘数据价值,从单点技术创新,走向系统性的技术创新。”石冀琳表示道。基于DIGITS理念,华为云通过数据使能DAYU,围绕数据全生命周期提供一站式解决方案,实现从咨询到实施再到技术平台的端到端全生命周期数据管理。华为云FusionInsight:持续成长今年以来,数据驱动、云原生数据湖、湖仓一体等热门词汇成为业界关注的焦点。究其原因,本质上是随着企业上云成为大势所趋之后,大量应用迁移到云中,以及大量基于云的新应用诞生,对于数据“采、存、算、管、用”全生命周期的管理有着急迫的需求。为此,华为云FusionInsight智能数据湖迅速获得企业用户的广泛关注,其所提供湖仓一体的数据解决方案,可以帮助客户构建云原生数据湖,实现数据全生命周期的管理。华为云架构与技术规划部部长朱海培认为,业界围绕数据已经具备了很好和成熟的引擎、工具和平台,但这些工具与平台都是独立成体系,诞生之初为某一类场景而设计;当客户上云之后,面临的是场景多元化,针对不同需求需要运用不同的引擎/工具,需要有解决方案以全局角度来帮助用户,这也是为何湖仓一体现在很热的关键。“当数据规模达到一定阶段后,过去针对单点或者单个场景的引擎/工具一定会出现瓶颈。”朱海培补充道,“以存储引擎为例,大数据存储引擎、Flink存储引擎、Spark引擎都有一份数据,数据搬迁、数据操作复杂度高,浪费存储空间,数据一致性也是挑战。”华为云FusionInsight提供湖仓一体的数据底座,通过底层OBS统一数据存储,全局一份数据无需搬迁;一个平台多引擎支持批处理、流处理、交互式查询等;元数据统一管理,全局一个视图,像管理代码一样管理数据。为进一步丰富自身的数据技术能力和解决方案完整度,加速帮助用户实现数据全生命周期的管理,华为云在本次峰会上还宣布云原生数据湖统一数据平台MRS、云原生数据湖Serverless数据湖探索DLI、实时数仓GaussDB(DWS)、金融级分布式云原生数据库GaussDB(for openGauss) 等4款数据新品正式规模商用。具体来看:云原生数据湖统一数据平台MRS,为客户提供湖仓一体的统一数据平台,让客户在一个架构下实现离线、实时、逻辑数据湖,释放海量数据价值,业务洞见更准;云原生数据湖Serverless数据湖探索DLI提供基于Serverless的融合处理分析服务,企业可轻松完成多数据源的联合计算分析,挖掘和探索数据价值;实时数仓GaussDB(DWS)提供即开即用、可扩展且完全托管的分析型数据仓库服务,支撑高并发高性能实时数据分析,能够满足互联网、物联网等场景用户实时推荐、实时风控、实时监测、精准营销等数据实时处理需求,提升企业竞争力;金融级分布式云原生数据库GaussDB(for openGauss),是华为结合云原生与AI的技术打造的金融级分布式数据库,具备混合业务负载处理的高性能、高可用、弹性扩展、全密态、AI-Native自治五大关键能力,主打金融政企核心交易、企业生产系统等关键业务场景。显然,过去耕耘政企市场多年,使得华为云对于数据处理与治理的理解更加深入,也更加契合用户实际需求。例如,朱海培就强调,华为云的视角会更加聚焦在用户混合场景下的数据统一处理与治理的难题。对于广大政企用户而言,多云环境显然是未来相当长时间内的标配,多云环境下的数据处理与治理更加考验云服务商解决方案的能力。例如,云原生数据湖统一数据平台MRS,就可以通过一个架构实现逻辑、实时、离线三种数据湖,很好满足混合场景的需求。朱海培表示,“展望未来,我们也希望能更好地帮助用户实现数据的融合,从本次MRS、DWS等新品中,大家可以看到这些产品基于统一存储、统一元数据、统一管理的技术特性已逐渐呈现出来,华为云接下来也将持续保持技术创新,让智能数据湖产品更好地赋能客户。”不可小觑的华为云如今,华为云正在围绕数据构建起核心竞争能力。华为云FusionInsight智能数据湖持续投入超10年,携手800+家合作伙伴,服务于全球60+个国家和地区的互联网、政府、金融、运营商等行业用户。此外,华为云还获得了IDC、Frost & Sullivan等权威咨询分析机构的广泛认可。例如,在《IDC MarketScape: 中国大数据管理平台厂商评估,2020》报告中,华为云凭借FusionInsight过硬的综合实力和技术创新,位居“领导者(Leaders)”象限;在Frost & Sullivan《2020年中国数据管理解决方案市场报告》中,华为云在产品创新能力、成长能力、基础能力三个维度全面领先。华为云的成功并不是偶然。首先,华为自身就是一家全球化的公司,涉及业务之广、规模之大、复杂度之高,在业界都具有典型性,其相关方案极具参考价值与借鉴意义。例如,华为结合自身的数字化转型经验,在打造数字工厂解决方案中,建立起的统一数据平台、统一数据规范和统一数据视图在制造业中就非常具有参考价值。其次,华为云以FusionInsight智能数据湖为基础,在产品技术层面进行了持续的创新与完善,其产品组合的成熟度和丰富程度走在了业界的前列,这无疑将持续增加华为云在数据层面的核心竞争力。另外,近年来,随着华为云在多个行业不断突破,为多个不同行业、不同规模的用户提供相关的数据湖服务,积累了丰富的用户实践经验和有洞见的视角。总体来看,从十年前数据湖概念提出,到如今湖仓一体解决方案的流行,一条数据价值之路已然开启。而华为云在本次TechWave全球技术峰会(人工智能&数据)上所展现出来产品、技术、方案、理念都日臻成熟且富有洞见。下一个十年,将是数据使能的十年,而华为云必然迎来更大的舞台。
-
来源:中国IDC圈 7月27日-28日,2021可信云大会在京举行。本届大会以“数字裂变 可信发展”为主题。会上发布了可信云最新态势、标准和评估结果以及《2021云计算十大关键词》、《云计算白皮书(2021)》等重磅结论,旨在通过云计算评估体系,为用户选择安全、可信的云提供支撑,促进我国云计算市场健康创新发展。 在27日的大会开幕式上,中国信息通信研究院副院长魏亮主持会议。他表示:中国信息通信研究院自2011年启动可信云相关工作,经过十年发展,可信云逐步形成了完善的标准和评估体系,评估内容覆盖事前、事中、事后三个阶段,包含了云服务、云软件、云原生、高性能计算、软件开发、混合云、云网、云管、云边协同、行业云、云安全、开源、数字化等众多领域。可信云评估体系的系列标准及评估结果已经成为政府支撑、行业规范、用户选型的重要参考。中国信息通信研究院将持续完善配套的标准和评估体系,不断提升云服务产品可信度,为国内云计算行业引领方向。 工业和信息化部信息通信发展司一级巡视员陈家春为大会致辞。她表示:过去十年,我国在云计算方面的发展成就有目共睹。面向未来,十四五时期我国数字化转型进程持续加快,新技术、新业态加速迭代,云计算将不断赋能千行百业,为经济社会高质量发展提供新动能。云计算产业未来应当加快落实产业政策,深化赋能行业转型,不断完善产业生态建设,努力实现产业高质量发展。随后,中国信息通信研究院云计算与大数据研究所所长何宝宏和副所长栗蔚为通过2021年可信云评估的企业颁发证书。 评估项目分别包括: 虚拟化云平台分级、虚拟化云平台性能、超融合解决方案、混沌工程平台能力、高性能计算云平台能力、云桌面服务能力、移动应用开发云平台、云容灾解决方案、多云互联能力、云迁移服务能力、面向5G的MEC边缘云服务能力、面向金融场景的大规模容器平台性能、Serverless应用建设成效、Serverless平台技术能力、服务网格分级、全栈容器云解决方案、云服务安全、零信任安全、SASE成熟度能力、静态应用程序安全测试工具(SAST)能力、交互式应用程序安全测试工具(IAST)能力。中国信息通信研究院云计算与大数据研究所所长何宝宏带来《2021云计算十大关键词》的演讲。他提出2021云计算十大关键词分别是:云原生、高性能、混沌工程、混合云、边缘计算、零信任、优化治理、数字政府、低碳云、企业数字化转型。 分别为:1、云原生:云计算架构正在以云原生为技术内核加速重构;2、高性能:云端高性能计算驱动数字经济发展;3、混沌工程:为复杂系统稳定性保驾护航;4、混合云:成为企业上云主流模式;5、边缘计算:呈蓄势待发之势;6、零信任:与原生云安全不断融合;7、优化治理:企业上云加速优化治理需求;8、数字政府:数字技术使能政府治理创新;9、低碳云:企业数字化与节能减碳齐头并进的技术引擎;10、企业数字化转型:从宏观逐渐到微观落地。 会上举行了2021年中国信息通信研究院三个专项实验室的成立仪式,分别为云原生性能实验室、混沌工程实验室和零信任标准推进和测评实验室。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签