• [热门活动] 【惠上云·更简单】618全场DevOps与中间件服务低至3折,新用户1.98元起,下单抽FreeBuds耳机
    亲爱的开发者们,618年中钜惠来袭!参与试用,100%有礼!最高可得价值899元FreeBuds耳机,满额再送MateBook笔记本!>点击这里,马上进入活动专场<
  • [学习交流] 华为云漏洞扫描学习心得
    在使用漏洞扫描工具之前先查阅了华为云DevOps的相关资料,我了解到到DevOps 的本质,DevOps从本质来讲只是倡导开发运维一体化的理念(MindSet)。这个理念的提出是为了解决很多企业面临的转型挑战,也就是将业务数字化,并且缩短数字化业务上线的周期,快速试错,快速占领市场。DevOps并没有改变固有的软件生命周期:需求,设计,开发,测试,交付。但伴随着基础设施,软件设计方法等的改变,软件开发的思路,或者方式产生了比较大的变化。DevOps带来的最大好处是,软件生命周期数据链路的打通这不仅仅是运维和开发的结合。从顶层视角看,这是业务和生产的紧密结合。以前从业务和开发是脱节的。想要查看需求的实现进度,需要大量的人工汇报,更别提运营了。而现在以一个微服务实现一个特性的粒度来看,可以从需求,开发,测试,部署一直追溯到这个特性运营情况。这也是DevOps成为数字化企业基因的原因,业务和生产实现了完美的结合。从敏捷实践的角度来讲,你会发现开发组织中参与者好似生物体中的神经元,大家各司其职,自成一体,接受反馈,并向外主动反馈。团队的自组织使得工作更加自然,能产生更大的效能。由以前的项目经理驱动,改为自我驱动的协作方式。每个人都可以给相关的团队以及责任人提需求,大家有机的协调在一起。天津市大学软件学院魏家豪 
  • [知识分享] DevOps转型到底值不值?
    本文分享自华为云社区《[DevOps转型到底值不值?](https://bbs.huaweicloud.com/blogs/347086?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=paas&utm_content=content)》,作者:敏捷小智 。 # 引言 企业都是以盈利为目的,希望自己的投资能够带来回报,最好是巨大的回报。 # 软件工程的发展 ## - 软件工程的发展阶段 软件工程的变迁历经了一系例阶段,IT企业也跟随着软件工程变迁的脚步,投资人力和财力在组织中引入CMM、ITIL、敏捷、DevOps等,以保证自己能够紧跟时代的变化,保持住自己的竞争力,让自己在这个VUCA时代不仅仅能够立足,并且拥有自己的一席之地。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609726099496008.png) 每一个新的工程方法、新的理论的出现都是需要经过一个逐渐被大众接受的过程,鸿沟理论可以非常形象的展示这个过程。在这个逐渐被大众接受的过程中,不论是哪一个群体关注的核心都是新的工程方法、新的理论是否能够带来价值,如果在这个方面进行投资,是否能够收到预期的回报,甚至获得更大的回报。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609738467743972.png) ## - DevOps的兴起和发展 2001年,敏捷软件开发方法提出,有人躬身入局,有人保持观望,是否应该采用还未见分晓。就在摇摆不定之间,2009年,DevOps兴起,DevOps作为敏捷方法的补充,将敏捷从开发延申到了整个价值链,实现了从需求分析、设计、开发、构建、测试到部署、发布、运维、运营全流程、端到端的价值交付。 能够更快更好的交付有价值的产品,是每一个企业梦寐以求的目标,现在在DevOps的基础上,又进一步发展为DevSecOps、BizDevOps,在实现价值交付的基础上更加关注研发安全和研发效能的提升。由此来看,DevOps转型势在必行,但应该如何预估转型的投资回报率,来支持企业的决策? ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609765730458644.png) # DevOps转型的投资回报率 每个企业的情况不尽相同,各自都有自己的独特性,一直以来有人转型成功,有人转型失败,却没有一个数据驱动的分析框架能够证明投资DevOps转型的合理性。 很高兴的是,Google Cloud在2022年2月27日发布了《DevOps转型的投资回报率》的白皮书。在白皮书中,Google Cloud利用六年的《加速:DevOps 现状》报告的行业基准数据来量化投资回报率,根据《加速度:DevOps 状态报告》中的关键指标和行业平均水平数据,白皮书中将预测实施 DevOps 转型对精英、高、中、低 IT 效能组织的价值。 依据白皮书中提供的分析框架,可以帮助企业预测DevOps转型的价值,虽然其中的方法并不详尽,但是概述了一些重要的考虑因素,填补了这个领域的空白。 ## - 核心思想 预测DevOps转型投资回报率的核心思想是,DevOps转型节省的成本和将节省的时间再投资去创造产生的价值都是转型的潜在收益。 - **成本方面**,包括通过践行技术改造,着眼于产品内建、质量层面的持续改进,从而减少**非必要返工的相关成本**;还有通过DevOps相关技术实践可以提高故障修复能力,增强应用程序和基础设施的的稳定性,减少停机,因此**每年的停机成本**也是DevOps转型的收益。 - **价值方面**,是通过DevOps频繁部署的能力在生产环境中实验,可以识别无用的新功能,识别后不在对其进行构建和维护,**利用节省的时间进行再投资**,为客户提供其他新功能,创造收入,进而转化为价值。 ## - 计算公式 下面会列出各项的计算公式,鉴于文章的主题和篇幅,每个公式中因子的由来在这里不做展开,详细了解可以查看白皮书原文,获取方式在文末。 首先,计算每年避免的非必要返工成本。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609869653548977.png) 接下来,计算将从无用新功能节省的时间再投资到其他新功能的潜在收益。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609879487184863.png) 然后,计算每年的停机成本。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609888524360878.png) 最后,将上面的成本和价值结合起来,就得出了DevOps转型的潜在回报,由此可见,转型带来的所有节省成本都是对企业的回报。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609899079794886.png) ## - 基准数据点 有了可用的公式,下一步就是将企业对应的各项基准数据带入到公式中,得出结果。如果团队目前没有,可以参考行业基准的数据点。 白皮书中是基于《加速度:DevOps 状态报告》的数据,以大型产品业务(1亿美元)的潜在汇报为例,最后的计算结果如下。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/22/1650609922391617941.png) 注:中间计算过程省略,详细内容查看白皮书。 从上述表格可以看出,不论你的企业规模大小如何,如果以真正的转型和持续改进为目的的话,对技术的投资会带来可期的价值成果。据调查,在具有前瞻性思维的公司中,会定期的计划,利用他们在效率方面的收益来实现创新和价值。这样真正的实现IT在企业中的地位转变,从成本中心转变为价值驱动和创新引擎。 # 写在最后 白皮书给了我们一个参考,DevOps转型是可以带来价值的。解决了这个问题之后,下一个重点的问题就是如何进行DevOps转型,才能真正的给企业带来价值。为什么有人成功,有人失败,DevOps的适用性和限制是什么,感兴趣请的话请继续关注,会在下一篇文章中讲述。 白皮书下载地址: https://cloud.google.com/resources/roi-of-devops-transformation-whitepaper
  • [知识分享] 云原生2.0时代,华为云DevOps立体运维实践
    >摘要:随着云原生2.0时代的来临,越来越多的企业及个人选择使用云原生技术来构建业务,云原生技术给业务构建、交付带了便利的同时,对运维也提出了更高的要求。本文分享自华为云社区《云原生2.0时代,华为云DevOps立体运维实践》,原文作者:灰灰哒 。 2020年12月,中国DevOps社区峰会在北京举办。DevOps大咖齐聚一堂,其中华为公有云应用运维域产品经理闫硕受邀分享《华为云DevOps立体运维实践》。 华为云作为云原生技术的先行者与普及者,一直致力于云原生产业的推动与发展。在华为云提出的云原生2.0全景图中,应用敏捷助力企业以应用为中心,上云更高效,创新更敏捷。其中,高效运维则是重要保障。 随着云原生2.0时代的来临,越来越多的企业及个人选择使用云原生技术来构建业务,云原生技术给业务构建、交付带了便利的同时,对运维也提出了更高的要求。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/15/1649994381972777072.png) 传统运维到云原生2.0场景运维有诸多区别,传统运维在基础资源方面工作量较大,需要自行构建运维系统,同时又难以进行基础设施维度的弹性扩容。而在云原生2.0场景下,基础资源运维大多由云厂商提供,所以用户可以有更多的精力来关注业务本身的运维,与此同时云厂商会提供更加通用、普适的运维产品,降低用户的运维工具构建成本。相比与传统运维,云原生2.0场景下的运维更加的弹性、敏捷,可以针对虚机资源、应用进行弹性扩缩容,以此来应对业务的高峰与低谷。 # 那么在云原生2.0场景下运维要求又有哪些? 首先,需要有一套高效的运维流程,依托标准的运维规范来完成日常的各种运维动作;其次运维工具也是必不可少的,需要有一套以应用为中心,并且能够具备可视化展示各种维度监控指标的监控平台;日志功能也是运维过程中必不可少的工具,通过日志收集、存储、分析等过程,展示各种日志文件分析后的数据,作为日常运维的重要依据;最后,链路拓扑也是自动化运维的重要功能点,由于应用下属的实例个数众多,需要可视化展示每个微服务实例之间的调用关系,出现问题时,下钻到微服务内部进行方法级别的故障诊断。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/15/1649994395388239364.png) 华为云立体运维解决方案是为云上客户量身定制的一个解决方案,包含AOM(应用运维管理服务)、APM(应用性能管理服务)、LTS(日志服务)。覆盖IaaS层的基础设施状态,Paas层的中间件及数据库状态,应用层的各类应用状态及指标这三层,形成立体化运维分析能力。华为云立体化运维解决方案遵循DevOps标准,可以敏捷高效的获取云上应用的各类异常,并辅助运维人员快速定位。同时立体化运维解决方案以应用为中心,展示应用指标、拓扑、状态信息,提供应用视角的监控运维模式,满足日常巡检、故障排查等多种运维场景。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/15/1649994403970113305.png) # 华为云立体运维解决方案具有以下特点: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/15/1649994422692962797.png) ## 1 统一运维监控管理:资源、应用、业务一站式监控与分析 支持集群、虚机、网络、磁盘、数据库、应用、容器及业务等上百种监控指标与秒级监控,通过集群与虚机、虚机与应用、应用与资源统一建模,对各种指标智能关联分析,用户通过统一的告警入口和下钻找到问题根因。 ## 2 日志分析:分布式日志集中搜索与实时查看 将虚机上的应用、开源组件、系统等日志集中采集到数据库,用户通过日志管理快速找到应用实例日志,提供实时刷新、日志上下文查看、秒级搜索、日志下载等常用功能。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20224/15/1649994441340636189.png) ## 3 应用拓扑分析:应用关系与异常一目了然、故障下钻 对应用健康状态可视化管理,包括应用运行状态、时延、错误、负载、依赖关系,包括数据库、缓存、消息中间件、NOSQL等各类开源组件。 华为云立体运维解决方案致力于打造全方位的云上整体运维方案,将云原生2.0运维的优秀实践以云服务的方式提供给外部客户,帮助客户应对云原生2.0场景下的各种运维难题。全面覆盖基础设施层、应用层、数据库或中间件等多维度监控指标,用户无需自建各种复杂的运维系统,也可即刻使用开箱即用的运维功能。 点击即刻体验立体运维 https://www.huaweicloud.com/product/aom.html
  • [问题求助] devops是否主要用于web网站开发
    对于桌面应用,比如开发pc游戏, 对于嵌入式,比如 pos机软件所谓的部署运维如何套用上?   
  • [分享交流] 回帖领取华为云2.2G资料包 !运维+DevOps+容器 三大热门技术一包打尽!
    回帖领取华为云2.2G资料包运维+DEVOPS+容器三大热门技术一包打尽!扫码即可领取!
  • [云运维] 云运维必备知识-云运维定义以及工作内容讲解
    【导读】不知不觉已经到2022年,越来越多的企业开始将业务迁移到云端,实现了企业上云。因此运维人员也从传统的IT运维转变成了云运维。那具体什么是云运维呢?云运维工作内容包含哪些?从事云计算运维可以考取哪些证书?云运维必备工具是什么?云运维是什么意思?云运维是云计算运维的简称,简单来说就是保障公司云端业务体系顺利运营。跟传统运维一样,只是工作内容有一些变化而已。云运维工作内容包含哪些?云计算运维岗位涉及到云计算平台能否顺利、平稳地运行,因此运维工程师需要做的工作内容也相对比较丰富,既涉及到传统的网络运维知识,还涉及到虚拟化、管控、存储、安全等相关知识。另外,运维工程师还需要程序开发的工作,以便于完成大规模的自动化服务部署,这对于运维工程师也提出了较高的要求。从事云计算运维可以考取哪些证书?1)AWS Certified SysOps Administrator - Associate这门考试主要针对是那些 AWS 平台的系统管理员/运维人员,主要考察如何在AWS上部署、管理和运营高可用的系统。这门考试基本上涵盖了 AWS Certified Solutions Architect –Associate 的考试内容,再加上一些实际场景中的问题。考题题干比较长,而且大多是多选题,答案选项都比较相似,经常需要用排除法才能选出正确的答案。2)AWS Certified DevOps Engineer – Professional这是专家级别的DevOps工程师考试,结合了助理级别的开发者考试和系统管理员考试的内容之外,还深入考察了一些实施和管理持续交付方法的能力。这门着重考察诸如 CloudFormation,AutoScaling,Security,Elastic Beanstalk,OpsWork 等组件。3)阿里云云平台运维工程师专项认证(ACP)阿里云云平台运维工程师专项认证(Alibaba Cloud Certified-Apsara Stack Operation&Maintenance Specialty)是面向使用阿里云专有云产品的运维人员的专业技术认证。4)华为认证云服务DevOps高级工程师(HCIP-CSSDE)华为认证云服务DevOps高级工程师(HCIP-Cloud Service DevOps Engineer),定位于培训与认证具备敏捷开发和管理以及实现企业DevOps转型能力的云服务DevOps高级工程师。掌握端到端DevOps全流程,基于DevCloud实现一站式云端DevOps凤凰商城项目。云运维必备工具安全稳定高效节约的云运维软件,这里我给大家重点推荐行云管家云管平台。云管平台CMP的到来,不仅解决了多云、混合云统一纳管的问题,也解决了传统运维的问题,作为业界领先的多云管理平台,行云管家为您提供针对多家云厂商、多种云资源的一站式管理解决方案。咨询电话4008825683!免费试用:https://www.cloudbility.com/baolei.html?refid=guanwang-tlj-wenzhang
  • [行业资讯] 2022年智能运维发展八大趋势(二)
    五、AIOps将促进 DevOps 工具的发展日益复杂的基础设施管理和云监控更需要安全的解决方案与保障,云智慧通过为客户提供自动化的数据分析和日常的DevOps操作,发现近年来AIOps的蓬勃发展为DevOps工具升级提供重要保障。传统的系统监控工具面对数据总量大、数据类型多、数据处理速度快等要求往往无能为力。高级分析工具、人工智能算法和深度学习模型的出现,使DevOps专业人员有效改善了这一现状。AIOps平台可通过快速处理所有数据、执行深度数据分析和自动化日常任务等方式,来帮助 DevOps工程师在运维系统时对其进行监控和管理,进而测试系统性能和安全性。六、AIOps将推动网络安全的发展数字化转型的不断深化,使很多组织机构和企业对网络安全问题极其关注。将AIOps合理应用于更多IT软件和安全活动后,企业可通过运用人工智能技术即时辨别问题,甚至在问题发生前就给出预防性措施和建议。AIOps中的人工智能技术可以支持系统架构的正常运行并赋予数据更多可靠性,比如它可将常规访问与非常规访问或不可靠访问分开, 从而自动阻止任何可疑用户的访问行为。七、AIOps将具有更高的自动化水平在AIOps发展早期,可通过AIOps进行自动化的问题类型数量较少,而未来,AIOps的创造性则将扩大可自动化进行处理的问题类型数量。即之前AIOps相关设备仅能够单独处理一种类型的信息,而此后将能够处理大量不同类型的信息。与此同时,由于当下大多数计算平台都具有较高的计算能力,可以解决不同类型的工作流程问题。于是当企业使用自动化的方式工作时,可大大减轻运维对人力的需求。八、AIOps与可观察性将互相融合云服务的应用程序区分客户体验优劣的重要因素是可观察性,通常应用程序和短暂的服务使得我们很难判断到可观察性。通过对应用程序环境的采样和跟踪,我们发现在无服务器的云环境中,必须掌握成百上千不断变化的 API 生成的所有数据,才能从数据中有效提取所需的度量标准,并进行数据追踪。在对原始数据流进行存储后,才能发现问题并对其进行更改或及时回看。如果智能运维具备可观察性,企业就能够发现复杂云服务网络的实际运行情况,并对直接影响客户体验的问题进行诊断和修复,无论是应用程序代码、用户界面,还是基础设施性能问题均可被发现。从本质上讲,在未来的运维中有可能诞生的新模式是AIOps工具将启用DevOps工作流。我们将看到更多供应商明确将他们的可观察性消息加入到AIOps消息中,以使其有价值,与此同时也需要AIOps来实现可观察性。
  • [知识分享] 带你了解敏捷和DevOps的发布策略
    >摘要:随着数字化、信息化、网络化和智能化的普及和发展,企业对软件服务的质量和上线速度要求越来越高。传统研发模式难以满足要求,企业的开发运维模式逐渐向敏捷和DevOps 转型,敏捷和DevOps理念正被广泛认可并加速落地实践。本文分享自华为云社区[《一文读懂敏捷开发的发布策略》](https://bbs.huaweicloud.com/blogs/313749?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=paas&utm_content=content),作者:敏捷的小智。 随着数字化、信息化、网络化和智能化的普及和发展,企业对软件服务的质量和上线速度要求越来越高。传统研发模式难以满足要求,企业的开发运维模式逐渐向敏捷和DevOps 转型,敏捷和DevOps理念正被广泛认可并加速落地实践。本文主要阐述基于敏捷和DevOps的发布策略相关内容。 # 什么是发布策略 发布策略是不是发布方案、发布计划、发布方法?我们常听到的蓝绿发布、滚动发布、灰度发布是不是就是发布策略呢?下面我们就一起看一下。 # 发布 关于“发布”的含义,我们先看下它在整个软件开发生命周期中的位置,如图所示,发布是软件开发全生命周期中的最后一环,直接面向最终用户。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202112/17/1034529gbxedmmpehbvhjg.png) 图1 软件研发流程 为了更好的理解交付,我们将各个环节逐一来看一下。 • 持续集成是开发人员提交了新代码之后,就对整个应用进行构建,目的是让正在开发的软件始终处于可工作状态; • 持续交付是持续集成的延伸,将集成后的代码部署到类生产环境,确保可以以可持续的方式快速向客户发布新的更改; • 持续部署是在持续交付的基础上,将代码尽早部署到生产环境,以确保可以小批次发布。持续部署是把部署到生产环境的过程自动化; • 持续发布是把一个/组特性提供给(部分或全部)客户的过程,在对用户可见的这个过程称为发布。持续发布是以持续部署为基础。 • 持续测试是贯穿整个研发流程始终的,从持续集成到持续部署,都有自动化测试的存在。 更多相关的内容可以点击[持续交付与持续部署概念解读](https://support.huaweicloud.com/reference-devcloud/devcloud_reference_040406.html) 进行学习。 # 策略 根据百度百科,“策略”是为了实现某一个目标,首先预先根据可能出现的问题制定的若干对应的方案,并且,在实现目标的过程中,根据形势的发展和变化来制定出新的方案,或者根据形势的发展和变化来选择相应的方案,最终实现目标。简单来说,策略就是解决问题。详细的说,策略就是为企业实现商业目标提供问题解决方案。 我们看几个关键词:**目标、方案、形式的发展变化**,即策略是动态变化的,一直以实现目标为核心。 # 发布策略 基于上面的解释,在制定发布策略时,首先需要有目标。敏捷软件开发理念的核心是敏捷宣言和敏捷原则,其中可以用来指导发布的有2条原则: a) 我们最重要的目标,是通过及早和持续不断地交付有价值的软件使客户满意。 b) 经常地交付可工作的软件,相隔几星期或一两个月,倾向于采取较短的周期。 从大方向上来讲,所有企业的发布都是为了创造价值,也就是对应到上面敏捷原则a)中的最重要目标——尽早交付可工作的软件。“尽早交付”就是要缩短周期,减少时间,关于周期的长度,在敏捷原则b)中指出可以相隔几星期或者一两个月;“可工作”需要保证发布的质量,做好发布的风险控制。由此可见,**发布策略的具体化目标应该是实现产品的高频低风险的发布。** 其次,发布策略不是在即将发布的时候才制定,应该是项目计划阶段的一部分。由产品从研发到上线过程中的所有相关团队负责人共同讨论制定,内容是整个产品生命周期中的发布相关事宜,包括发布前、发布中和发布后三个阶段。发布前最重要的是发布计划,发布过程中监控和日志管理、问题应对方案,发布后的维护方案,整个内容要形成一份文档记录下来。 最后,在整个生命周期中,随着需求的变化,发布策略也会动态的随着项目同时改变,文档要做好同步进行更新和维护。 # 高频低风险的发布 理解了发布策略之后,下面我们主要介绍实现高频低风险发布目标的核心要素,发布分支和发布方法。 # 发布分支的选择 使用合适的发布分支,可以减少执行发布所需的时间,是高频发布的前提。团队要根据产品的类型、业务的发布周期要求、企业的自动化程度和团队的能力及特点来选择不同的分支策略。发布分支主要有主干发布和分支发布两种。 ### 主干发布 主干发布就是用主干代码进行软件发布,所有新特性的开发,都提交到主干上,当需要发布的时候,直接把主干上的代码部署到生产环境。这样可以一直保持主干代码处于随时可发布的状态。 基于主干发布,团队可以选择主干开发和分支开发两种对应的模式。不论是那种开发模式,都要做到两点:一是早提交,要将代码尽早提交到主干,缩短开发分支的生存周期。因为分支周期越长,积累的代码数量就越多,在提交到主干分支的时候产生冲突的机会就越大,这样就会增加合并的时间。关于开发分支生存周期多短算是合适,业界说法不统一,在《持续交付2.0》中给出的意见是控制在3天以下,可以结合自己的业务情况做参考。实现短周期需要在最初需求拆分的时候做好规划,控制好需求的颗粒度;二是早同步,每个开发分支在工作过程中,要及时和主干代码进行同步,至少每天1次,这样可以减少最后合并过程中的代码冲突问题。 ### 分支发布 分支发布是专门从主干上拉出一个发布分支,用于对外发布。这样可以在发布的同时,主干持续进行开发,不会受到版本发布的影响。新版本发布后出现缺陷,可以在发布分支修改后同步到主干,也可以在主干上修改后合并到发布分支。 使用分支发布的时候也要注意两点:一个是分支的存在周期不要过长,如果在发布分支上修改了缺陷,要及时同步到主干分支;二是不要从发布分支创建新的分支,所有的分支都应该来源于主干分支,保证代码源的唯一性。 综上所述,我们看到不论是主干发布还是分支发布,如果想实现高频低风险,重要的就是要做好三个控制: 一是控制分支数,越少越好,最好只有主干分支。 二是控制分支生存周期,越短越好。 三是控制发布周期,越短越好。软件发布频率越高,发布周期就越短。当达到了一定的发布频率时,就不需要发布分支了,主干发布即可。 # 常用的发布方法 开篇提到的蓝绿发布、滚动发布、灰度发布都是发布策略中常用的发布方法,可以降低发布风险,实现零停机发布,是发布策略中的核心内容。 ### 蓝绿发布 蓝绿发布,是一种可以保证系统在不间断提供服务的情况下上线的部署方式。“蓝”和“绿”代表两套独立的环境,使用完全相同的主机集群,有两种使用策略: • 一种是一套环境在线提供服务,一套环境闲置,准备用于下个版本的发布。 • 另一种是将两套环境都在线提供服务,可互为容灾。此时蓝绿两组主机工作方式如下: 1、无新版本发布时,蓝主机组和绿主机组同时对外提供服务; 2、当需要升级版本时,首先把蓝主机组从负载列表中摘除,进行升级,绿主机组依然对外提供服务; 3、蓝主机组升级完成,则将流量切换到绿主机组,同时将绿主机组从负载列表中删除,进行升级; 4、当蓝绿主机均完成升级,将绿主机组重新恢复至负载列表,两组主机重新同时对外提供新版本的服务。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202112/17/103645kyiuvapzr8qolyn0.png) 图2 蓝绿发布 蓝绿发布的好处是可以实现零停机发布,可以实时升级和回退。不足是需要双倍的主机资源,而且切换是全量的,如果新版本有问题,则对用户体验有很大的影响。 ### 滚动发布 滚动发布,是在发布的过程中先将一台或者几台主机停止服务,进行版本升级后重新提供服务。然后再选择下一批升级的主机同样操作,直到所有的主机都升级完成。 滚动发布的好处是用户体验影响小,体验较平滑。不足是版本在缓慢替换,发布和回退都比较缓慢;滚动升级期间,新老版本共存,如果发现问题,难以定位到底是新版本还是老版本的问题;滚动升级期间的流量控制对资源的要求比较高。 ### 灰度发布 灰度发布是让一部分用户继续用版本A,一部分用户开始用版本B,如果用户对版本B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到版本B上面来。灰度发布是金丝雀发布的延伸,金丝雀发布是灰度发布的初始阶段。对于需要划分多少阶段,每个阶段的用户数量是多少,根据业务和产品具体情况进行制定。在下图中的内部用户可以看做是金丝雀用户。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202112/17/1037060w842s3rgro9w7ck.png) 图3 灰度发布 灰度发布的好处不需要进行停机,同时只有部分用户获取新版本,如果新版本出现问题,用户体验影响比较小,可以保证整体系统的稳定。不足是发布的时间会比较长;升级期间的流量控制对资源要求比较高。 其实,不论是哪种发布方法,降低发布风险的最佳方法就是真正地做发布演练,越频繁的将应用程序发布到不同的测试环境越好。这样就说明测试环境越可靠,从而在生产环境中发布时遇到问题的可能性就越小。 # 国内现状 高频低风险的发布已经成为了企业的主要趋势,根据云计算开源产业联盟发布的2021年《中国DevOps 现状调查报告》,国内企业部署频率为1周—1个月的占比超六成,相比2020年增长近一成。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/202112/17/103726qq2liajc9d8xmhyt.png) 图4部署频率现状分布 调查显示,仅有16.21%的企业能够每天多次在生产环境进行部署;此外,6.19%的企业平均1天到1周在生产环境部署一次;28.25%的企业平均1周到2周在生产环境部署一次;32.90%的企业平均2周到1个月在生产环境部署一次;部署频率超过1个月的企业占9.33%。 # 参考附录 1、Jez Humble. David Farley.持续交付:发布可靠软件的系统方法北京:人民邮电出版社。 2、乔梁.持续交付2.0:业务引领的DevOps精要.北京:人民邮电出版社。 3、《中国DevOps 现状调查报告(2021)》. 云计算开源产业联盟发布。
  • [行业资讯] 2022 年 AIOPS 趋势和预测:您需要知道的一切
    企业需要了解的有关 2022 年 AIOps 趋势和预测的所有信息。随着人工智能、机器学习和自动化等先进技术的出现,前沿业务场景发生了翻天覆地的变化。此类创新改变了当今的应用程序结构和 IT 运营。将人工智能纳入 IT 活动使 IT 团队能够在复杂的 IT 条件下执行更复杂的任务并将问题目标计算机化。 AI 与 IT 运营的这种集成导致了术语 AIOps 的出现,它利用大数据、分析和 AI 能力进行 IT 运营管理。正如 Gartner 所指出的那样,一半的协会将利用 AIOps 和应用程序执行检查来了解关键应用程序和 IT 任务。 AIOps 承诺协助改变 IT 框架的活动,并保证 IT 员工专注于更重要的事业。随着 AIOps 收入的增加,预计到 2025 年全球 AIOps 市场将达到 31.2744 亿美元,2020 年至 2025 年期间的复合年增长率为 43.7%。以下是每个人都应该关注的 2022 年 AIOps 趋势和预测:IT 先驱将观察 AIOpsIDC 的数据预测,到 2022 年,人工智能框架的总支出将达到 776 亿美元(约合 587 亿英镑)。虽然人工智能的应用案例非常多,但今年,IT 先驱们将真正观察人工智能在完成 IT 任务时的便利性先进的变化。最高管理层正在意识到 AIOps 的短期和长期优势,减少假期并从根本上提高底线,这一定是值得感谢的,因为管理工作区、DevOps 和 InfoSec 小组的存在都将随着对 AIOps 的兴趣的发展变得更简单。此外,随着 AIOps 工具的成熟,它们将能够处理更广泛的数据类型并更快更好地交付价值,从而提高更具体任务的性能。将扩大事件管理能力AIOps将用于增加自然语言准备、原因分析、异常检测、事件关联和分析以及其他IT功能,为IT任务专家提供更加突出的控制。事件相关性和事件情报将可以在正常运作的团队的最佳事件管理平台内持续访问。此外,截至目前使用的最极端影响,将在共享乐器的关联中预先识别和显示违规行为。更智能、更广泛的自动化AIOps 最大的优势就是它的自动化能力。它提供了多种功能来将明确的 IT 措施计算机化并减少您团队中的责任。虽然过去它可以实现的自动化种类受到限制,但大多数 AIOps 测量预计到 2022 年阶段将拥有更具创造性和进一步开发的设备。以前,AIOps 设备一次只能处理一种单独的信息类型。然而,最近出现了新的 AI 计算,可以处理双重信息类型。此外,现在大多数平台都具有计算机化,这些计算机化与用例或工作流程的问题目标类型有关。一些组织使用机器人数据自动化 (RDA) 来解决信息问题。这同时大大减少了对人类代祷的要求。加强网络安全事实上,即使创新取得了所有进展,网络安全之战仍然是组织最关心的问题。这一点尤其明显,因为更多的组织依赖于计算机化的工作流程和设备。通过这种方式,需要在协会内部使用尖端和集成的安全平台。AIOps 2022 展示了更多整合的安全和 IT 活动。利用人工智能,他们可以立即区分问题并在问题发生之前采取预防措施。它还可以一直额外支持框架正常运行时间和可靠性。例如,您可以对 AIOps 进行编程,以将常规访问与程序员访问或不可靠访问分开。一旦区分,它可以自动阻止任何可疑用户的 IP 地址。AIOps 将成为 DevOps 工具的一部分AIOps 为复杂的基础设施管理和云解决方案监控工具提供安全的解决方案。它可以帮助自动化数据分析和日常 DevOps 操作。由于传统的系统监控工具无法处理大数据的 3V,高级分析工具、人工智能算法和深度学习模型的出现使 DevOps 专业人员有效地实现了这一点。 AIOps 通过快速处理所有数据、执行深度数据分析和自动化日常任务来帮助 IT 部门。它帮助 DevOps 工程师监控和管理测试、性能和安全。原文链接:https://www.sohu.com/a/494766876_378752
  • [热门活动] DevOps国际峰会| 华为AIOps助力ICT智能化运维转型
    2021 DevOps国际峰会,华为AIOps首席技术专家张欣欣,在“AIOps最佳实践及解决方案专场”上,分享了专题《NAIE-AIOps云服务助力ICT智能化运维转型》。随着网络架构和运维环境越来越复杂,传统人工运维不能满足网络2B新需求,故障根因定位难、运维系统开发周期长、流程闭环自动化程度低等依旧是主要的困难。华为将AIOps技术应用于ICT网络,致力于“将网络逐渐引向智能化,成为能够自动、自优、自愈的自治网络”。华为AIOps服务作为网络AI引擎NAIE的核心能力,提供一系列AIOps原子能力以及组合编排能力,可以灵活适配各类ICT运维业务场景,助力高效快速地实现智能化运维,提升运维工作效率,具有3大核心价值。 1)集成电信知识经验和最佳AI算法实践的原子能力,覆盖主流网络运维业务场景华为NAIE AIOps服务围绕故障预测、故障检测、根因诊断等场景,提供超过20种AI原子能力,覆盖网络运维业务大部分流程和运维业务需求,如流量预测、KPI异常检测、日志异常检测、CHR异常检测、异常关联分析、事件聚合、根因定位等。这些原子能力是基于华为电信网络知识的积累、高质量的数据样本,结合最佳算法调测实现,在拥有模型高精度的同时,也有较好的的模型泛化能力。以根因定位为例,AI传播图积累多个领域故障传播规则,覆盖无线、数通、传接等场景,只需选定场景,告警自动通过AI传播关系推理出故障根因。 2)编排框架零编码快速实现智能运维应用,大屏效果实时可视NAIE提供的编排框架操作简单灵活,使用者可选择业务场景所需的AIOps原子能力,通过可视化方式完成流程串接,只需从组件库中拖拽数据及原子能力进行组合,即可完成应用场景端到端的图形化编排。并且,支持进行业务泛化的参数配置,包括数据接入方式、模型参数、内置电信领域泛化参数,真正支撑使用者零编码、低门槛进行作业,高效构建AI应用。同时,NAIE AIOps的编排框架还提供数据可视化服务,支持轻松按需搭建可视化大屏,其包括丰富的2D/3D可视化组件,如图表控件、地图控件、交互控件以及媒体控件等,拖拽式自由布局,快速实现DIY可视化大屏,一键预览,业务结果快速呈现,实现运维应用效果的实时可视。 3)针对典型场景,提供开箱即用的APPNAIE AIOps服务目前针对运维最常见的业务场景,提供数十个开箱即用的APP,覆盖运营商网络、园区网络、DC网络、IT应用四大领域。运营商领域,提供跨域故障识别分析、核心网日志异常监测、基站流量预测、无线性能分析等应用;针对园区网络,提供园区5G设备故障监测、园区网络智能巡检、光模块故障预测等;在DC领域,提供硬盘故障预测、DC PUE优化、供电锂电故障预测、DC安全智能巡检等;另外在IT应用领域,提供IT应用健康监控、云服务日志异常监测等智能运维应用。 基于华为NAIE AIOps的智能化应用已经在全球110+局点实现部署和运用,效果明显。其中,智能检测系统能够提前识别网络故障,助力运营商及早发现问题和进行相关恢复处理,降低业务的影响。数据中心的智能节能方案,通过AIOps服务可以快速完成模型的泛化和方案的部署,在多个数据中心运用中,带来5%~10%的PUE降低。 张欣欣最后强调,以AI为核心的AIOps新技术将赋予网络新的升级发展。华为秉持开放、合作、共赢的态度,愿与行业各方联合实践,打造一张自动、自优、自愈的自治网络,助力各行各业实现数字化转型。
  • [获奖公告] 【活动发奖公告】【2021华为云DevOps实训营】开营啦!4重好礼等你来拿
    本次活动共计5138个有效用户参与训练营,共抽出50个用户获得大狮行李牌,15个用户获得荣耀智能体脂秤2,50个用户获得mini蓝牙音箱nova迷你小音箱,30个用户获得京东卡、nova迷你小音箱等邀请好礼。备注:11月25日数据仅供参考,不代表最终数据,最终数据会进行资格审核。经数据资格审核后,获奖结果更新如下:注:此名单公示期为三个工作日(11月26日-11月28日),各位华为云用户有任何疑问请于公示期内联系版主反馈信息请获得实物奖品的同学12月5日24:00前在此链接>>>>>反馈您的收货地址:备注:学习码豆奖将自动发放至获奖用户账户。邀请奖获奖名单:邀请人账号邀请用户排名 hw38***791174M5 青春版 8.0英寸智能平板电脑 4GB+64GB 全网通版(香槟金)1个hid_r****f-c_nsb-70160价值500元京东卡hw08***674131hw82***686130hw19***524122hw75***137120hw52***313116hw08***072105hid_0****4azn0cmhn488hw65***76552885cal***evin58华为mini蓝牙音箱nova迷你小音箱hw19***01538hw12***90125hw7***705725hw9***938822hw08***70921hw43***90321hw75***74520hw8***765718hw58***04217价值50元京东卡hw90***96816hw7***575715hw3***542614hw3***687014hw2***348911hw49***32211hw9***913011hw0***812210hw18***88610hw27***6208报名抽奖获奖名单:账号奖品zs****320大狮行李牌 re****1zn****14w****sa18******423xzy****21az****inghid_*****__ayvp7_gkaif****ie1314kk1******7215g****ulon****gailk****tyhid_ax******k0coq29aiyu****456qu****19ace3******076hid_-qje******bcd9gwzy****4hid_0ow******1f565hli176****8231c198****1668mzc18******809hid_by*******el7vvwkhw******72zp******9sq****23yua****86-hid_5a******k4co7o5pen****852a177****3497li****udhx****yrp****62hid_wxe-******uwrm0hw23***940hw23***995hw86***689hw00***412hw97***920hw86***246awes***yghw37***860xrl2***20hid_tqpg****fklpfb7hw62***961hw75***259hw01***983hw31***322hw15***213hw91***537智能体重秤hw31***056hw74***896hw71***648hw92***682hw50***663hw35***200hw13***437hw26***363hw29***642hw67***094hw54***900hw85***153hw30***379hw87***666hw63***980华为mini蓝牙音箱nova迷你小音箱hw68***030hw66***707hw18***032hw96***754hw21***896hw55***250hw46***201hw77***752hw43***287hw53***803hw15***534hw27***746ww******8Hehw02***007hw28***887hw13***361hw63***102hw98***955hw87***177学习码豆奖励:hw82****86   250000码豆
  • [行业资讯] 2022 年 AIOPS 趋势和预测:您需要知道的一切
    企业需要了解的有关 2022 年 AIOps 趋势和预测的所有信息。随着人工智能、机器学习和自动化等先进技术的出现,前沿业务场景发生了翻天覆地的变化。此类创新改变了当今的应用程序结构和 IT 运营。将人工智能纳入 IT 活动使 IT 团队能够在复杂的 IT 条件下执行更复杂的任务并将问题目标计算机化。 AI 与 IT 运营的这种集成导致了术语 AIOps 的出现,它利用大数据、分析和 AI 能力进行 IT 运营管理。正如 Gartner 所指出的那样,一半的协会将利用 AIOps 和应用程序执行检查来了解关键应用程序和 IT 任务。 AIOps 承诺协助改变 IT 框架的活动,并保证 IT 员工专注于更重要的事业。随着 AIOps 收入的增加,预计到 2025 年全球 AIOps 市场将达到 31.2744 亿美元,2020 年至 2025 年期间的复合年增长率为 43.7%。以下是每个人都应该关注的 2022 年 AIOps 趋势和预测:IT 先驱将观察 AIOpsIDC 的数据预测,到 2022 年,人工智能框架的总支出将达到 776 亿美元(约合 587 亿英镑)。虽然人工智能的应用案例非常多,但今年,IT 先驱们将真正观察人工智能在完成 IT 任务时的便利性先进的变化。最高管理层正在意识到 AIOps 的短期和长期优势,减少假期并从根本上提高底线,这一定是值得感谢的,因为管理工作区、DevOps 和 InfoSec 小组的存在都将随着对 AIOps 的兴趣的发展变得更简单。此外,随着 AIOps 工具的成熟,它们将能够处理更广泛的数据类型并更快更好地交付价值,从而提高更具体任务的性能。将扩大事件管理能力AIOps将用于增加自然语言准备、原因分析、异常检测、事件关联和分析以及其他IT功能,为IT任务专家提供更加突出的控制。事件相关性和事件情报将可以在正常运作的团队的最佳事件管理平台内持续访问。此外,截至目前使用的最极端影响,将在共享乐器的关联中预先识别和显示违规行为。更智能、更广泛的自动化AIOps 最大的优势就是它的自动化能力。它提供了多种功能来将明确的 IT 措施计算机化并减少您团队中的责任。虽然过去它可以实现的自动化种类受到限制,但大多数 AIOps 测量预计到 2022 年阶段将拥有更具创造性和进一步开发的设备。以前,AIOps 设备一次只能处理一种单独的信息类型。然而,最近出现了新的 AI 计算,可以处理双重信息类型。此外,现在大多数平台都具有计算机化,这些计算机化与用例或工作流程的问题目标类型有关。一些组织使用机器人数据自动化 (RDA) 来解决信息问题。这同时大大减少了对人类代祷的要求。加强网络安全事实上,即使创新取得了所有进展,网络安全之战仍然是组织最关心的问题。这一点尤其明显,因为更多的组织依赖于计算机化的工作流程和设备。通过这种方式,需要在协会内部使用尖端和集成的安全平台。AIOps 2022 展示了更多整合的安全和 IT 活动。利用人工智能,他们可以立即区分问题并在问题发生之前采取预防措施。它还可以一直额外支持框架正常运行时间和可靠性。例如,您可以对 AIOps 进行编程,以将常规访问与程序员访问或不可靠访问分开。一旦区分,它可以自动阻止任何可疑用户的 IP 地址。AIOps 将成为 DevOps 工具的一部分AIOps 为复杂的基础设施管理和云解决方案监控工具提供安全的解决方案。它可以帮助自动化数据分析和日常 DevOps 操作。由于传统的系统监控工具无法处理大数据的 3V,高级分析工具、人工智能算法和深度学习模型的出现使 DevOps 专业人员有效地实现了这一点。 AIOps 通过快速处理所有数据、执行深度数据分析和自动化日常任务来帮助 IT 部门。它帮助 DevOps 工程师监控和管理测试、性能和安全。文章来源:搜狐号千家智客原文链接:https://www.sohu.com/a/494766876_378752
  • [产品故事] 数字化转型:工业企业的应用实践
       本文内容选自2021中国DevOps社区峰会 · 大连站,姚炳雄老师分享的《数据驱动的模型工厂在工业企业的应用实践》文字实录。以下是演讲文字实录:   今天来到这个会上很感慨,也非常感谢DevOps社区给我这个机会,我是做DevOps出身的,现在很多年没讲过DevOps了。   我们现在是在一个船舶企业,主要服务于航运,这个相对来讲不知道大家的制造业都是什么行业,前面两位都是讲汽车,汽车是相对比较高端的,船是傻大笨粗的。   来之前说讲制造业,我想了想,因为我现在服务于船舶制造、航运,同时,还有一部分钢铁、烟草客户。这些企业负责人,无论IT负责人,还是企业的CEO,都问我这样的问题,什么是信息化,什么是数字化?二者有啥区别?业界关于此的大咖论坛也很多。不知道在座嘉宾你们的CEO、CTO问过你们这个问题没有。我个人理解,信息化是通过IT的手段为管理流程服务。提到信息化的时候,通常是先把业务流程梳理清楚,业务流程需要用什么应用系统去支撑它,这些应用系统该如何规划,哪些数据是要持久化,任何构建主数据……,同时,国家也在谈数字化,什么是数字化呢?感觉上它也是用二进制的数据手段啊,那数字化转型是什么概念呢?我的理解是,以前信息化是用信息的手段在支撑业务管理流程,业务管理流程持续沉淀了这么多年,信息化已经帮我采集沉淀了大量的数据,而这些数据已经变成了企业,尤其是制造企业的宝贵财富,但是其实我们在叫数据为财富之前,要打个引号,当它的存在不被利用,其实是一个埋有金银的大垃圾堆,真正能挖掘转换,创造出价值来,才会变成我们所叫的数据资产。但是如何把它挖掘出来,如何在原来应用系统的基础上去做数据的挖掘转换,让这些数据能够思考,并且能够驱动业务,形成新的增长点,这个我认为是一个数字化转型的过程。   我们说数字化转型和原来的信息化,其实是两个阶段不同的维度和方向,所以我今天的题目,我们公司现在做的尝试就是数据驱动的模型工厂在工业企业的实践,我们瞄准了这个方向,希望在沉淀了大量的数据的基础上去做数字化转型。怎么做,我们做了一个探索,基于这个基础,我来跟大家做一些分享。工业企业面临压力和挑战    今天虽说是制造业专场,在这里其实大部分应该是更大范畴的工业企业,先来说说工业企业的挑战,一句话,现在工业都很难,为什么呢?第一是中美对抗的影响。以前大家听到的一个词叫全球化,后来发现全球化好像变了,以美国为首的制造业在回归,是不是不搞全球化了,不是,其实全球化的大趋势并没有改,但现在是去中国之后的全球化。单独把中国划出去后,再搞全球化,希望借此把中国打压下去。另外,中国作为制造业大国,一直不是制造强国,中国的制造业从大量低端制造出发,包括了汽车和大飞机,感觉挺高大上的,但核心部件都依赖国外供应商。因此,制造业结构化供给侧改革,其实涉及到一个由大变强,如何逐渐摸到更高端的那些段位去的过程。一句话,制造业真的很难,也很穷,包括我们做一些应用系统,规模不小,金额确都很小,也许船舶这块就是特别穷一点。通过CPS,基于数据,发现新的价值空间   另外制造业其实又很实在,它跟金融、证券、保险比较起来,制造业每一个应用,都必须要回答,是降本还是增效,降多少,增多少,必须要说清楚,我也非常喜欢这种实在的。   我从业更多时间是在金融等务虚的领域做信息化,到制造业最大的感受是大家都很务实,投资一分钱,能收回多少回报,这是必须回答的入门问题,否则进不来门。而做数字化转型,需要先介绍它背后依赖的理论:CPS。最近有个特别热的概念叫数字孪生,就是在虚拟世界中,构建一个或多个和物理世界对应的孪生体模型,来模拟物理世界,而把物理世界和虚拟世界联通起来,通过虚拟世界的计算,指导物理世界,通过物理世界的实际运行产生的数据,提供给虚拟世界继续学习,并获得精进,这样形成一个体系,我们就把它叫做CPS,这是我们背后的理论。   我们说CPS有一个阶段性演进过程,从工控开始,然后是DCS采集设备工况数据,建立MES,再将MES和ERP连接起来,最后进入到物理空间赛博空间的连接互通,并相互作用,持续演进。这是制造业基于数字化转型的新架构。关键技术   在这里关键的技术,第一是物联网感知,因为物联网感知涉及数据的采集,我们说物联网感知采集的是大数据,我们多年的MIS系统也沉淀下来数据,那是小数据,大数据、小数据结合起来。   大数据底层用云平台支撑,再上面是数据分析和认知技术,在这个里面很有意思,我们逐渐的探索到,已经在这个体系里已经从软件工程走到了数据工程和数据科学,我们今天来讲DevOps,DevOps是软件工程,最开始的从瀑布式的软件开发到迭代,到敏捷,然后到今天用DevOps把开发运维统一起来,这个其实一直讲的是软件工程如何高效的交付软件,接下来走向新的时代,是要把软件工程加上数据工程,数据工程里所涉及到领域、过程和软件工程完全不一样,虽然中间有很多地方是可参考的,但是差别非常大,所以在这里更多的去讲到的可能是跟数据工程相关的。   传统软件工程中,对大数据领域的应用,通常是BI和ETL,ETL做数据转换,BI做呈现。现在这两块已经独立演进了,叫数据工程,数据工程里其实含两块,一块是数据科学,一块是数据工程。围绕着数据工程,包括数据源、数据存储、数据管道,数据的集成平台,数据平台,数据的存储以及ETL流程,数据的安全,数据的隐私保护,以及数据了治理和合规,等等。所有的这些领域其实都是数据工程相关的一些领域要去解决的问题,软件工程的一些实践可以加速数据工程的成熟,但毕竟是两回事。以数据为核心的数据系统建设的核心要素       在国内提数据工程比较少,在清华、北大等几个领先的高校里开了数据工程和数据科学这样的课程,但是在国外高校其实数据工程已经非常普及了,相对也成熟些,包括IBM、AWS、微软,几个大的巨头,都在往这个方向引领整个数据工程的发展。   整个数据工程的核心,从这个示意图里可以看到,首先底层的是基于硬件网络存储,在这个上面有数据工具平台,包括客户、员工、合作伙伴,所有的工具平台,数据工程涉及到从数据源到数据结果,整个采集转换过程,包括数据采集、处理、存储、安全,大量的ETL工具体系,编程语言,再上面是数据科学,数据科学主要在大数据算法上面,这里结合业务和底下的数据,来去做数理建模,机理建模,通过算法建立产品。数据产品经理其实跟传统的产品经理很类似,我们也可以看到,数据类的产品和纯软件交付的产品,其实也是有一些差异的,最上面是终端用户,这是它整个大的框,右边是一些数据治理相关的维度。航运业工业大数据案例    接下来想跟大家分享一下在航运企业里做的一个案例,这是我公司的一个产品。船舶和航运和所有的大工业企业一样,大而不强。从最近十年来看,中国的船舶制造业总吨位量已经超过了韩国、日本、美国,我们下饺子似的制造了很多船,但是这里面有一个特别可惜的地方,我们虽然造的船多,造的吨位大,船舶制造是离散型制造,所有的零部件都是买来的,组装的,而这里面核心设备,大部分却都是国外的,比如说发动机。另外还有高端船型,例如LNG船要高压、制冷、恒温、恒湿,我们能造,但量少,价格没竞争力。航运市场是完全国际化的竞争,例如,从澳洲运矿砂到中国,中国船可以运,美国的船也可以,谁报价低就是谁。因为竞争激烈,加上技术和管理跟不上,所以中国的船企往往竞争不过国外船东。为了改变这个状况,我们就买些好的、贵的发动机,买特别贵的高强度的螺旋桨,通过这些提升船舶性能,但最终的经济效益并没有那么好。   买船的目的是为了用船,航运和其他交通运输一样,只要你把货品从发货点送到目的地,跟你用多高端的发动机没关系,慢慢的,中国造船企业也从买好船走向了用好船,不一味地追求高端设备,而是去做好航运服务,从交付一个装备,到交付一个运输能力,从给你一个产品,到产品加服务的方式,来帮你更多的节油,更精准高效的把货物运达,这是瞄准的细分市场。   对于航运企业来讲,看重的是什么?一条大吨位的海船,例如30万吨的VLCC,其航运成本70%都是油耗,一天的油耗在40吨左右。于是我们把关注点放到油耗上。推出了SOMS船舶能效管理系统,可以帮船东节约5%的燃油,带来每年约450万元以上的成本。   原理是什么呢?首先在船上我们要有很多传感器。把所有的数据采集上来,通过海事卫星上到云上,再转到私有云,在私有云开始做运算,运算完了以后,再反过来把计算结果形成指令返回给这些船,让船长按照计算出来的要求去驾驶,以达到节油的效果,这是整个流程。这个原理有一点像我们老司机开车和新司机开车,老司机开车能省油,为什么呢?因为老司机能根据路况,灵活调整速度,以节油,船可以利用天气,海况中的风、浪、涌、流对船的影响很大,利用这些天气状况以及船自己的满载、空载,以及我需要到达的日期,可以精准的给船舶设定一个螺旋桨的转数,让它的按照自己最节油的方式去运行。这里包括机理模型,还有数理模型。岸海联动的数据采集   天气的数据来自于天气公司。船的数据采集过来后,入数据仓库,存在ODS层,清洗后装载进DW层,分析后入DM层,这些都属于数据中台,包括数据标准,原数据的标准,整个弄完以后归到数据资产里,整体是完全依赖于数据中台做的。   整个数据链路,从整个船的设计建造、交船,到营运,动态和静态很多,这个船本身的流线型的设计,也会影响到这个船本身。所以基于这些数据来一个一个的采集到,有些是静态的,是船出生带来的,有些是运营过程中带来的,有些是天气、海况以及航线,这些所有的综合因素加到一起,这是整个对于数据链路的梳理,建立实体关系图。   接下来是对它构建整个数据工程,数据工程是对整个数据的处理过程,首先从整个数据采集到,多数据源采集过来,然后同步到指定地方去校验,然后开始通过数据算法来使用它。从数据的源捕获,到最后整理归纳放到可被分析算法调用的库中,是我们说的数据工程的过程。   接下来有了这个数据以后,如何做分析,这个上面其实就涉及到一个建模,这个建模有两个类型,一个建模是在维度的建模,传统的数据仓库的建模,那是对数据分析和整理的其中一步,在ETL过程中通过转换,把它装载到已有的维度的,已经规划的维度的表里面去,接下来在上层的话,要建一些机理模型了数理模型,这是第二层建模,要结合业务,然后找到我用什么样的算法,然后同时来对这个算法做机器学习的训练,训练完了以后应用。   每条船会有自己的油耗模型,完成模型训练后开始服务,模型都需要版本化,包括版本、质量,如何部署。当训练完模型,实时数据上来,模型开始自动工作,这样形成完整的模型工厂。基于这个模型工厂,结合刚才的数据工程,就能把数据工程加数据科学完整的结合在一起,提供数字化转型的平台。   大家可以看到,前面分析的数据,是一个全域的数据,不仅仅服务于这一个应用,整个后面的模型工厂,这个模型工厂里面,在很多个应用上都可以复用这些数据,所以会发现当数据不断的入湖,不断的整理归纳,不断用数据工程的过程来整理,同时模型工厂不断的基于业务需求分解,来去做各种各样的应用,这就是我们所说的数字化转型和信息化过程的差异,慢慢的会逐渐的走入了数字化的时代,走入到数字化新的领域了,新的领域里不存在孤岛,通过数据工程整理以后,模型的应用对底下数据的应用其实是全域的,然后在这里,可以做到非常小的一个功能点,比如说就是船舶的调度,非常大的功能,例如航程经济性分析,一个航程的经济性分析,都可以基于现有的数据,现有的维度,在上面的算法来去做。当你把这两个底打下来以后,剩下的是往上的叠加,这个叠加有明确的指向性,要么降本,要么增效。数字化转型都是业务部门牵头的,信息化是IT部门牵头,到这里可以看到,沉淀了很多数据以后,全是业务部门很着急,我这有一堆数据,你帮理一下,把这个数据挖掘一下有什么新的价值,这个是未来的数字化时代的大的变革,真正的要让数据说话,要让数据产生价值,产生新的动能,新的基建和新的动能在这里。   通过这种船岸联动的模式,能构建整个大的服务体系,在服务体系的闭环中,我们有一直专业的数据服务团队,7*24小时在服务这些船队。   节省燃油本身又带来了一个碳排放的降低,所以其实未来可以挣两笔钱,当我们最终双碳经济真正启动的时候可以挣两笔钱,第一笔是省的油,第二笔是碳交易。​   这是在船端的展示,航行所有的船的技术参数以及将来要求它如何驾驶这条船,也是非常简单的信息,就是告诉你,从现在开始到明天什么时候用什么样的航速去走,特别直观的告诉他如何去动,但是背后的非常复杂的计算和经济油耗的节省,留给了IT人员和数据分析人员,他们分析报告,最后拿出一个总的报告出来。   当数据采回来以后,可以延伸出做很多管理,例如船舶健康管理、AI智能航行等。   目前和我们合作的已经有了非常多的船东、船级社,有将近20种船型。
  • [云运维] 敏捷开发专家一席谈:云原生技术下的DevOps实践之路
    DevOps最早在2009年被人提出,愿景非常美好,但真正实施起来困难重重。随着近几年微服务、容器等技术的兴起,使得企业对DevOps的需求更加迫切,实施变得更加容易,DevOps越来越被接受和重视。同样,为了应对业务的敏捷性持续发布,应用平台的弹性诉求,商业环境的变化,云原生时代已到来,云原生技术已经应用到企业核心业务。云原生与DevOps是什么关系?其技术优势如何与DevOps结合,才能更加高效便捷的实施呢?云原生时代下,DevOps的落地会遇到哪些困难?该如何解决?华为云是否有一些实践方案去应对?华为云社区邀请到了华为云DevCloud首席技术布道师徐毅,听他讲述云原生技术下的DevOps实践。从需求侧、平台侧、商业侧等方面来看,云原生产生的业务背景是什么?众所周知,很多变革都始于技术。技术经由积累产生势能,这些新的技术释放出很强大的生产力并带来创新,满足用户和客户新需求的爆发,从而需求驱动技术的迅速普及和优化,最终带来商业的繁荣。云原生应该是云化的延伸,在云的发展初期,并非所有的产品技术都是云原生的,随着云计算技术的不断发展,云原生的应用和系统能够更好的满足需求侧在功能和非功能各方面的诉求。从云到云原生这个过程来看,在当下创新加速的VUCA时代,也带来了一系列的变化:需求变化快,但方向暂不清楚,这就需要IT信息化支撑业务创造的过程更灵活、反应更快速;在业务板块创造出来之后,会面临着业务使用的强度和频率是不固定的,所以就需要支撑业务供给的灵活性和快速响应的速度;当下的用户需求和业务的颗粒度,随着市场发展越来越小,所以能够迅速把握市场动态、完成业务创造、提供业务这个全过程周期的速度也变得非常重要,还需要能够拉通整个组织。但不同职能组织都有自己的不同目标,无法做到说改变就改变。云原生技术的发展,使得各个职能组织去支持、去改变的难度越来越低、投入越来越小,大家更愿意拉通和协作,从而在商业侧能够给企业带来更大的竞争优势。云原生时代,在享受架构解耦与云端弹性带来的便利同时,对软件研发与交付模式提出了更高的要求,如何才能真正做到云原生下价值交付的的成功?是否有几个关键要素?首先要掌握架构解耦、云端弹性等相关技术,具备研发能力,这是第一要素。把技术能力运用起来在平衡中去解决业务问题,不能太过于完美主义。例如面对一个遗留系统,是一步到位解耦完毕还是循序渐进呢?分析业务现状的问题并针对性地应用云原生技术能力去解决,去创作价值,是第二个关键要素。第三是团队通力协作的能力。作为团队的基础,团队的每个成员都具备充分的技术能力,这样团队的能力可以等同于团队成员的合力。团队成员之间通过协作能够产生的化学效应,那将会带来乘数甚至指数级的效应,就不只是1+1=2的效果了。第四是组织变革能力。新组织可以直接招募具备云原生技术的成员组建团队,这样带来的好处就是大家没有遗留系统,理解业务就好。如果是一个现成的组织,那么团队成员既要边学习和掌握新技能,边继续发展业务,就如同“给行驶中的汽车换轮子”。这时就需要一种软实力来打消大家的顾虑,推动往云原生的交付模式转变。在一些云原生概念的描述中,DevOps被定义为云原生的关键技术之一。云原生与DevOps的关系是是什么呢?普通DevOps与云原生的DevOps有何不同?按照CNCF的说法,容器、微服务等被认作是云原生技术。DevOps主要是指一种工作方式或模式,它帮助拉通整个价值创造过程中各环节的人和组织,通力协作缩短价值创造的周期时间。在这个过程中,就需要从人、工具和流程方法三个维度去改变。如何区分普通DevOps和云原生DevOps,主要看一个组织在应用DevOps的过程中,是否使用云原生技术开发应用或者系统。举例来讲,DevOps开发一个传统的单机应用,不需要开发人员掌握容器或微服务等技术,对部署和发布的自动化要求也不高,或许也不需要灰度发布、应用监控等功能,往往只需应用几个DevOps工具就能够满足需求。当然,它是被定义为DevOps,所以代码提交之后的编译构建、测试、打包、安装启动等,都要能够以全自动化的方式完成,无需人工干预,那这个应用的研发过程就是一个普通的DevOps。云原生模式严格意义上来说,是你整个应用的生产过程都在云上,需求在云端的系统上管理,代码存放和评审、测试用例都在云上进行,甚至日常交流、开会等方面也都在云上进行,这就是比较彻底的云原生DevOps。这时就需要一个可以拉通各个环节的云原生DevOps工具的平台,我们称之为一站式云原生DevOps平台。云原生的DevOps对于开发者来说,意味着什么?如何尽快在实际工作中实践?应该说是未来的趋势。个人开发者可以利用云厂商提供的便利,以极低的成本,去学习和实践云原生DevOps开发的全过程,掌握运用各种云原生技术,去创造价值。同时,开发者要从自身的长远发展出发,自己的未来自己做主,不要仅仅依赖于工作中实践,可以考虑去主动的投资学习。毕竟自身能力的提升是带来更大回报的最常见手段,其他手段都依赖于能力的提升。在云原生2.0的趋势下,越来越成熟的云原生技术化解了开发者的诸多难题,开发者突破个人职业瓶颈的核心关键是掌握1+N关键能力,就是1个DevOps平台加上N套技术栈,再配合云原生提供的开发能力,开启第二曲线。想了解更多,可以直击文章《云原生开发者须具备的1+N技能,开启第二曲线》中做了详细的解读。