-
1.1.8 业务场景常见的业务处理场景「Web 应用/移动应用后端」Serverless 架构和云厂商所提供的其他云产品进行结合,开发者能够构建可弹性扩展的移动或 Web 应用程序 – 轻松创建丰富的无服务器后端,而且这些程序可在多个数据中心高可用运行,无须在可扩展性、备份冗余方面执行任何管理工作。例如 Web 应用处理示例:「实时文件/数据处理」视频应用、社交应用等场景下,用户上传的图片、音视频往往总量大、频率高,对处理系统的实时性和并发能力都有较高的要求。例如:对于用户上传的图片,可以使用多个函数对其分别处理,包括图片的压缩、格式转换、鉴黄鉴恐等,以满足不同场景下的需求。例如:通过 Serverless 架构所支持的丰富的事件源,通过事件触发机制,可以通过几行代码和简单的配置对数据进行实时处理,例如:对对象存储压缩包进行解压、对日志或数据库中的数据进行清洗、对 MNS 消息进行自定义消费等:「离线数据处理」通常要对大数据进行处理,需要搭建 Hadoop 或者 Spark 等相关大数据的框架,同时要有一个处理数据的集群。通过 Serverless 技术,只需要将获得到的数据不断的存储到对象存储,并且通过对象存储相关触发器触发数据拆分函数进行相关数据或者任务的拆分,然后再调用相关处理函数,处理完成之后,存储到云数据库中。例如:某证券公司每 12 小时统计一次该时段的交易情况并整理出该时段交易量 Top 5;每天处理一遍秒杀网站的交易流日志获取因售罄而导致的错误从而分析商品热度和趋势等。函数计算近乎无限扩容的能力可以使用户轻松地进行大容量数据的计算。利用 Serverless 架构可以对源数据并发执行多个 mapper 和 reducer 函数,在短时间内完成工作;相比传统的工作方式,使用 Serverless 架构更能避免资源的闲置浪费从而节省成本,整个流程可以简化为:「人工智能领域」在 AI 模型完成训练后,对外提供推理服务时,可以使用 Serverless 架构,通过将数据模型包装在调用函数中,在实际用户请求到达时再运行代码。相对于传统的推理预测,这样做的好处是无论是函数模块还是后端的 GPU 服务器,以及对接的其他相关的机器学习服务,都是可以进行按量付费以及自动伸缩,从而保证性能的同时也确保了服务的稳定:「IoT 等物联网领域」目前很多厂商都在推出自己的智能音箱产品,用户可以对智能音箱说出一句话,智能音箱可以通过互联网将这句话传递给后端服务,然后获得到反馈结果,再返回给用户。通过 Serverless 架构,可以将 API 网关、云函数以及数据库产品进行结合来替代传统的服务器或者是虚拟机等。通过这样的一个架构,一方面,可以确保资源的按量付费,只有在使用的时候,函数部分才会计费,另一方面当用户量增加之后,通过 Serverless 实现的智能音箱系统的后端,也会进行弹性伸缩,可以保证用户侧的服务稳定,当要对其中某个功能进行维护,相当于对单个函数进行维护,并不会对主流程产生额外风险。相对来说会更加安全、稳定等:「监控与自动化运维」在实际生产中,经常需要做一些监控脚本来监控网站服务或者 API 服务是否健康,包括是否可用、响应速度等。传统的方法是通过一些网站监控平台 (如阿里云监控等)来进行监控和告警服务,这些监控平台的原理是通过用户自己设置要监控的网址和预期的时间阈值,由监控平台部署在各地区的服务器定期发起请求对网站或服务的可用性进行判断。当然,这些服务很多都是大众化的,虽然说通用性很强,但是实际上并不一定适合。例如,现在需要监控某网站状态码,不同区域的延时,并且设置一个延时阈值,当网站状态异常或者延时过大时,通过邮件等进行通知告警,针对这样一个定制化需求,目前来说大部分的监控平台很难直接实现,所以定制开发一个网站状态监控工具就显得尤为重要。除此之外,在实际的生产运维中,还非常有必要对所使用的云服务进行监控和告警,例如在使用 Hadoop、Spark 的时候要对节点的健康进行监控;在使用 K8S 的时候要对 API Server、ETCD 等多维度的指标进行监控;在使用 Kafka 的时候,也要对数据积压量,以及Topic、Consumer等指标进行监控;这些服务的监控,往往不能通过简单的 URL 以及某些状态来进行判断,在传统的运维中,通常会在额外的机器上设置一个定时任务,对相关的服务进行旁路监控。Serverless 架构的一个很重要应用场景就是运维、监控与告警,通过与定时触发器进行结合使用,可以非常简单地实现某些资源健康状态监控与感知,并进行一些告警功能建设、自动化运维能力建设:总结从虚拟空间到云主机,从自建数据库等业务,到云数据库等服务,云计算的发展是迅速地,未来的方向和形态却是模糊的,没人知道云计算的终态是什么。诚然,现在有人说 Serverless 实现了当初了云计算目标,Serverless才是真正的云计算,但是没人可以肯定地说,Serverless 就是云计算的终态表现,客观地说,或许,Serverless 也仅仅是一个过渡的产物,但是这就要交给时间去验证了。
-
1.1.7 应用场景Serverless 架构作为云原生技术未来的演进方向,无服务器架构技术也从观望逐渐落地,据 Gartner 的过往预测数据显示:到 2020 年全球将有 20% 的企业部署无服务器架构。Serverless 将进一步释放云计算的能力,将安全、可靠、可伸缩等需求交由基础设施实现,使用户仅需关注业务逻辑而无需关注具体部署和运行,极大地提高应用开发效率。同时这个方式促进了社会分工协作,云厂商可以进一步通过规模化、集约化实现计算成本大幅优化。聚焦业务核心价值随着云服务的发展,计算资源被高度抽象化,从物理机到云服务器,再到容器服务,计算资源逐渐变得更加细腻化。Serverless 架构将会成为未来云计算领域中重要的技术架构,被更多的业务所采纳,成为其技术选型,那么再进一步的深究,Serverless 在什么场景下可以有非常优秀的表现,在什么类型的场景下可能表现得并不是很理想呢?或者说,有哪些场景更适合 Serverless 架构呢?Serverless架构的应用场景,通常是由其特性决定方向,所支持的触发器决定具体场景。CNCF Serverless Whitepaper v1.0 所描述的用户场景如图上图所示,在 CNCFServerless Whitepaper v1.0 关于 Serverless 架构所适合的用户场景包括:异步的并发,组件可独立部署和扩展的场景应对突发或服务使用量不可预测的场景短暂、无状态的应用,对冷启动时间不敏感的场景需要快速开发迭代的业务,因为无需提前申请资源,因此可以加快业务上线速度CNCF 基于 Serverless 架构的特性给出了四个用户场景之外,还结合常见的触发器提供了详细的例子:响应数据库更改 (插入、更新、触发、删除) 的执行逻辑对物联网传感器输入消息 (如 MQTT 消息) 进行分析处理流处理 (分析或修改动态数据)管理单次提取、转换和存储需要在短时间内进行大量处理 (ETL)通过聊天机器人界面提供认知计算 (异步)调度短时间内执行的任务,例如 CRON 或批处理的调用机器学习和人工智能模型持续集成管道,按需为构建作业提供资源,而不是保持一个构建从主机池等待作业分派的任务以上是从理论上描述了 Serverless 架构适合的场景或业务,云厂商将会站在自身的业务角度,整体来描述 Serverless 架构的典型场景。通常情况下,对象存储为触发器在 Serverless 架构的典型应用场景包括视频处理、数据 ETL 处理等;API 网关更多会为用户赋能对外的访问链接以及相关联的功能等,当以 API 网关作为 Serverless 相关产品的触发器时,常见的应用场景就是后端服务,包括 App 的后端服务,网站的后端服务甚至是微信小程序等相关产品的后端服务,同时像一些智能音箱也会开放相关的接口,这个接口也是可以通过 API 网关出发云函数,获得相应的服务等;除了对象存储触发以及 API 网关触发,常见的触发器还有消息队列触发器,Kafka 触发器,日志触发器等。
-
1.1.6 架构优势在 2017 年,CNCF Serverless WG 成立了,并且开始以社区的力量推动 Serverless 快速前行,包括 CNCF Serverless Whitepaper、CloudEvents 等相关的立项研究与探索,2017 年末,eWEEK 的 ChrisJ. Preimesberger 发表文章Predictions 2018: Why ServerlessProcessing May Be Wave of the Future 来表达在 “全新的阶段下” 大家对 Serverless 的看法和期盼,在这篇文章中诸多来自知名团队以及公司的相关负责人对 Serverless 表达了自己的想法:Serverless 可能是继容器之后的未来,可以预见 Serverless 将不断扩大影响力;重塑软件的构建方式。而到了 2018 年,Serverless 的发展速度要比想象中的更加快速,国内外云厂商不断发力推出新技术,同年 CNCF 也正式发布了 Serverless 领域的白皮书:CNCF Serverless Whitepaper V1.0,阐明 Serverless 技术概况、生态系统状态,为 CNCF 的下一步动作做指导。同时 CloudEvnent 规范,进入 CNCF Sandbox。在这一年,UC Berkeley 发文 Serverless Computing: One Step Forward, Two Steps Back,表达了对 Serverless 的担忧和挑战,作者认为 Serverless 会对开源服务创新有所阻塞。其实,任何一个新的技术、概念出现都会遇到一定的挑战和担忧,就如同当年云计算出现时,也被一些人认为只是又一个商业炒作的概念,当然事实也证明,任何一个新的事物,只有在经历各种挑战和质疑之后,才能更茁壮地成长。从 2019 年开始,Serverless 进入到了一个真正意义上的生产应用,最佳实践快速发展阶段,这一年对 Serverless 而言是具有里程碑式意义的,被很多人定义为 “Serverless 正式发展的元年”。在这一年不仅有 KubeCon 在中国上海的 CloudNativeCon 中关于 Serverless 的 “海量主题演讲”,更有 UC Berkeley 最新的文章,Cloud Programming Simplified: A Berkeley View on Serverless Computing。在这篇文章中,经历了一年的发展,UC Berkeley 的学者们也从一年前的质疑,悲观转变成了自信与期待,并这篇文章中犀利断言 Serverless 将会在接下来的十年被采用并得到飞速的发展,认为 Serverless 将引领云计算的下一个十年,并且重点阐述了以下新观点:1、新的 BaaS 存储服务会被发明,以扩展在 Serverless 计算上能够运行更加适配的应用程序类型。这样的存储能够与本地块存储的性能相匹配,而且具有临时和持久可供选择。2、比现有的 x86 微处理器更多的异构计算机。3、更加安全、易用的编程,不仅具有高级语言的抽象能力,还有很好的细粒度的隔离性。4、基于 Serverless 计算的价格将低于 Serverful 计算,至少不会高于 Serverful 计算。5、Serverless 将会接入更多的后台支撑服务,如 OLTP 数据库、消息队列服务等。6、Serverless 计算一旦取得技术上的突破,将会导致 Serverful 服务的下滑。7、Serverless 将会成为云时代默认的计算范式,将会取代 Serverful 计算,因此也意味着服务器 - 客户端模式的终结。可以看到,从 IaaS 到 FaaS 再到 SaaS,再到如今的 Serverless,云计算的发展在近十余年中发生了翻天覆地的变化,相信随着 5G 时代的到来,Serverless 将会在更多领域发挥至关重要的作用。
-
1.1.5 生态工具除Serverless Framework之外,Serverless Devs同样是无厂商锁定的多云开发者工具。目前按照Serverless Devs的官方仓库显示,其已经支持AWS Lambda,阿里云函数计算,腾讯云云函数,华为云Serverless工作流以及百度智能云函数计算等产品。与Serverless Framework不同的是,Serverless Devs主打的是Serverless应用全生命周期管理工具。如下图所示,以阿里云函数计算为例,Serverless Devs可以支持包括脚手架、调试、发布、运维等多个流程多种功能:另外值得一提的是,Serverless Devs不仅支持拥有完善的工具链产品,其在2021年还对外正式发布Serverless Devs Model(Serverless开发者工具模型:SDM):通过Serverless Devs,开发者同样可以非常简单快速的使用各个厂商/平台的Serverless产品,以阿里云函数计算为例:# 安装 npm install -g @serverless-devs/s # 配置密钥 s config add --AccessKeyID AccessKeyID --AccessKeySecret AccessKeySecret # 创建一个项目 s init node.js12-http -d fc-hello-world-demo # 进入项目 cd fc-hello-world-demo # 部署项目 s deploy开发框架在传统架构下,开发者想要进行业务开发有着诸多的开发者个框架可供选择,以Web框架为例,Node.js语言类的有Expree.js,Nuxt.js,Egg.js等,Python语言类的有Django,Flask等,Java类的也有SpringBoot等,但是随着Serverless架构的不断发展,传统框架迁移到Serverless是一种解决Serverless应用开发者框架匮乏的方案之一,但是实际上这些框架并不是针对Serverles是架构设计的,很有可能有诸多的优秀特性丧失,例如某些框架的异步处理能力,尽管Serverless平台都已经提供了异步触发能力,但是框架本身的异步处理能力在Serverless架构下就很难被利用起来,所以针对Serverless架构所设计的Serverless First框架,就显得尤为重要。目前在社区生态中,有诸多优秀的Serverless应用层面的开发者框架,例如基于原有 Midway 的 IoC 体系设计,复用原有装饰器和解耦能力的同时,将代码分解到不同的函数中,并发布到各个云平台的Midway Serverless;基于 TypeScript 的 Serverless First、组件化、平台无关的渐进式应用框架Malagu等。以Midway Serverless为例,Midway Serverless 是用于构建 Node.js 云函数的 Serverless 框架,帮助开发者在云原生时代大幅降低维护成本,更专注于产品研发。Midway Serverless拥有诸多优点,例如:跨云厂商:一份代码可在多个云平台间快速部署,不用担心产品会被云厂商所绑定。云端一体化:提供了多套和社区前端 React、Vue 等融合一体化开发的方案。代码复用:通过框架的依赖注入能力,让每一部分逻辑单元都天然可复用,可以快速方便地组合以生成复杂的应用。传统迁移:通过框架的运行时扩展能力,让 Egg.js 、Koa、Express.js 等传统应用无缝迁移至各云厂商的云函数通过该框架,开发者可以快速构建的全栈应用,也可以发布的函数服务,Restful 接口等,也可以加上前端(react,vue)代码构建中后台项目,也可以使用 Midway 提供的方案迁移传统的 Egg/Koa/Express 应用上弹性容器等。以全栈应用为例:# 安装 npm i @midwayjs/faas-cli -g # 创建一个项目 f create --template-package=@midwayjs-examples/midway-hooks-react # 部署项目 f deploy除Midway Serverless之外,Malagu也是一款社区驱动的Serverless First框架。Malagu 是基于 TypeScript 的 Serverless First、组件化、平台无关的渐进式应用框架,又叫 M 框架。使用同一套编程语言和 IoC 设计,用于开发前端、后端和前后端一体化应用。并且结合了 OOP(面向对象编程)、AOP(面向切面编程)等元素,借鉴了很多 Spring Boot 设计思想。在后端,Malagu 抽象一套接口,方便适配任意的平台和基础框架,是一个平台或基础框架无关的上层框架。平台如阿里云函数计算、腾讯云云函数、AWS Lambda、Vercel 等,基础框架如 Express、Koa、Fastify 等。与大部分传统开发框架不同的是,Malagu 是一个全栈应用开发框架,如果只看后端部分,Malagu 与 Spring Boot 是同一层次的东西,如果只看前端部分,Malagu 是 React、Vue 等前端框架之上的更上层的抽象,所以 Malagu 是前端框架无关的。Malagu 与传统框架比较,Malagu 提供了前后端渐进式一体化方案,在前后端之上做了一层抽象,让前后端在开发、测试、部署拥有一致的体验。传统框架一般不考虑应用部署环节,Malagu 借助 Serverless 技术优势,让部署环节变得流畅且低成本。另外,Malagu 也是一个 Serverless 优先的框架,屏蔽了 Serverless 底层的细节,开箱即用。针对 Serverless 场景做了很多优化,如冷启动、数据库操作等等;同时,也提供了很多开箱即用的能力,比如安全、认证与授权、OAuth2.0、OIDC、数据库操作、缓存、前端框架集成、依赖注入、AOP、微服务等。
-
1.1.4 生态发展Serverless架构的发展,离不开云厂商的驱动,离不开开源社区的支持,在过去的几年时间,无论是高校、实验室、云厂商等对Serverless架构的研究,还是CNCF等基金会对Serverless架构的持续关注和赋能,还是其他的Serverless社区、开源项目对Serverless架构的建设,Serverless架构都在逐渐的成为更通用,更好用的技术架构,都在成为更简单、更具价值的技术选型。学术建设Serverless架构从诞生到今天,正在逐渐的被更多人所关注,包括学术界也逐渐有越来越多的人,将目光投向Serverless架构,助力Serverless领域快速腾飞。这一部分,将会通过部分论文对Serverless架构在学术界的建设进行初步的分析和探索。2018年,Serverless的发展速度要比想象中的更加快速,这一年UC Berkeley发文《Serverless Computing: One Step Forward, Two Steps Back》,表达了对Serverless架构的担忧和挑战,在这篇文章中,作者认为“通过提供自动缩放功能,今天的FaaS产品在云编程方面迈出了一大步,它提供了一种实际上可管理的,看似无限的计算平台。但是,他们忽略了高效数据处理的重要性;其次,它们阻碍了分布式系统的开发”。任何一个新的技术、概念出现都会遇到一定的挑战和担忧,就如同当年云计算出现时,也被一些人(如Oracle公司总裁Larry Ellison、GNU发起人Richard Stallman)认为只是又一个商业炒作的概念,毫无新意,甚至蠢不可及。当然,事实也证明,任何一个新的事物,都只有在经历各种挑战和质疑之后,才能更茁壮的成长,Serverless也不例外。2019年,时隔一年,UC Berkeley针对Serverless架构再次发文《Cloud Programming Simplified: A Berkeley View on Serverless Computing》,在这篇文章中,作者犀利断言Serverless 将会在接下来十年被迅速采用,获得飞速发展,并对Serverless架构进行了更为激进的断言:Serverless 将会成为云时代默认的计算范式,将会取代 Serverful 计算,这也意味着服务器 - 客户端模式的终结,Serverless架构将会引领云计算的下一个十年。在学术界,不仅仅UC Berkeley 对Serverless发表过多篇论文,很多国内外高校都在Serverless领域投入了足够的精力进行科研探索。就目前来看, Serverless 已经成为学术界的研究热点,每年Serverless架构相关的论文都有比较明显的增长趋势:(该图片来自掘金社区)而到了2021年,Serverless架构在学术界的论文数量不仅仅再次上升,其研究内容和方向也是越发的完善和全面,其中包括不限于冷启动优化、镜像加速、调度策略、缓存机制等诸多热点问题。以阿里云函数计算团队和美国George Mason University Leap Lab合作发表在顶会USENIX ATC (USENIX Annual Technical Conference) 的论文《FaaSNet: Scalable and Fast Provisioning of Custom Serverless Container Runtimes at Alibaba Cloud Function Compute》为例,在文章中就针对容器镜像生态与Serverless架构结合之后的问题“镜像拉取与冷启动优化”问题进行了更为深入的探索,在加速镜像的分发速度方面,常见的业界成熟的 P2P 方案没有做到 function 级别的感知,并且集群内的拓扑逻辑大多为全连接的网络模式,对机器的性能提出了一定需求,这些前置设定不适配 FC ECS 的系统实现,为此设计并提出了一个具有高伸缩性的轻量级系统中间件FaaSNet,FaaSNet利用到镜像加速格式进行容器分发,目标作用场景是 FaaS 中突发流量下的大规模容器镜像启动(函数冷启动),FaaSNet 的核心组件包含 Function Tree (FT),是一个去中心化的、自平衡的二叉树状拓扑结构,树状拓扑结构中的所有节点全部等价。FaaSNet 可以根据 workload 的动态性实现实时组网已达到 function-awareness,无须做预先的 workload分析与预处理,进而帮助Serverless平台解锁高伸缩性和快速的镜像分发速度技术瓶颈,赋能自定义容器镜像场景的更为深入和广泛的应用。除此之外,作为云计算领域的顶级会议SoCC,在2021年接收的论文中,也可以看到诸多Serverless架构的影子,例如以Microsoft Azure Functions作为实验平台的论文《FaaT:ATransparentAuto−ScalingCacheforServerlessApplications》,针对Serverless架构中函数stateless的特点,针对FaaS平台的Cache问题,提出了一种用于Serverless应用程序的自动伸缩分布式缓存FaaT: A Transparent Auto-Scaling Cache for Serverless Applications》,针对Serverless架构中函数 stateless 的特点,针对FaaS平台的Cache问题,提出了一种用于Serverless应用程序的自动伸缩分布式缓存FaaT:ATransparentAuto−ScalingCacheforServerlessApplications》,针对Serverless架构中函数stateless的特点,针对FaaS平台的Cache问题,提出了一种用于Serverless应用程序的自动伸缩分布式缓存FaaT,可以大幅度提升 Serverless 函数的性能,与已有的通过外部存储作为 Cache 系统的方法相比,Faa$T可以降低绝大多数的开销。另一篇文章《ServerMore: Opportunistic Execution of Serverless Functions in the Cloud》针对Serverless函数短执行时间与低资源需求的特点,介绍了一种服务器级资源管理器ServerMore,可将Serverless 函数与 Serverful 的虚拟机调度在同一台物理机上执行任务,ServerMore 动态调节服务器上的 CPU、内存带宽和 LLC 资源,以确保 Serverful 和 Serverless 工作负载之间的托管不会影响应用程序tail latencies。通过选择性地使用Serverless架构并推断相对黑盒的Serverful工作负载的性能,ServerMore 与之前的模式相比,平均提高了 35.9% 到 245% 的资源利用率;同时对 Serverful 应用程序和 Serverless 架构的延迟影响最小。Serverless架构的学术研究日渐火热,各领域的顶会也出现了诸多优秀的Serverless架构相关论文,这不仅有助于Serverless学术生态的繁荣,也非常有助于突破Serverless架构的技术瓶颈,实现云计算领域技术架构升级。除此之外,近年来国内的Serverless图书专著也逐渐多了起来,仅仅2021年一年的时间就先后有包括《前端Serverless:面向全栈的无服务器架构实战》、《Serverless从入门到进阶:架构、原理与实践》、《Serverless工程实践:从入门到进阶》、《华为Serverless核心技术与实践》等在内的图书被出版,大大丰富了国内的Serverless培训与教育的资料生态。随着时间的发展,Serverless架构在更多领域发挥着越来越重要的作用,在被更多人关注的同时,Serverless架构也逐渐的成为了诸多学者、实验室的研究对象,如何将学术和工业进行有机结合,如何通过工业赋能学术届的科研,通过学术届的科研赋能工业界技术架构的迭代升级,赋能整个行业的前进,这不仅仅是Serverless架构需要做的,也是如今的Serverless架构正在做的。工具链建设Serverless 正在改变未来软件开发的模式和流程,并被预测将引领云计算的下一个 10 年,但尽管如此,开发者在选择使用 Serverless 时仍有诸多担忧,这其中最受关注的无疑就是工具链体系的匮乏。所谓的工具链匮乏,一方面表现在市面上工具链不完善,这导致开发和部署难度大,进而增加成本;另一方面表现在,缺乏相关的工具链在体验层将 Serverless 体验进一步规范,优质工具链的匮乏导致本来就担心被厂商绑定的 Serverless 开发者变得更难与厂商解绑。2020年 10月,中国信息通信研究院发布国内首个《云原生用户调查报告》明确指出在使用 Serverless 架构之前,49% 的用户考虑部署成本,26% 的用户考虑厂商绑定情况,24% 的用户考虑相关工具集完善程度,这些数据背后透露的实际上是:开发者对于完善工具链的强烈需求。尽管,有一些开发者认为入门Serverless架构,通过白屏化的操作相对来说会更容易入门,在一定程度上通过各个云厂商的控制台进行函数的创建、更新也会更为方便。但是不可否定的是,Serverless开发者工具在一定程度上却有着更为重要的价值和作用:通过脚手架,快速创建Serverless架构的应用;在开发过程中,通过开发者工具进行应用的调试等;在开发完成之后,通过开发者工具将应用(可能包括多个函数以及相对应的BaaS类产品)一键部署到线上;项目运维阶段,通过开发者工具进行项目的可观测以及问题定位等;若需要实现科学部署,通过某些CI/CD平台/工具发布Serverless架构的应用,通常是离不开开发者工具的;目前Serverless领域,工具链建设分为两类:云厂商/Serverless框架所提供的针对自身的开发者工具,例如AWS的SAM CLI,阿里云的Funcraft,OpenWhisk的Ask等;由第三方提供的多云开发者框架(包括不限于开源社区驱动),例如Serverless Framework项目,Serverless Devs项目等;通过Serverless开发者工具,开发者可以非常简单的学习和使用Serverless架构,也可以在生产的过程中快速的使用这些工具进行开发效能的提升。以Serverless Framework为例,作为拥有近4万Star的海外老牌Serverless工具链开源项目,目前Serverless.com的官方网站支持11个常见的Serverless平台产品:可以通过Serverless Framework开发者工具,以AWS Lambda为例进行实践,可以通过几行命令快速体验AWS Lambda:# 安装 npm install -g serverless # 配置密钥 serverless config credentials --provider aws --key key--secret secret # 创建一个项目 serverless create --template aws-python3 --path my-service # 进入项目 cd my-service # 部署项目 serverless deploy -v除了对项目的部署和发布操作之外,Serverless Framework还支持项目的删除,回滚等更多的操作,以常见的部分云厂商和开源项目为例,Serverless Framework的常见能力表如下:
-
1.1.3 工作原理作为云时代新的计算范式,Serverless架构本身属于一种天然的分布式架构,其工作原理与传统架构虽没有翻天覆地的变化,但也是有细微的不同。如下图所示,传统架构下,开发者开发完成应用之后,还需要购买虚拟机服务,初始运行环境,安装需要的软件(例如MySQL等数据库软件,Nginx等服务器软件等),完成环境的准备之后,还需要上传开发好的业务代码,启动该应用,此时用户才可以通过网络请求,成功的访问到目标应用。此时,如果应用的请求量过大或者过小时,开发者或运维人员,还需要针对实际的请求数量进行相关资源的扩充或缩容,并在负载均衡&反向代理模块增加相对应的策略,以确保扩缩容操作的及时生效,当然,在做这些操作的时候还要保证线上用户不会受到影响。而在Serverless架构下,整个应用发布的过程和工作的原理,将会发生一定的变化:如上图所示,当开发者开发完整业务代码之后,只需要部署或更新到对应的FaaS平台即可,完成之后根据真实的业务需求,进行相关的触发器配置,例如为了对外提供Web应用服务,可以配置HTTP触发器等,此时用户就可以通过网络,访问到开发者所发布的应用。在这个过程中,开发者不需要再额外关注服务器的购买,运维等相关的操作,也无需对一些软件的安装,应用资源的扩缩容进行额外的精力支出,开发者所需要关注的仅仅是自身的业务逻辑,至于在传统架构下需要安装配的各种服务器软件等,均变成配置项交给云厂商来管理,同样,传统架构下需要根据服务器的利用进行资源的扩缩行为,也全都自动化的交给云厂商来实现。在整个Serverless工作的流程中,不难发现FaaS平台实际上会作为计算资源,承载着诸多核心能力,包括不限于执行开发者的业务代码,自动进行资源的扩缩等操作,那么Serverless架构中的FaaS平台是什么样子的呢?通常情况下一个简化的Faas系统分为APIServer,Scheduler,ResourceManager,NodeService,ContainerService一共有5个组件。如上图所示:APIServer往往对外暴露整体能力的API服务,例如invokeFunction的功能等;Scheduler模块用于管理系统的Container,例如APIServer通过Scheduler获得可以执行Function的Container;ResourceManager模块用来管理系统里的Node,负责申请和释放,可以认为Node对应于虚拟机,占用虚拟机需要一定的成本,因此Scheduler的一个目标是如何最大化的利用Node,比如尽量创建足够多的Container,不用的Node应该尽快释放。当然申请和释放Node又需要一定的时间,造成延迟增加,Scheduler需要平衡延迟和资源使用时间;NodeService管理单个Node上创建和销毁Container,Node可以认为是一个虚拟机,Scheduler可以在Node上创建用于执行Function的Container;ContainerService用于执行函数;正是这些组件或者模块的联动,才得以让FaaS平台可以为应用提供更为稳定、安全,性能更高的技术支持;对FaaS平台的组成结构有了初步了解之后,可以进一步探索一下FaaS平台的工作流程。如上图所示,当开发者把代码和配置交付到FaaS平台之后,FaaS平台并不会按照用户的预定配置进行资源的分配,而是会将这一部分的内容进行持久化。只有请求到来时,FaaS平台才会根据真实流量进行资源的分配。从FaaS平台接受到函数调用或者被触发的请求时,到函数正式执行并反馈最终结果,粗略的可以认为是两个过程。容器&Runtime准备阶段:这个阶段主要是进行相关的资源准备,例如某些计算资源的准备,某些网络资源的准备等,准备好这些资源之后,系统会根据用户的函数进行相对应的代码的下载,然后在进行实例的启动;这个过程通常也可以认为是冷启动的过程;函数执行阶段:函数执行阶段指的是实例启动之后,函数代码进行初始化以及指定方法执行的过程。当然,在某些开发者眼中,或者某些平台的定义中,代码初始化的过程往往也会被算作是资源准备阶段;当函数执行完成之后,返回了结果之后,就意味着本次触发已经完成。此时函启动的实例通常会有三种处理方案:实例会被搁置一段时间,如果搁置的这段时间内,没有被分配处理新的触发请求,实例会被释放掉;实例会被搁置一段时间,但是在搁置的这段时间内,被分配处理新的触发请求,此时实例会处理新的触发请求;实例由于一些特殊的配置,被标记为长期活跃实例,即使被搁置很久(超过释放的时间阈值)也不会被释放;通过上面所表述的三种处理方法,不难发现实例是可能存在被复用的情况,所以函数在被触发的时候,通常也可能会有两种可能:当前时间段,并没有已经准备好且可以被利用的实例(例如函数的首次调用/触发),此时FaaS平台会全新启动实例,包括容器&Runtime准备以及函数执行等;当前阶段,有已经准备好且可以被利用的实例(例如上述函数执行完成的三种情况中的2,3情况),此时FaaS平台会优先复用已存在的实例,以避免再次进行容器&Runtime准备而浪费时间,提升请求效率,降低请求时延;由此也可见,Serverless架构之所以被认为是天然分布式架构,其原因是Serverless架构的模型实现,是请求级别的隔离,可以认为每次请求都可能会出现一个实例(部分厂商提供的单实例多病发的情况除外),即同一时间段的请求数量会和实例数量成正相关。除此之外,还值得注意的是,Serverless应用是由事件驱动的,即FaaS平台中的函数是由事件触发的,事件的产生者按照某些规范描述不同的事件,并以参数的形式在调用函数指定方法时,传递给函数。所以事件生态也是影响Serverless架构应用领域、应用场景的重要影响因素。如上图所示,按照CNCF白皮书中的规范,FaaS平台可以根据不同的用例从不同的事件源调用函数,例如:同步请求(Req / Rep),例如HTTP请求,gRPC调用客户发出请求并等待立即响应。异步消息队列请求(发布/订阅),例如RabbitMQ,AWS SNS,MQTT,电子邮件,对象(S3)更改,计划事件(如CRON作业)消息发布到交换机并分发给订阅者;没有严格的消息排序,以单次处理为粒度。消息/记录流:例如Kafka,AWS Kinesis,AWS DynamoDB Streams,数据库CDC一组有序的消息/记录(必须按顺序处理);通常,每个分片使用单个工作程序(分片消费者)将流分片为多个分区/分片;可以从消息,数据库更新(日志)或文件(例如CSV,Json,Parquet)生成流;事件可以推送到函数运行时或由函数运行时拉动。批量作业,例如ETL作业,分布式机器学习,HPC模拟作业被调度或提交到队列,并在运行时使用并行的多个函数实例进行处理,每个函数实例处理工作集的一个或多个部分(任务)当所有并行工作程序成功完成所有计算任务时,作业完成综上所述,将Serverless架构工作原理用一张图完整表示,可参考下图:
-
1.1.2 概念定义云计算飞速发展的十余年,整个互联网也发生了翻天覆地的变化,作为被UC Berkeley认为是云计算下一个十年的Serverless架构,被很多开发者认为是“实现了云计算最初的梦想”,那么Serverless架构到底是什么呢?其实,Serverless架构与云计算、云原生的情况类似:Serverless架构到底是什么,在不同的人心中也是有着不同的答案的。如上图所示,从目前的认可度来看,Serverless架构可以从狭义与广义两个角度进行探索与分析:从狭义上来看,Serverless架构是FaaS与BaaS的结合;从广义上来看,Serverless架构表示的是服务端免运维的一种形式,一种思想;狭义定义Martin Fowler在Serverless Architectures一文中认为Serverless实际上是BaaS与FaaS的组合,而这一说法也是被最为广泛认可的一种说法。所谓BaaS,就是Backend as a Service(后端即服务),指的是服务商为客户(开发者)提供整合云后端的服务,如提供文件存储、数据存储、推送服务、身份验证服务等功能,以帮助开发者快速开发应用;所谓FaaS,指的是Function as a service(函数即服务),即服务商提供一个平台,允许客户开发、运行和管理应用程序功能,而无需构建和维护通常与开发和启动应用程序相关的基础架构的复杂性,典型的产品包括AWS的Lambda,阿里云的函数计算(FC),腾讯云的云函数(SCF)等。除此之外,CNCF在CNCF WG-Serverless Whitepaper v1.0中也对什么是Serverless架构进行了进一步的描述,CNCF认为:“Serverless是指构建和运行不需要服务器管理的应用程序概念。它描述了一种更细粒度的部署模型,其中将应用程序打包为一个或多个功能,上传到平台,然后执行、扩展和计费,以响应当时确切的需求”。同时CNCF在白皮书中也强调了:Serverless所谓的“无服务器”并不是“没有服务器”,而是说Serverless的用户不再需要在服务器配置、维护、更新、扩展和容量规划上花费时间和资源,将更多的精力关注到业务逻辑本身,至于服务器,则“把更专业的事情交给更专业的人”去做,即由云厂商来提供统一的运维。在2019年UC Berkeley的文章Cloud Programming Simplified: A Berkeley View on Serverless Computing中,作者对Serverless架构的定义进行了进一步的完善和表达,首先作者肯定了Serverless架构是FaaS与BaaS的结合,除此之外,作者认为:在对于被认为是Serverless的服务,它必须具备弹性伸缩和按量付费的特点。广义定义云计算的发展是飞速的,Serverless架构也在不断迭代升级,不断的进行演进,在随着时间发展的过程中,很多人逐渐发现了Serverless架构不应该是狭义的认为是FaaS与BaaS的结合,而是需要进一步泛华,即符合服务端免运维的这种架构,就可以认为是Serverless架构。在信通院云原生产业联盟所发布的《云原生发展白皮书(2020年)》中对Serverless是什么有这样的一段描述:无服务器(即Serverless)是一种架构理念,其核心思想是将提供服务资源的基础设施抽象成各种服务,以 API 接口的方式供给用户按需调用,真正做到按需伸缩、按使用收费。这种架构体系结构消除了对传统的海量持续在线服务器组件的需求,降低了开发和运维的复杂性,降低运营成本并缩短了业务系统的交付周期,使得用户能够专注在价值密度更高的业务逻辑的开发上。可以看到,Serverless架构一面可以精确的定义成是FaaS与BaaS的结合,另一面则可以广义的看成是一种思想:一种具备弹性伸缩和按量付费特性的架构思想;一种服务端免运维或者低运维的思想;于是广义的Serverless产品,就逐渐的逐渐如雨后春笋般发展起来,以应用托管的Serverless产品或服务为例,就有阿里云的Serverless应用引擎,Google的CloudRun等。综上所述,或许在2019年的时候,UC Berkeley的文章中或认为某些形态的Serverless产品或者服务,“违背了Serverless精神”,但是事实上,不可否定的是,随着技术的迭代升级,随着用户需求的不断驱动,技术的发展会逐渐的更为泛化。事实也证明,如今广义的Serverless架构概念,已经被更多人更多的厂商逐渐的接受和认可,Serverless架构的形态和未来的机会,也在不断的发生改变。
-
从IaaS到FaaS再到SaaS,再到Serverless,云计算的发展在近十余年中发生了翻天覆地的变化,从虚拟空间到云主机,从自建数据库等业务到云数据库等服务,云计算的发展是迅速的,Serverless架构也被诸多人寄予厚望,或许Serverless架构正当时,其已然开启从概念到实践的大规模落地之路,正如 Gartner 报告中的预测,到 2025 年,全球一半的企业将采用 FaaS 部署;或许,时至今日的Serverless架构,依旧不是最终形态的的Serverless架构;或许Serverless的精神也需要进一步的建设和完善,但是不可否定的是,Serverless架构都正在:More and more energetic, more and more fast and powerful.Serverless架构迅速发展的过程,其实也映射着云计算领域前进的方向,本节将会通过对Serverless架构的发展历程介绍、概念规范进行探索以及工作原理的研究,生态发展的分析,对Serverless架构进行基础的学习和了解。1.1.1 发展历程自1961年约翰·麦卡锡(1971年图灵奖获得者)在麻省理工学院百周年纪念典礼上第一次提出了“Utility Computing”概念:“计算机在未来,将变成一种公共资源,会像生活中的水、电、煤气一样,被每一个人使用”,云计算的“最初的”,“超前的”遐想模型,就逐步的诞生;经历过1984年,SUN公司联合创始人John Gage(约翰·盖奇)提出“网络就是计算机(The Network is the Computer)”的重要猜想,用于描述分布式计算技术带来的新世界,到1996年,康柏(Compaq)公司的一群技术主管在讨论计算业务的发展时,首次使用了Cloud Computing这个词,并认为商业计算会向Cloud Computing的方向转移。这也是“云计算”从雏形到正式被提出的基本过程。伴随着云计算概念的逐渐完善,云计算的技术也逐渐的完善起来,2003年到2006年间,谷歌发表了The Google File System、MapReduce: Simplified Data Processing on Large Clusters 、Bigtable: A Distributed Storage System for Structured Data等论文,这些论文指明了HDFS(分布式文件系统),MapReduce(并行计算)和Hbase(分布式数据库)的技术基础以及未来机会,至此奠定了云计算的发展方向;随着云计算的飞速发展,因云而生的产品,技术也越来越多,于是Pivotal公司的Matt Stine在2013年首次提出云原生(CloudNative)的概念;随后的2015年云原生计算基金会(CNCF)成立,并为最初的云原生定义范围:容器化封装、自动化管理、面向微服务;到了2018年,CNCF更新了云原生的定义,把服务网格(Service Mesh)和声明式API给加了进来。直到今天,如图所示,云原生的战略版图越来越宏伟,覆盖的产品越来越多,覆盖的领域也越来越完整。有人说,因云而生的软件、硬件、架构,就是真正的云原生;因云而生的技术,就是云原生技术。确实如此,出生于云,成长在云,因云而生,或许就是真正意义上的云原生。在云原生技术发展前后,云计算领域又有一个新的概念诞生,那就是Serverless架构,一个主张降本提效的技术范式,一个主张业务聚焦,把更专业的事情交给更专业的人,开发者可以付出更多精力在自身的业务逻辑上的技术架构。2012年,Iron.io的副总裁Ken Form在文章Why The Future of Software and Apps is Serverless中,提出了一个新的观点:“即使云计算的已经逐渐的兴起,但是大家仍然在围绕着服务器转。不过,这不会持续太久, 云应用正在朝着无服务器方向发展,这将对应用程序的创建和分发产生重大影响”。并首次将“Serverless”这个词带进了大众的视野。2014年Amazon发布了AWS Lambda让“Serverless”这一范式提高到一个全新的层面,为云中运行的应用程序提供了一种全新的系统体系结构,至此再也不需要在服务器上持续运行进程以等待HTTP请求或API调用,而是可以通过某种事件机制触发代码执行,通常这只需要在AWS的某台服务器上配置一个简单的功能。2015年,在AWS的re:Invent大会上,Serverless的这个概念更是反复地出现,其中包括了The Serverless Company Using AWS Lambda和JAWS:The Monstrously Scalable Serverless Framework的这些演讲。随着Serverless这个概念的进一步发酵;此外,Ant Stanley 在2015年7月名为Server are Dead…的文章中更是围绕着AWS Lambda及刚刚发布的AWS API Gateway这两个服务解释了他心目中的Serverless,并说Servers are dead … they just don't know it yet.2016年10月在伦敦举办了第一届的ServerlessConf,在两天时间里面,来自全世界40多位演讲嘉宾为开发者分享了关于这个领域进展,并且对未来进行了展望,提出来了Serverless的发展机会以及所面临的挑战,这场大会是针对Serverless领域的第一场具有较大规模的会议,在Serverless的发展史上具有里程碑的意义。2017年,各大云厂商基本上都已经在Serverless进行了基础的布局,尤其是国内的几大云厂商,也都先后在这一年迈入“Serverless时代”。同年,CNCF Serverless WG成立了,并且开始以社区的力量推动Serverless快速前行,包括CNCF Serverless Whitepaper、CloudEvents等相关的立项研究与探索,2017年年末,eWEEK的Chris J. Preimesberger发表文章Predictions 2018: Why Serverless Processing May Be Wave of the Future来表达在“全新的阶段下”大家对Serverless的看法和期盼。2018年,Serverless的发展速度要比想象中的更加快速,在这一年,Google 发布了 Knative, 一个基于 Kubernetes 的开源 Serverless 框架,具备构建容器、流量调配、弹性伸缩、零实例、函数事件等能力。AWS 发布了 Firecracker,一个开源的虚拟化技术,面向基于函数的服务,创建和管控安全的、多租户的容器。Firecracker 的目标是把传统虚拟机安全性和隔离性,和容器的诉求,资源效率结合起来。在这一年,CNCF也正式发布了Serverless领域的白皮书:CNCF Serverless Whitepaper V1.0,阐明Serverless技术概况、生态系统状态,为 CNCF 的下一步动作做指导,同时CloudEvnent规范,进入CNCF Sandbox;同样在2018年,全球知名IT咨询调研机构Gartner发布报告,将Serverless Computing列为十大未来将影响基础设施和运维的技术趋势之一。2019年开始,Serverless进入到了一个真正意义上的生产应用,最佳实践快速发展阶段而2019年对Serverless而言是非常关键的一年,也是Serverless具有里程碑式发展的一年,被很多人定义为“Serverless正式发展的元年”。在这一年不仅有KubeCon在中国上海的CloudNativeCon中关于Serverless的“海量主题演讲”,这些演讲包括来自Captial One银行的Kevin Hoffman的WebAssembly、无服务器和云,IBM的Doug Davis的CNCF CloudEvents项目:迈向无服务器互操作的一步等;同年,UC Berkeley在论文Cloud Programming Simplified: A Berkeley View on Serverless Computing表示“Serverless 计算将会成为云时代默认的计算范式”。2020年,CNCF 发布了2020年度中国云原生调查报告,在报告中明确显示Serverless 正在持续增长,31% 的单位在生产中使用无服务器,41% 在评估,12% 计划在未来12个月使用;同年,Flexera 2020年云状况报告称,Serverless是2020年增长最快的五项PaaS云服务之一;与此同时,Forrester 认为,Serverless 计算的兴起,让 FaaS(Function As A Service)成为继 IaaS、PaaS、SaaS 之后一种新的云计算能力提供方式。预计 2021 年,将会有大量主流企业的核心应用,从原来的主机架构迁移到 Serverless。随着时间的发展,Serverless架构逐渐从2021年,Serverless架构在权威咨询机构 Forrester 发布的The Forrester Wave™: Function-As-A-Service Platforms, Q1 2021中,开始了新一年的蓬勃发展,在这个报告中,不仅对全球主流的Serverless平台,进行了相对应的评测,对过去的技术发展进行了更为科学的总结,同样也对未来的规划、产品的发展视野进行了展望和探索,作为未来十年云计算的重要趋势之一,Serverless架构已经展示出不俗的潜力。Forrester 认为,Serverless 计算的兴起,让 FaaS(Function As A Service)成为继 IaaS、PaaS、SaaS 之后一种新的云计算能力提供方式。预计 2021 年,将会有大量主流企业的核心应用,从原来的主机架构迁移到 Serverless。至此,云计算的发展逐渐从IaaS,到PaaS,向Serverless架构升级过渡,同样,Serverless架构也逐渐的从鲜为人知,开始走进寻常百姓家。从2012年,Serverless概念被正式提出之后,2014年AWS带领Lambda开启了Serverless的商业化,再到2017年各大厂商纷纷布局Serverless领域,再到2019年,Serverless成为热点议题在KubeCon中被众多人参与探讨,UC Berkeley发文断言Serverless将引领云计算的下一个十年,Serverless随着时间的不断推进,各种技术部的不断进步,正在逐渐地朝着更完整,更清晰的方向发展,随着5G时代的到来,Serverless将会在更多领域发挥至关重要的作用。
-
23年【云声·建议】反馈活动第一场来啦~新年第一波,小编已备好开发者定制礼盒,不一样的盲盒等你来拆~只需要动动手指提交有效建议,就是这么简单!!!云声建议入口PS:华为云产品相关的有效建议分值更高,积分排名更容易靠前哟~【活动时间】1月1日-1月31日【活动对象】所有华为云用户如果您是老用户功能问题?体验不好?快来云声告诉我们吧!!云声建议入口(点击即可提交建议)如果您是新用户您也可以先去体验我们的免费产品服务~再来吐吐槽~可点击免费试用产品领取直达【奖项设置】有效建议积分>10:600元开发者大礼包10 ≥ 有效建议总积分≥ 7:400元开发者大礼包6 ≥ 有效建议总积分≥ 3 : 200元开发者大礼包满足条件的前20名用户均可获得奖励 开发者定制礼盒1、开发者定制礼盒2、定制飞盘等等【活动规则】1.有效建议积分云声关联产品/功能分为云产品建议、解决方案建议、平台建议,三种类型的建议对应的分值不相同,云产品建议(1分)、解决方案建议(0.5分)、平台建议(0.2分),按照当月有效建议类型对应不同分值以及邀请加分项来进行计算总排名,建议类型可在云声提建议页面查看;2.邀请用户加分a.每成功邀请一个用户,邀请者和被邀请者额外加0.2分,邀请加分可叠加,禁止互相推荐,否则双方都取消加分b.被邀请者在云声提交建议后,需要在本条帖子下方评论“被XXX邀请参加云声1月活动”,本此邀请才被认为有效邀请(1月双方都有在云声上提建议)示例:用户A邀请用户B参与云声建议反馈活动,用户B在云声提交优化建议后,在本帖下面评论“被A邀请参加云声1月活动”,则A和B用户各加0.2分c.邀请者和被邀请者双方需要完成华为云官方平台实名认证,否则为无效邀请3.注意事项a.若出现积分相同且排名一致的情况,在每月的已实现和已采纳建议中,会选出价值更高的建议给予奖励,基础评分计算规则,可参考如下表格。若同名次出现同分情况,由内部工作人员评选建议价值度更高的用户获奖以上建议数仅做示例,与实际情况无关,仅做计算参考b.同一用户在同一页面(文档)提出的同一类问题(包括但不限于错别字、语句不通顺、视觉体验等),在通过审核后仅算作一条有效建议数c.若发现代他人提交优化建议,此建议分值只取原分值30%d.如遇商品缺货,将随机换成其他等价值礼品发放
-
在2022年的年末,华为云DTSE Tech Talk迎来了年度收官圆桌π直播活动(👉 点击回看),8位DTSE技术布道师和开发者们畅谈云上创新应用,回顾盘点了今年的关键技术产品,展望2023年在新产品和技术上的新规划。作为本次圆桌π的主持人,华为云DTSE技术布道师徐毅从π的无限谈起,表达了对开发者们的新年祝福:未来有无限的可能等待着开发者探索,愿大家通过DTT与华为云在云上共成长。1、程泽:更好地支持开发者做SaaS应用构建华为云DTSE技术布道师程泽回顾总结了在前几期直播中,他是如何指导开发者选择合适的开发框架将SaaS应用系统部署在云上,并通过云上运维平台构建SaaS应用运维系统,以及企业要着重注意的SaaS应用构建安全性问题。除了SaaS架构基础设计层面的内容,程泽表示,2023年会重点关注新租户创建升级时,后端资源的平滑创建和自动化部署, 比如通过指令来实现云资源的创建、更新销毁、全生命周期管理等等,为有需要的企业和开发者提供更丰富的的技术资料,支持大家做SaaS应用的构建。2、董鑫武:零代码将释放IT产能,改变软件生产关系围绕当下火热的低代码和零代码,华为云PaaS DTSE技术布道师董鑫武总结了整体的趋势:当前低代码已经进入了组装式应用交付的新范式,零代码在未来则可以让业务人员从事相关应用的构建,让IT的产能得以释放,从而改变当前的软件生产关系。董鑫武透露,在2023年,华为云的低代码平台进行了全新的品牌升级——Astro,并推出5大产品:IOC大屏Astro Canvas、工作流Astro Flow、轻应用Astro Zero、智能助手Astro Bot、复杂应用Astro Pro。“星垂平野阔,月涌大江流,华为云邀开发者一起构建给代码璀璨的星空。”3、金云飞:明年推出数字内容的四大生产线华为云媒体DTSE技术布道师金云飞表示,当前华为云会议为企业和开发者提供服务端和客户端开发能力, 可以满足政企办公市场、行业应用市场以及一些跨界创新产品应用,诸如企业培训、在线教育、应急指挥等等场景。华为云低时延直播产品将时延降低到800ms以内,可满足电商直播、教育直播、赛事直播等时延敏感业务的诉求。从2022年下半年开始,云桌面API也正式对外开放,开发者可以便捷的接入和调用。围绕数字内容生产,华为云在明年将推出四大生产线:数字人生产线、虚拟直播生产线、企业3D空间生产线,虚实融合生产线, 具备数字内容的建模、生产、渲染、资产管理、编辑能力,让开发者得以通过开放的SDK和API来构建数字内容。4、许炳尘:APIG支持每秒50万以上的API并发调用在数字化浪潮的大背景下,API已经成为了关键的数字化转型的推动力。API既是数据交换的通道,也是研发生产的工具,同时还是企业和开发者最核心的资产。华为云PaaS DTSE技术布道师许炳尘讲到,一个API项目是否成功,最关键的还是在于API的运行的情况,这也是整个API全生命周期管理的核心。华为云API Arts通过插件的形式集成了云原生网关APIG,来实现API的运行托管和监控运维, APIG目前单集群已经能够支持每秒50万以上的API并发调用。许炳尘表示,2023年华为云会继续完善和强化API Arts和APIG,提供更完整更丰富的API全生命周期管理能力。并且通过API Arts和APIG,进一步降低API的研发使用门槛,更加契合云原生,从而满足企业和开发者越来越丰富的API管理需求。5、杜奇:提供更多行业专用算法workflow,推动AI应用落地AI的应用落地正在改变一些传统行业,华为云EI DTSE技术布道师杜奇和大家分享了两个有趣的案例:AI养牛、AI抄水表。以AI抄水表为例,为了解决伙伴遇到的人工抄表的痛点,华为云开发了一套水表识别模型的定制化和自主训练工具, 将数据导入、数据集创建、数据标注、数据处理、模型训练、模型管理、模型上线等复杂的步骤,按照业务流程封装成一个格节点,便于后续反复迭代开发,支持识别更多种类的水表。谈及明年的规划,杜奇表示华为云AI产品将会和大数据等产品服务打通,同时提供更多行业专用算法workflow,帮助开发者低门槛高效率完成AI应用开发。6、覃元元:从日志服务领域的追随者成长为领导者华为云PaaS DTSE技术布道师覃元元总结了22年日志服务方面的主要工作内容:补齐各种英文日志来源的接入场景;提供API、SDK、Android及iOS等端测的接入方式和接入场景指导; 完善整体日志管理的界面,在日志搜索页面优化搜索体验;完善仪表盘及日志告警等内容。2023年,华为云LTS日志服务会进一步去完善。在日志采集方面,补齐自研的SA采集器的日志解析能力,提供更多的SDK,完善转储能力;在日志加工方面,提供端到端的控制台面;在搜索方面,将会推出百亿级秒级搜索以及千亿级的迭代搜索,为用户提供更好地搜索体验。覃元元讲到,通过在采集、搜索、日志加工等方面的持续发力,2023年华为云LTS日志服务会成为在日服领域从追随者逐渐的演变为一个领导者。7、刘坤鹏:GaussDB(DWS)让人人都可以用好数据华为云EI DTSE技术布道师刘坤鹏分析了当前各行各业在数据处理分析方面遇到的挑战,华为云GaussDB(DWS)提供的全场景一站式分析能力,让人人可以用好数据。GaussDB(DWS)是基于share-nothing的无共享分布式架构,具有极高的扩展性,刘坤鹏从技术架构、高可用、容灾、备份体系、智能运维、迁移能力等方面,为开发者一一解读了GaussDB(DWS)背后的关键技术,核心优势等。刘坤鹏表示,2023年,华为云将配合产品版本的迭代,围绕应用场景、架构、工具以及生态等,推出更多直播课程。同时,也会分享开发者关注的数据库设计原则、SQL调优技巧、业务典型故障处理案例,让大家用好GaussDB(DWS)。最后提前祝所有开发者们新年快乐!!!在新的一年心想事成,技术更上一层楼。
-
(1)负载均衡概念的理解,负载均衡器分类及特点。 负载均衡,将高并发的请求数据分发到不同的集群结点,尽量平衡系统所有资源的压方,从而握开整个集群对于请求的处理能力。负载均衡器:软件负裁均衡器 软件负载平衡提供了灵活性和可扩展性。如今,大多数企业更喜欢软件负裁均衡器,因为它们话行起来更便宜。此外,企业可以在云中部署这些解决方案。例如,公司可以决定使用 Nginx在AWS上创建 EC2 负载均衡器。然而,与硬件解决方案类似,软件负载均衡器也需要高层次的知识和经验才能有效地运行。 基于云的负载均衡器 即使应用程序正在迁移到云端,对负载均衡器的需求并没有减少。仍然需要智能分配工作负载云的早期推动者使用软件负载平衡器来满足他们的需求。但从那时起,云提供商提出了自己的基于云的负裁平衡解决方案。任何在云中开发应用程序的人都应该了解可用的服务。以下是一些突出的 AWS 弹性负载均衡器 亚马逊网络服务(AWS)是云计算领域的主导者。AWS设计的Elastic Load Balancer(ELB)可以很好地与他们的 Amazon EC2 实例、容器和IP 地址配合使用。弹性负载均衡器能够将流量路由到各种可用区。因此,它是扩展具有高可用性需求的大容量应用程序的绝佳解决方案。AWS当前提供种类型的负载均衡器: ApplicationLoad Balancer:Application Load Balancer 适用于 HTTP和HTTPS流量。它在 OSI模型的第7 层(应用程序)中工作。它可以平衡 Amazon Virtual Private Cloud(VPC)范围内的流量。 网络负载均衡器:网络负载均衡器适用于具有低延迟和高性能要求的 TCP 流量。它在第4层(传输)中工作。它更擅长处理不可预测的流量模式。 经典负载均衡器:这些类别的负载均衡器不受欢迎。它们是为遗留目的而保留的。亚马逊积极阻止新客户使用此负载均衡器。 Elastic Load Balancer 为您处理所有资源需求。如果您使用启用了 Auta Sealing 的应用程序设置ELB,负载均衡器将跟踪自动扩展的服务器,以确保它可以将流量路由到健康的服务器。ELB也可以在混合云中用于将流量路由到您的本地服务器。 Azure 负载均衡器 Azure 是 Microsofi的云解决方案。它已经在其标准套件中提供了完全托管的负载平衡服务应用程序网关提供传输层安全(TLS)协议终止或 HTTP/HTTPS 请求和应用程序层处理。流量管理器提供 DNS 负载平衡解决方案。 Azure 有两种类型的负载均衡器:基本SKU 和标准 SKU。StandardSKU 可以处理 BasicSKU 的所有职责。标准 SKU 具有更高的价位和更高的性能。以下是一些主要区别: 池大小:基本 SKU 最多可以处理 100个实例,而标准KU最多可以处理1000个实例。 端点限制:基本 SKU 可以为单个可用性集或虚拟机规模集中的虚拟机(VM) 提供服务标准 SKU可以在单个虚拟网络的范围内工作,该网络可以跨多个可用性集和虚拟机规模集进行扩展。 管理操作时间:基本的SKU 管理操作可能需要 6090准 SKU操作在30秒内执行。服务水平协议(SLA):基本 SKU SLA 取决于 VM SLA。标准 SKU 保证具有两个健康 VM 的数据路径的 99.99%, 定价:基本 SK是免费的。标准 SKU定价取决于入站和出站数据以及实施的规则数量。 GP 负载均衡器 Gootte cloud PIntform(GCP)提供高性能和可扩展的负载衡解决方案。它的货裁均衡器可以平衡 HTTP/HTTPS和TCP/SSL此外,它具有SSL卸载解决方案,因此您可以集中管理您的SSL证书。它还添加了UDP 负载平衡。负载平衡器与 Google 内容分发网络(CDN)无缝集成。这意味着从 GCP 下载内容的用户可以获得更好的性能。 外部货载平衡可以通过 HTTP(S)载平衡、SSL代理负载平衡或 TCP代理负载平衡来外理区域外部负载均衡通过网络负载均衡处理,区域负载均衡通过内部负载均衡处理。价格取决于转发规则(协议转发)和入口和出口数据处理。 Digital0conn 负载均衡器 DigitalOcean 是一家在开源社区和小型企业中广受欢迎的云服务提供商,它提供完全托管、高度可用的负载均衡器。Digital0cean 中的每个服务器都称为 Droplet。负载平衡器旨在将流量自动路由到故障转移服务器或 Droplet. Digita10cean以固定价格提供负载均衡服务。负载均衡器可以支持HTTP、HTTPS、HTTP/2和TCP在HITPS 场景中,它们可以处理 SSL 直通和 SSL终止。他们可以使用循环和最少连接算法进行平衡。即使负载均衡器在多个区域中可用,特定负载均衡器也只能将流量路由到位于其区域中的后端服务器。 Cloudflare 负载均衡器 Cloudflare 是一个内容交付网络(CDN)。它为其服务提供DNS负载平衡。它定期运行健康检查,并可以快速迁移到故障转移服务器以避免客户不满。Cloudflare 负载均衡器可以根据地理位置路由流量,因此欧洲请求将由欧洲数据中心提供服务,而美国请求将由美国数据中心提供服务。它改善了延迟。 用户可以订阅不同层次的负载均衡器以满足他们的特定需求。定价层取决于来源的数量、健康检查频率、地理路由等。每个层还包括一定数量的每月 DNS查询。 封装负载均衡器 是另一个CON提供商。它提供负载均衡器即服务(LBaaS)。它为内容交付提供本地和全局负教平衡。这是一个简单的基于规则的负载平衡系统,适用于IIITACHL、SIEMEXS 和 XOOM 等大型企业它使用专业、商业和企业级别的每个站点每月订阅。
-
↵AI绘画AI绘画AI绘画绘画桃花源
-
前言本方案为某地央企投资银行分支系统上云方案建议书第一版。本次方案目标,确认XX央企投资银行的上云系统、上云需求,并初步规划上云方案。XX银行可根据本方案进行业务上云迁移规划和上云需求调整。1 项目概述1.1 项目背景某地市央企投资银行分支,由于当地上云政策要求,部分业务在今年需启动上云。希望通过本次上云,实现业务云化部署,同时解决前期本地部署的运行问题和业务隐患。1.2 项目关键信息收集有三大系统需要上云:企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)。1、 企业办公系统(X):运行在华为RH2288,单台,业务后端只能在Centos7.0以上的os运行;员工都只能从本楼内网访问;需要负载均衡,人多有点卡;存储用正常文件存储。2、 终端app业务系统(y):用户接入数常年都很多,注意性能,上云不能卡,业务的数据要做实时读写,网络就对公网开放就好,限制下ICMP3、 核心业务金融数据汇算系统(z):现在承载在本地刀片服务器上,个z业务后端在虚拟机跑的效果不好,几年前测试过,所以能不用虚拟端部署最好;现在已经有2个T的数据了吧,如果要上云,要2倍数据;数据实时读写要求也很高;网络只能放同我们一台运维主机的ip,10.x.x.x,其他一概拒绝;4、 安全容灾要求:站点尽量别选沿海的,做个本地和异地的容灾设计5、 其他要求:需要资源监控及迁移方案2 项目分析2.1 项目总体需求分析客户三大系统目前在本地运行,根据本地政府要求必须上云。用户三大系统在人多使用时会有卡顿,机房遭受过台风袭击,有比较迫切的上云及容灾需求。2.2 具体需求分析2.2.1 业务计算部分上云需求客户现有的3个系统的计算部分上云需求企业办公系统(x):上云的计算能力要求不高,保证系统正常运行即可,本地是单台华为RH2288上,镜像是CENTOS7.0。要求双机备份和负载均衡。终端app业务系统(y):用户接入数多,对性能要求高,上云后不能卡顿。核心业务金融数据汇算系统(z):本地在刀片服务器,不支持虚拟化,要使用物理机。2.2.2 业务存储部分上云需求客户现有3个系统的存储部分上云需求1、 企业办公系统(X):存储用正常文件存储,容量未说明,具体根据客户要求选用2、 终端app业务系统(y):数据需要实时读写,容量未说明,具体根据客户要求选用3、 核心业务金融数据汇算系统(z):现在已经有2个T的数据了,上云,要2倍,也就是4T空间,也需要数据实时读写。2.2.3 业务网络部分上云需求客户现有3个系统的网络部分上云需求 企业办公系统(x):内网业务,访问者均在客户本地办公楼,上云需要负载均衡。 终端app业务系统(y):公网,用户接入数常年很多。限制下ICMP。 核心业务金融数据汇算系统(z):内网业务,要求只有运维主机的ip,10.x.x.x,其他一概拒绝。2.2.4 安全需求客户现有3个系统的安全部分上云需求企业办公系统(x):内网业务,最好避免单机运行,保证业务系统正常运行。终端app业务系统(y):公网,用户接入数常年很多。保证访问安全核心业务金融数据汇算系统(z):内网业务,要求只有运维主机的ip,10.x.x.x,其他一概拒绝。总体机房选址要求-非沿海,本地及异地容灾2.2.5 其他特殊需求灾备需求两地三中心,机房选址非沿海,需要有本地及异地容灾运维界面友好,需要随时查看云资源的运行情况和各种参数。3、迁移规划合理,具体描述迁移流程和迁移工具,对于应用层、数据层有详细规划,整体迁移有完整路径。3 项目方案架构图4 项目技术方案4.1 企业办公系统上云技术方案1、 客户需求:企业办公业务上云需要进行负载均衡进行分流,同时保证业务不卡,还需要在内网使用。2、 上云建议:用两台ECS(系统centos7.0以上,具体配置根据用户需求选择),下挂文件服务SFS,前面加上负载均衡ELB,通过云专线或云VPN与用户办公室相连,实现上云及办公室业务人员连接要求。4.2 终端app业务系统上云技术方案1、 客户需求:终端App业务系统,用户连接数多,需要高性能,保证公网用户使用不卡;数据需实时读写2、 上云建议:开1台高性能ECS,申请一个EIP与internet互联,对公网用户开放;同时要保证安全,使用安全组SG阻止ICMP访问;开通EVS云硬盘,选择超高IO SSD盘。4.3 核心业务金融数据汇算系统上云技术方案1、 客户需求:核心金融汇算业务,无法虚拟化,数据实时读写要求高,需要4T空间,只放通一台运维主机。2、 上云建议:使用BMS服务,同时使用ACL/SG限制,只放通一台运维主机(ip,10.x.x.x)访问;开通4T EVS 超高IO云硬盘挂载。4.4 业务整体安全和迁移技术方案4.4.1安全业务规划云上的业务做到公网与内网分离,可以设置不同的VPC。终端的公网业务通过弹性EIP访问,内网业务通过云VPN或者云专线访问。云主机的安全组设置限制下ICMP,对于核心业务金融数据汇算系统,限制仅有运维主机的ip,10.x.x.x,其他一概拒绝。云上提供云监控、云日志和云审计功能,可以方便客户运维和运营。同时建议客户搭配部署满足等保三级要求的云安全服务,可以专门划分安全专区子网,搭配但不限于以下安全产品:堡垒机、下一代防火墙、日志审计、终端杀毒、数据库审计、WAF应用防火墙等,华为云还提供了抗DDOS服务ADS,建议升级成专业版。根据用户需求,选择内陆region开通业务,在同region采用华为的SDRS存储容灾服务,提高数据安全可靠性。在不同的region部署业务的容灾中心,可以使用华为的CBR云备份。4.4.2 迁移方案规划迁移整体流程1.迁移前作信息收集+风险点评估 信息收集:软硬件版本、规格、参数、性能容量、兼容性等参数收集; 风险评估:对系统软硬件环境进行评估是否适合迁移及迁移风险点。2.迁移方案制定 根据业务实际场景,确定迁移方式、迁移工具、迁移团队、分工界面、迁移时间、回退方案等关键点,形成具体的迁移方案和实施步骤。 其中迁移方式可根据实际的迁移场景,分为P2P/P2V/V2P/V2V。3.迁移预实施+整体逐批逐层实施 根据迁移方案预实施少量节点,对于重要业务提前进行应急预案演练,及时发现问题修改方案,确保迁移的顺利性;预实施完成后,分批次(业务系统最后)、分层次(数据层最后)进行系统整体迁移。4.迁移后业务测试+数据检验 对于迁移业务进行业务拉起和连通性测试,对系统网络质量和数据完整度等方面进行验证。5.迁移现场保障+后期维保 迁移完成后需留场进行业务保障,后续业务在维保期继续关注运行状态。6.项目验收三大层次迁移工具或服务选择:数据层迁移若采用工具流: 1、利用企业级存储hyperreplication+hyperMetro(复制+双活)+lun拷贝+eRplication等;公有云服务:1、可以使用公有云数据快递DES服务(数据快递服务(Data Express Service, DES)是面向TB到数百TB级数据上云的传输服务);平台层迁移若采用工具流: Oracle Golden/Data guard/Always On/数据库自带迁移工具等;若采用公有云服务:DRS(偏同构数据库)+UGO(偏异构数据库)应用层迁移工具流:eBackup/Rainbow等服务流:SMS主机迁移服务5 项目实现价值与总结本次客户系统上云既满足了现有政策的要求,同时也解决了客户现网存在的问题。目前客户本网的机房存在安全隐患,业务单机部署。上云后实现了用户的两地三中心的灾备需求,极大地保障了用户业务连续性和安全性。配置了负载均衡,解决用户现网访问卡顿的问题增加了业务的可靠性和可用性。上了华为公有云,由华为承担云化系统的部分运维,同时配置了公有云的安全设施和灾备部署,加上华为云的云监控、云日志,客户减少运维压力,更加聚焦业务层面。此方案为第一版,有未尽之处请指正。前言本方案为某地央企投资银行分支系统上云方案建议书第一版1 项目概述1.1 项目背景XX银行为央企投资银行的分支,当地政府要求部分业务在今年启动上云。这三大三大系统分别是:企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)。同时解决前期三大系统的一些运行问题。1.2 项目关键信息收集客户共有3个业务计划上云,分别是企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)。 企业办公系统(x)使用一台华为RH2288本地部署,使用Centos7.0以上的os运行。该系统只能从内网访问,使用员工都在本地办公楼里。有大量访问时系统会有卡顿,客户提议部署负载均衡,存储采用正常文件存储即可。终端app业务系统(y)终端用户接入数常年都很多,上云后需注意性能;业务的数据要做实时读写;网络需对公网开放,需要限制ICMP提高安全性。核心业务金融数据汇算系统(z)属于核心业务,目前采用刀片服务器进行部署。z业务后端测试过在虚拟机运行不理想,最好不用虚拟端部署。目前存储容量在2T左右,因后期数据还会增加,上云后存储容量至少为现在的3倍,数据实时读写要求也很高。为确保服务器安全,只允许运维主机ip,10.x.x.x访问,其余地址全拒绝。客户机房前期部署在沿海地区遭受过自然灾害严重破坏,要求Region不要选在沿海地区,因为客户对业务连续性要求较高,需要做本地和异地的容灾设计。客户运维主管希望后期有一个统一工具可以监控所有系统、资源的运行情况。客户负责人希迁移的流程、工具、迁移平面等较为感兴趣,希望我们对此进行赋能。2 项目需求分析2.1项目现状分析客户主要需求为将企业办公系统(x)、终端app业务系统(y)、核心业务金融数据汇算系统(z)共三个系统迁移上云。采用两地三中心容灾方案建设,Region避开沿海地区,同Region采用SDRS同城容灾,跨Region采用CBR异地容灾。后期运维可以采用CBH云堡垒机+CES云监控+CTS云审计+LTS云日志多角度、多维度综合运维。同时会对迁移的流程、工具、迁移平面等进行赋能。 同时为应对业务高峰瞬发流量,建议用户开启AS弹性伸缩。2.2 总体需求分析2.2.1 业务计算部分上云需求1、 企业办公系统(X):目前运行在本地单台华为RH2288上,业务后端只能在Centos7.0以上的os运行;2、 终端app业务系统(y):用户接入数常年都很多,注意性能,上云不能卡3、 核心业务金融数据汇算系统(z):现在承载在本地刀片服务器上,个z业务后端在虚拟机跑的效果不好,几年前测试过,所以能不用虚拟端部署最好;2.2.2 业务存储部分上云需求1、 企业办公系统(X):存储用正常文件存储,容量未说明,具体根据客户要求选用2、 终端app业务系统(y):数据需要实时读写,容量未说明,具体根据客户要求选用3、 核心业务金融数据汇算系统(z):现在已经有2个T的数据了,上云,要2倍,也就是4T空间,也需要数据实时读写2.2.3 业务网络部分上云需求1、 企业办公系统(X):员工都只能从本楼内网访问;上云需要负载均衡。2、 终端app业务系统(y):用户接入数常年都很多,网络就对公网开放就好,限制下ICMP3、 核心业务金融数据汇算系统(z):网络只能放同我们一台运维主机的ip,10.x.x.x,其他一概拒绝2.2.4 安全设计需求客户机房前期部署在沿海地区遭受过自然灾害严重破坏,要求Region不要选在沿海地区,因为客户对业务连续性要求较高,需要做本地和异地的容灾设计。2.2.5 其他特殊需求客户负责人希望后期有一个统一工具可以监控所有系统、资源的运行情况;同时客户对迁移的流程、工具、迁移平面等较为感兴趣,希望我们对此进行赋能。1 项目技术方案4.1 x业务上云技术方案1、 客户需求:企业办公业务上云需要进行负载均衡进行分流,同时保证业务不卡,还需要在内网使用。2、 上云建议:用两台ECS(系统centos7.0以上,具体配置根据用户需求选择),下挂文件服务SFS,前面加上负载均衡ELB,通过云专线或云VPN与用户办公室相连,实现上云及办公室业务人员连接要求。 x业务计算类上云采用1台弹性云主机ECS/通用计算型(其余型号也可),包年包月计费模式,使用X86架构,使用公共镜像中CentOS7.5以上的OS均可。 x业务网络类上云只能从内网访问,建议使用云VPN。因有大量访问时系统会有卡顿,提议部署ELB负载均衡。 x业务存储类上云客户未有明确要求,使用文件存储。4.2 y业务上云技术方案1、 客户需求:终端App业务系统,用户连接数多,需要高性能,保证公网用户使用不卡;数据需实时读写2、 上云建议:开1台高性能ECS,申请一个EIP与internet互联,对公网用户开放;同时要保证安全,使用安全组SG阻止ICMP访问;开通EVS云硬盘。y业务计算类上云采用1台专属主机DEH/通用计算增强型(其余型号也可),包年包月计费模式。y业务网络类上云建议采用EIP+NAT+ELB的方案,采用安全组拒绝ICMP协议。y业存储络类业务上云因对实时读写有要求,使用云硬盘部署。4.3 z业务上云技术方案1、 客户需求:核心金融汇算业务,无法虚拟化,数据实时读写要求高,需要4T空间,只放通一台运维主机。2、 上云建议:使用BMS服务,同时使用ACL/SG限制,只放通一台运维主机(ip,10.x.x.x)访问;开通4TEVS云硬盘挂载。z业务计算类上云采用1台裸金属服务器BMS,包年包月计费模式。 z业务网络使用ACL限制只允许运维主机ip,10.x.x.x访问,其余地址全拒绝。 z业务存储类上云客户要求6T左右容量,因数据实时读写要求也很高,使用云硬盘EVS/高IO型(客户未说明性能需求,以此为例),包年包月。4.4 业务整体安全根据用户需求,选择内陆region开通业务,同时通过SDRS和CBR部署云上两地三中心容灾4.5 迁移技术方案迁移分为迁移前调研、迁移上云评估、迁移方案制定、迁移方案测试(验证方案的正确性及可实施性,工具选择验证等)、迁移分级分布实施(先迁普通业务再迁核心业务)、迁移验收测试、迁移维保等阶段展开4.6 云资源监控及运维建议云上资源监控可以使用免费的CTS(云审计)、CES(云监控)、LTS(日志审计)三个服务对资源进行监控。云上资源运维建议开通CBH(云堡垒机)进行运维,可以保证运维安全且可以审计追溯等。2 项目实现价值与总结该项目可实现用户三大系统上云需求,同时解决用户现网访问卡顿的问题,而且实现了用户的两地三中心的灾备需求,极大地保障了用户业务连续性和安全性。此方案为第一版,有未尽之处请指正。
-
前言本方案为x地市的大型民营企业上云方案建议书第一版1 项目概述1.1 项目背景A企业是一家位于国内x地市的大型民营企业,主要以渔网自动化批量制造与前端售卖为主,由于该地市省政府今年新发布的地区云化政策,该企业的3项业务被列入上云清单实现三大系统上云,分别为OA办公系统、渔网自动化生产线系统和内部订单核算系统,同时解决前期三大系统的一些运行问题。1.2 项目关键信息收集OA办公系统:主要承担后端部门日长工作、员工行销流程等任务,目前该业务双机HA部署在华为RH2288V5服务器(未部署本地盘)上,并利用CE-6800S系列交换机组成san组网级联俩台Oceanstor5300v5存储(目前俩台都采用12*3.5inch NL-SAS 1TB disks配置,使用率整体为40%),该业务有着公司内部员工共享数据的需求,并且对读写速度有一定要求。企业自用的OA系统属于长期使用的业务系统,且由于今年突然的信创国产化政策的推行,客户表示上云后能否满足这一政策,此外os也希望继续采用linux分支,最好也遵循国产化政策。渔网自动化生产线系统:第二个上云列表业务为该公司下属工厂目前正在使用的渔网自动化生产线系统,该系统目前运行在单刀片(CH121)华为E9000刀片服务器上,该服务器下面使用DAS网络直连了一台EMC存储,几乎无实时读写需求,配置为20*2.5inch SAS 600GB disks(使用率接近80%);渔网自动化生产线系统也属于长周期业务系统,客户表示该业务对计算性能要求并不是很高,但是对于内存要求极高,上云后应注意,且其经常会出现流量带宽不稳定的正常情况,客户希望上云后可以适配这一点,不要让业务不稳定,此外os环境必须为windows2012版本以上。内部订单核算系统负责每日终端销售与工厂直销的费用内部在线核算以及公司内部薪水奖惩费用在线结算;该业务系统目前运行在18年于华为购买的昆仑服务器,存储部分直连使用一台华为Dorado未知型号(标签信息模糊丢失)V5,总容量为11*Nvme SSD 1.2TB,目前仅用6个盘满写状态,剩一个盘覆写率50%左右,超高IOPS性能;订单核算业务客户表示极其重要,客户也表达了对于数据安全,运维安全,运行稳定性的担忧,所以对于该业务的上云有比较大的忧虑,客户希望上云后业务安全性和性能可以得到保证。 安全容灾要求:有安全容灾需求。其他要求:需保留业务平面和管理平面。2 项目需求分析2.1项目现状分析客户三大系统目前在本地运行,根据本地政府要求必须上云,并设计安全容灾方案。2.2 总体需求分析2.2.1 业务计算部分上云需求1、OA办公系统:目前双机HA部署在华为RH2288V5服务器(未部署本地盘),长期使用的业务系统,需符合信创国产化政策, os也希望继续采用linux分支,最好也遵循国产化政策。2、渔网自动化生产线系统:该系统目前运行在单刀片(CH121)华为E9000刀片服务器上,长周期业务系统,该业务对计算性能要求并不是很高,但是对于内存要求极高,os环境必须为windows2012版本以上。3、内部订单核算系统:目前运行在18年于华为购买的昆仑服务器,需考虑数据安全,运维安全,运行稳定性。 2.2.2 业务存储部分上云需求1、OA办公系统:目前利用CE-6800S系列交换机组成san组网级联俩台Oceanstor5300v5存储(目前俩台都采用12*3.5inch NL-SAS 1TB disks配置,使用率整体为40%),该业务有着公司内部员工共享数据的需求,并且对读写速度有一定要求。2、渔网自动化生产线系统:使用DAS网络直连了一台EMC存储,几乎无实时读写需求,配置为20*2.5inch SAS 600GB disks(使用率接近80%)。3、内部订单核算系统:存储部分直连使用一台华为Dorado未知型号(标签信息模糊丢失)V5,总容量为11*Nvme SSD 1.2TB,目前仅用6个盘满写状态,剩一个盘覆写率50%左右,超高IOPS性能。 2.2.3 业务网络部分上云需求1、保留业务的双平面设计,OA业务:业务平面:10.154.88.1 管理平面:10.154.88.2自动化制造系统: 业务平面:无 管理平面:10.154.88.3金额核算系统:业务平面:10.154.88.4 管理平面:10.154.88.52、网络访问控制该公司三个业务业务平面都只允许公司内网访问,不对公网开放;OA业务入方向只放通HTTP,出方向需要关闭RDP协议;自动化制造系统对外默认即可,对内只放通ICMP;金融核算系统对外同样默认即可,对内只允许客户侧专有人员地址段10.154.87.x访问;3大业务的管理平面都只可以让客户机房专属运维端访问。2.2.4 安全设计需求考虑运维安全和容灾备份。2.2.5 其他特殊需求无3 项目方案架构图(预)1 项目技术方案4.1 OA办公系统上云技术方案1、 客户需求:需符合信创国产化政策, os也希望继续采用linux分支,最好也遵循国产化政策。有着公司内部员工共享数据的需求,并且对读写速度有一定要求。只允许公司内网访问,业务入方向只放通HTTP,出方向需要关闭RDP协,管理平面都只可以让客户机房专属运维端访问。2、 上云建议:用1台鲲鹏通用计算增强型ECS,kc1.2xlarge.4:8vcpu/32Gmem,包年包月,EulerOS v2.8;下挂SFS Turbo型 HPC型SFS弹性文件服务,9.6T(建议选择更大值做冗余,如10.8T);通过云VPN与用户办公室相连,双网卡,业务网卡安全组配置入方向只放通HTTP,出方向需要关闭RDP协议,管理网卡安全组配置仅开放客户机房专属运维端访问。4.2 渔网自动化生产线系统上云技术方案1、 客户需求:该系统目前运行在单刀片(CH121)华为E9000刀片服务器上,长周期业务系统,该业务对计算性能要求并不是很高,但是对于内存要求极高,os环境必须为windows2012版本以上;使用DAS网络直连了一台EMC存储,几乎无实时读写需求,配置为20*2.5inch SAS 600GB disks(使用率接近80%)。只允许公司内网访问,对外默认即可,对内只放通ICMP,管理平面都只可以让客户机房专属运维端访问。2、 上云建议:开1台内存优化型ECS弹性云主机,m7.xlarge.8:4vcpu32GMem ,包年包月计费,Windows Server 2016 标准版 64位简体中文,客户未指定,其他版本也可以。标准存储单AZ包OBS对象存储服务,9.38T(建议选择更大值做冗余,如10T)。通过云VPN与用户办公室相连,双网卡,业务网卡安全组配置对外默认即可,对内只放通ICMP,管理网卡安全组配置仅开放客户机房专属运维端访问。4.3 金额核算系统上云技术方案1、 客户需求:目前运行在18年于华为购买的昆仑服务器,需考虑数据安全,运维安全,运行稳定性。 存储部分直连使用一台华为Dorado未知型号(标签信息模糊丢失)V5,总容量为11*Nvme SSD 1.2TB,目前仅用6个盘满写状态,剩一个盘覆写率50%左右,超高IOPS性能。只允许公司内网访问,对外同样默认即可,对内只允许客户侧专有人员地址段10.154.87.x访问,管理平面都只可以让客户机房专属运维端访问。2、 上云建议:BMS裸金属服务器,physical.s3.large:20C128G,包年包月,1块极速型SSDEVS云硬盘,7.8T(建议选择更大值做冗余,如8T)。通过云VPN与用户办公室相连,双网卡,业务网卡安全组配置对外同样默认即可,对内只允许客户侧专有人员地址段10.154.87.x访问,管理网卡安全组配置仅开放客户机房专属运维端访问。4.4 业务整体安全根据用户需求,通过SDRS和CBR部署云上两地三中心容灾4.5 迁移技术方案迁移整体流程:(1)迁移前信息收集与风险容量评估:调研客户现网信息,包含软硬件版本、规格、参数、性能容量、兼容性,评估迁移风险点。(2)迁移方案制定:确定迁移场景、迁移方式/工具、迁移团队、迁移时间、紧急回退方案等。迁移方式p2p\p2v\v2p\v2v(根据客户实际场景决定)。(3)迁移预实施和整体逐步逐层实施:按照迁方案进行部分少量节点预实施,分批次(业务系统最后)逐层(数据层最后)进行整体迁移。(4)钱以后业务测试+数据检验:对于迁移业务进行业务拉起测试、接入测试、网络质量测试、数据完整度检查。(5)迁移现场保障和后期维保:迁移完成后需留场进行业务保障,后续业务在维保期需持续关注。(6)项目验收。2、迁移方式:p2v(物理机迁移到虚拟机)、p2p(物理设备更换)、v2p(虚拟机迁移到物理机)、V2V(虚拟机更换平台)3、三层各自迁移(技术工具、上云服务)数据层迁移:工具:HyperReplication、HyperMetro、Lun COPY、eReplication等公有云服务:数据快递服务DES平台层(数据库)迁移:工具:Oracle Golden Gate,Data guard,Always On,数据库自带迁移工具等公有云服务:数据库迁移服务DRS(偏同构数据库)、UGO(偏异构数据库,可翻译GaussDB命令)主机迁移:工具:rainbow,ebackup等公有云服务:主机迁移服务SMS 4.6 云资源监控及运维建议云上资源监控可以使用免费的CTS(云审计)、CES(云监控)、LTS(日志审计)三个服务对资源进行监控。2 项目实现价值与总结该项目可实现用户三大系统上云需求,同时解决用户信创合规性等问题,而且实现了用户的两地三中心的灾备需求,极大地保障了用户业务连续性和安全性。此方案为第一版,有未尽之处请指正。前言本方案为x地市xx大型民营企业上云方案建议书第一版。1项目概述1.1项目背景 A企业是一家位于国内x地市的大型民营企业,主要以渔网自动化批量制造与前端售卖为主,由于该地市省政府今年新发布的地区云化政策,该企业的3项业务被列入上云清单,三大系统分别是OA办公系统、渔网自动化生产线系统、内部订单核算系统。1.2项目关键信息收集OA办公系统,主要承担后端部门日长工作、员工行销流程等任务,目前该业务双机HA部署(一主一备)在华为RH2288V5服务器(未部署本地盘)上,并利用CE-6800S系列交换机组成san组网级联俩台Oceanstor5300v5存储(目前俩台都采用12*3.5inch NL-SAS 1TB disks配置,使用率整体为40%),该业务有着公司内部员工共享数据的需求,并且对读写速度有一定要求;OA系统属于长期使用的业务系统,且由于今年突然的信创国产化政策的推行,客户表示上云后能否满足这一政策,此外os也希望继续采用linux分支,最好也遵循国产化政策;渔网自动化生产线系统目前运行在单刀片(CH121)华为E9000刀片服务器上,该服务器下面使用DAS网络直连了一台EMC存储,几乎无实时读写需求,配置为20*2.5inch SAS 600GB disks(使用率接近80%);渔网自动化生产线系统也属于长周期业务系统,客户表示该业务对计算性能要求并不是很高,但是对于内存要求极高,上云后应注意,且其经常会出现流量带宽不稳定的正常情况,客户希望上云后可以适配这一点,不要让业务不稳定,此外os环境必须为windows2012版本以上;内部订单核算系统负责每日终端销售与工厂直销的费用内部在线核算以及公司内部薪水奖惩费用在线结算;该业务系统目前运行在18年于华为购买的昆仑服务器,存储部分直连使用一台华为Dorado未知型号(标签信息模糊丢失)V5,总容量为11*Nvme SSD 1.2TB,目前仅用6个盘满写状态,剩一个盘覆写率50%左右,超高IOPS性能。2 项目需求分析2.1 项目现状分析客户三大系统目前在本地运行,根据本地区云化政策,该企业的3项业务被列入上云清单,要求必须上云。用户三大系统都很关键,有比较迫切的上云及容灾需求。2.2 项目总体需求分析2.2.1 业务计算部分上云需求序号 业务名称设备型号(计算类)单 台 设 备 规 格(CPU/核数/内存)设备数量实际计算资源使用量(请写出计算过程)不包括存储,CPU和内存1OA办公系统华为RH2288V5服务器2*Intel® Xeon® Scalable processors(4C);64GB Memory2实际使用(单台)CPU:2*0.5=1CORE:2*4C*50%=4CMEM:64GB*50%=32GB2渔网自动化生产线系统单刀片(CH121)华为E9000刀片服务器CH121(刀片) : 2*Intel® Xeon® Scalable processors(4C);128GB Memory)1实际使用(单台)CPU:2*0.25=0.5CORE:2*4C*25%=2CMem:128GB*25%=32GB3内部订单核算系统华为KUNLUN 服务器4*Intel® Xeon® Scalable processors(8C);256GB Memory1实际使用(单台)CPU:4*0.25=1CORE:4*8C*25%=8CMem:256GB*25%=64GB2.2.2 业务存储部分上云需求序号 业务设备信息收集(存储)单 台 设 备 规 格信息设备数量 实际使用量1OA办公系统Oceanstor5300v5存储12*3.5inch NL-SAS 1TB disks212*1TB*40%*2=9.6T2渔网自动化生产线系统EMC存储20*2.5inch SAS 600GB disks120*600G*80%=9600GB==9.38T题目让转化就转化看题干是否有转化或小数点要求3内部订单核算系统华为Dorado未知型号(标签信息模糊丢失)V511*Nvme SSD 1.2TB17.8T2.2.3 业务网络部分上云需求公司所涉的三个业务网络已有具体信息如下:OA业务:业务平面:10.154.88.1 管理平面:10.154.88.2自动化制造系统: 业务平面:无 管理平面:10.154.88.3金额核算系统:业务平面:10.154.88.4 管理平面:10.154.88.5据该客户表述,该公司三个业务业务平面都只允许公司内网访问,不对公网开放;客户对于上云后网络的要求主要是希望保留业务的双平面设计(三大业务的入出规则),OA业务入方向只放通HTTP,出方向需要关闭RDP协议;自动化制造系统对外默认即可,对内只放通ICMP;金融核算系统对外同样默认即可,对内只允许客户侧专有人员地址段10.154.87.x访问;此外3大业务的管理平面都只可以让客户机房专属运维端访问;2.2.4 安全设计需求客户无安全要求,但根据实际情况考虑,建议通过SDRS和CBR部署云上两地三中心进行容灾。2.2.5 其他特殊需求 客户无其他特殊要求。3 项目方案架构图(预)4项目技术方案4.1 OA办公系统上云技术方案业务类型 公有云云服务名称/规格类型(计算类)收费模式单台规格参数(vcpu/内存)--(设CPU:VCPU=1:8)数 量(台)镜像类型选择镜像名称与版本选择OA办公系统弹性云服务器ECS/鲲鹏通用计算增强型包年包月8vCPU/32GB2公共镜像EulerOS 2.5业务设备信息收集(存储)单 台 设 备 规 格信息设备数量 实际使用量OA办公系统Oceanstor5300v5存储12*3.5inch NL-SAS 1TB disks212*1TB*40%*2=9.6T线下办公人员、运维人员通过两条云VPN访问OA系统。4.2渔网自动化生产线系统上云技术方案业务名称设备型号(计算类)单 台 设 备 规 格(CPU/核数/内存)设备数量实际计算资源使用量(请写出计算过程)不包括存储,CPU和内存渔网自动化生产线系统单刀片(CH121)华为E9000刀片服务器CH121(刀片) : 2*Intel® Xeon® Scalable processors(4C);128GB Memory)1实际使用(单台)CPU:2*0.25=0.5CORE:2*4C*25%=2CMem:128GB*25%=32GB业务设备信息收集(存储)单 台 设 备 规 格信息设备数量 实际使用量渔网自动化生产线系统EMC存储20*2.5inch SAS 600GB disks120*600G*80%=9600GB==9.38T题目让转化就转化看题干是否有转化或小数点要求线下运维人员通过云VPN访问OA系统4.3内部订单核算系统上云技术方案业务名称设备型号(计算类)单 台 设 备 规 格(CPU/核数/内存)设备数量实际计算资源使用量(请写出计算过程)不包括存储,CPU和内存内部订单核算系统华为KUNLUN 服务器4*Intel® Xeon® Scalable processors(8C);256GB Memory1实际使用(单台)CPU:4*0.25=1CORE:4*8C*25%=8CMem:256GB*25%=64GB业务设备信息收集(存储)单 台 设 备 规 格信息设备数量 实际使用量内部订单核算系统华为Dorado未知型号(标签信息模糊丢失)V511*Nvme SSD 1.2TB17.8T线下办公人员、运维人员通过两条云VPN访问OA系统。4.4 业务整体安全通过设置不同的安全组对客户以下要求进行限制:三个业务业务平面都只允许公司内网访问,不对公网开放;3大业务的管理平面都只可以让客户机房专属运维端访问;OA业务入方向只放通HTTP,出方向需要关闭RDP协议;自动化制造系统对外默认即可,对内只放通ICMP;金融核算系统对外同样默认即可,对内只允许客户侧专有人员地址段10.154.87.x访问。4.5 迁移技术方案迁移分为迁移前调研、迁移上云评估、迁移方案制定、迁移方案测试(验证方案的正确性及可实施性,工具选择验证等)、迁移分级分布实施(先迁普通业务再迁核心业务)、迁移验收测试、迁移维保等阶段展开。4.6 云资源监控及运维建议云上资源监控可以使用免费的CTS(云审计)、CES(云监控)、LTS(日志审计)三个服务对资源进行监控。云上资源运维建议开通CBH(云堡垒机)进行运维,可以保证运维安全且可以审计追溯等。5 项目实现价值与总结该项目可实现用户三大系统上云需求,采用两地三中心的灾备需求,极大地保障了用户业务连续性和安全性。此方案为第一版,有未尽之处请指正。
-
C卷一、计算题某学校有5大业务系统上云,分别为家校系统(新上),办公系统(重要,核心系统),网上教学系统,教务系统,内网监控。第一个家校系统没建,本地虚拟机Vmware的配置需求,上云什么需求就是什么需求,1:1。第二个办公系统核心系统,内网,物理机,建了……第三个是网上教学系统,互联网;第四个教务评估系统,内网。第五个内网监控,不上云。有一个要信创。核数:2*16=32核 内存:8*16g=128g 2、核数:2*16*0.25=8核(0.25平均负载) 2*16*0.85=27.2(峰值负载0.85,可取32) 内存:8*16*0.68=87.04G(可取96g) 存储空间:系统盘未知, 数据库盘:8*500g*0.5(raid10利用率)=2000G 要求:1、cpu平均利用率小于50%,2内存利用率小于70%,3无特别说明按照1:1选型,4保证峰值压力。 怎么计算选型?1.信息收集(1)zhxx-app.vmdk和zhxx-db.vmdk是否都能导入华为云镜像的方式部署?对于Vmware镜像文件.vmdk部署为华为云的弹性云服务器ECS,其流程主要步骤有哪些?答:华为云支持导入vhd、vmdk、qcow2、raw、vhdx、qcow、vdi、qed、zvhd或zvhd2格式镜像文件。使用公有云镜像服务,步骤如下: 准备符合平台要求的外部镜像文件。 上传外部镜像文件到OBS个人桶中。 通过管理控制台选择上传的镜像文件,并将镜像文件注册为私有镜像。 私有镜像注册成功后,使用该镜像创建新的云服务器。(2)根据内容填写信息收集表。2.计算部分(1)Cpu平均利用率小于50%,(2)内存利用率小于70%,(3)无特别说明CPU、内存按照1:1选型,(4)保证峰值压力。填写计算资源选型表。(2)某业务在某时刻不够用,需要用到什么技术,描述一下该技术的实现步骤答:使用到了弹性伸缩技术+按需使用。cid:link_41.弹性伸缩技术:弹性伸缩(Auto Scaling,以下简称AS)是根据用户的业务需求,通过设置伸缩规则来自动增加/缩减业务资源。当业务需求增长时,AS自动为您增加弹性云服务器(ECS)实例或带宽资源,以保证业务能力;当业务需求下降时,AS自动为您缩减弹性云服务器(ECS)实例或带宽资源,以节约成本。AS支持自动调整弹性云服务器和带宽资源。2.弹性伸缩实现步骤:创建伸缩配置——创建弹性伸缩组——创建伸缩策略一、创建伸缩配置:1、登录管理控制台,2、 选择“计算 > 弹性伸缩 > 伸缩实例”。 3. 单击“创建伸缩配置”。 4. 在“创建伸缩配置”页面,填写弹性伸缩配置信息,您可以选择使用已有云服务 器规格为模板或者使用新模板。 二、创建弹性伸缩组: 1. 返回“伸缩实例”页面,单击“创建弹性伸缩组”。 2. 在创建伸缩组页面,填写弹性伸缩组的基本信息,例如,名称、最大实例数、最小实例数、期望实例数等,在高级配置中还可对标签进行配置。 “伸缩配置”选择已创建的伸缩配置。三、创建伸缩策略 1. 在伸缩组所在行的“操作”列下,单击“查看伸缩策略”。 2. 在“伸缩策略”页签,单击“添加伸缩策略”。 二、存储部分(1)oceanstore ,1台存储(共24块盘,2块热备,做raid5,每块盘750G),填表格。(题干还有描述raid5最多不超过12块盘;24块盘有2块保险盘;还有表格显示(0,25】是2块高热备,1块低热备)热备盘分为高热和低热两种方式,4块保险盘不存放数据,24块盘,此处采用高热备份方式,分两组做raid5,每块盘750GB,求可用容量,实际容量,可用硬盘数,容量使用率可用容量已用容量利用率多少可用硬盘18*75018/2418存储利用率=可用容量/裸容量存储使用率=已用容量/可用容量 剩余可用容量(2)前三天频繁掉用,3天后转为归档,对应obs什么功能;2周后自动删除,对应obs什么功能特性 ,怎么部署怎么计费(对应OBS各种特性,大概有5-6句需求描述分别需要对应不同需求指出OBS什么特性)在桶的生命周期管理中进行配置,由于前三天频繁读写,因此在转换为低频访问存储中选择为“不配置”,转换为归档存储配置为3天,对象过期删除配置为14天,计费方式为包年包月。3、lamp数据库如何选存储?lamp数据库和应用都分别用主机单独部署,请问用什么规格的存储,并说明原因(应用服务器数据存储200g,文件数据增长快)(与老师确认)如果仅基于现有的信息:1.LAMP是指linux+apache+mysql+php(python)的一套简易且稳定的网站搭建工具。Apache服务器:WEB应用程序的服务器,当客户端请求的是静态资源时,web服务器会直接把静态资源返回客户端;当客户端请求的是动态资源时,httpd的php模块会进行相应的动态资源运算,如果此过程还需要数据库的数据作为运算参数时,php会连接mysql取得数据然后进行运算,运算的结果转为静态资源并由web服务器返回到客户端。对于应用服务器,由于文件数据增长快,建议还是选用云硬盘(通用SSD型),实时读写,高性价比的云硬盘,可用于高吞吐、低时延的场景。如果有图片或视频类数据,可以考虑将图片、视频类数据存储在OBS中。对于数据库mysql服务器,建议选用云硬盘(超高I/O型),可用于企业关键性业务,适合高吞吐、低时延的场景。三、网络部分(1)给了学校、互联网、教育局和XX四个图标画图,根据描述要求画即可学校和华为云之间要考虑主备线路,子网规划与客户现网不要冲突(2)视频点播,直播分别是两个不同的域名,绑定的同一个ip,后端是两台服务器提供视频点播和视频直播服务。华为云什么服务可以实现该功能,并简要说明步骤ELBhttps://support.huaweicloud.com/qs-elb/zh_cn_elb_02_0001.html共享型负载均衡可以配置基于域名和URL的转发策略,将来自不同域名或者不同URL的请求转发到不同的后端服务器组处理。此功能目前仅支持协议类型为HTTP、HTTPS的监听器。步骤:创建弹性云服务器—搭建后端服务—新建负载均衡器—添加监听器—添加转发策略—验证负载均衡服务假设每次访问的平均页面大小是200K字节,网站的预期目标是每天50W PV的访问量。我们的计算开始:50W PV如果在一天内平均分布,折合到每秒大概是50W/(246060)=6次访问,按照我们之前的假设平均页面大小是200K字节计算,这6次访问总 共就是1200K字节(需要注意的是这个地方是字节),字节的单位是Byte,而带宽的单位是bit,1Byte=8bit,因此1200K Byte大概就是9600K bit,也就是9Mbps(1M=1024K)。在实际的网站运行过程中,我们的网站必须要在峰值流量时保持正常的访问,这里就会用到我们之前的假设,峰 值流量是平均流量的5倍,按照这个计算,实际需要的带宽大约在9Mbps*5=45Mbps左右。具体的计算公式是: 网站独享带宽=一天总的PV值÷ 一天总时间(换算到S)*平均页面大小(单位KB)* 8 第一个是3倍峰值,第二个是峰值忽略。(3)填表题(前提有一张图,显示几个业务系统的访问关系)业务系统Vpc及子网划分Vpc及子网与谁访问Acl和安全组规则智慧家校智慧办公智慧教务网上教学注意:上云网段不能重复,安全组做端口放通,ACL做网段限制,限制访问四、数据迁移1.若需要将Oracle数据进一步挖掘和分析,需要将数据导入到数仓中,在华为云上应该怎么完成数据导入,并说明下主要步骤?Oracle迁移至数据仓库(GaussDB)的工具和流程 (CDM/DRS/备份迁移:数据库上传OBS,恢复)1.CDM(1)准备数据(2)创建CDM集群(3)CDM集群绑定EIP (4)创建Oracle连接和DWS连接 (5)创建数据迁移作业(6)查看迁移的数据统计2.使用DRS的实时同步功能将本地Oracle数据库实时同步至华为云GaussDB(for openGauss)。通过全量+增量同步,实现源数据库Oracle和目标数据库GaussDB(for openGauss)的数据长期同步。(1)迁移至数据仓库的工具:DRS(2)迁移至数据仓库的流程:a) 创建VPC和安全组b) 创建GaussDB(for openGauss)实例c) 迁移前构造数据d) 迁移数据库(创建DRS实例,将本地Oracle上的test_info数据库迁移到GaussDB(for openGauss)实例中test_database_info数据库中)e) 迁移后进行数据校验3.备份迁移存入OBS再转储至DWS步骤:(1)开始(2)上传数据至OBS(3)创建OBS外表(4)执行导入数据(5)处理错误表(6)优化查询效率(7)结束OBS导入导出数据时,暂不支持跨Region进行OBS数据导入导出,必须确保OBS和DWS集群在同一个Region中2.目标数据库应该选择什么类型和部署方式? 华为云服务的哪些特性可以同时既满足高性能,又能满足高可靠性的需求? (多实例+DDM+缓存数据库+一主一备5只读(集群部署))一、数据库本身特性 服务高可用:可用区内部主备、跨可用区主备 数据高可靠:在线存储数据可靠性9个9、备份存储数据可靠性11个9 数据高安全:(1)连接安全:VPC、子网、安全组、VPN、SSL(2)安全管理:管控平台严格做到不碰用户业务数据(3)数据加密:储存数据加密,秘钥严格管理二、用分布式数据库中间件DDM 1、分布式数据库中间件(DDM):分布式关系型数据库,兼容Mysql协议,采用存储计算分离架构的模式,使得存储、计算层可以无限扩展,从而拥有海量数据高并发访问能力。三、采用缓存数据库 采用分布式缓存服务Redis、Memcached对象缓存服务等产品,基于双机热备的高可用架构,基于主备、读写分离、集群等丰富类型的缓存类型,满足用户高并发及数据快速访问的业务需求。3.什么是在线迁移和离线迁移?在线迁移和离线迁移可以分别使用华为云上的什么迁移方法? 在线迁移:是指在系统不停机的情况下,将服务器或虚拟机上的系统、服务程序等从自建机房(IDC)或云平台等源环境迁移同步至云上,方便实现企业上云、跨云平台迁移、跨账号/区域迁移或部署混合云等业务需求。离线迁移: 在线迁移方法:华为云上:采用数据复制服务DRS做数据库迁移,此外若客户涉及异构数据库迁移,则也可用数据库应用迁移服务UGO做迁移在线迁移服务:DRS实时迁移、SMS、OMS离线迁移方法:DRS备份迁移、镜像导入到OBS再恢复、DES数据快递服务4.两种不同迁移方法,适用场景是什么?本案例中不同的迁移方案分别有哪些需要注意的?cid:link_2cid:link_1https://support.huaweicloud.com/qs-drs/drs_04_0089.html#drs_04_0089__section15921124810611在线迁移: 如果您使用的是全量+增量迁移模式(在线迁移),支持在源数据库有业务数据写入的情况下进行迁移,推荐提前2-3天启动任务,并配合使用技巧和对应场景的操作要求,以确保顺利迁移。离线迁移:如果您使用的是全量迁移模式(离线迁移),确保源和目标数据库无业务写入,保证迁移前后数据一致。全量迁移结合定时启动功能,选择业务低峰期开始运行迁移任务,相对静态的数据,迁移时复杂度将会降低。在线迁移,相当于增加一个从节点并且会做一次全量同步,所以,建议在业务低峰期迁移。本案例中,避开业务高峰期,高峰时不要用在线迁移。数据库迁移:Mysql可以选择上云RDS,迁移工具DRSSqlserver可以选择上云RDS,迁移工具导入导出、goldengate、CBROracle可以选择自建(BMS),迁移工具Goldengate,DataGuard,Rman;可以选择上云,postgrel,迁移工具DRS+UGO,备份迁移,导到OBS桶,OBS导入同构数据库(DRS或IMS调用)二、方案题:银行业务三大系统上云,和课上讲的例子相近,在沿海,之前数据中心被淹导致数据丢失,希望能够今后不再出现此类情况,总体难度不大。主备云VPN 双活 两地三中心D卷一、计算题智慧校园5大业务,智慧家校 智慧办公 智慧学习 智慧教务 智慧环境1.计算1、核数:2*16=32核 内存:8*16g=128g 2、核数:2*16*0.25=8核(0.25平均负载)2*16*0.85=27.2(峰值负载0.85,可取32) 内存:8*16*0.68=87.04G(可取96g) 存储空间:系统盘未知, 数据库盘:8*500g*0.5(raid10利用率)=2000G 要求:1、cpu平均利用率小于50%,2内存利用率小于70%,3无特别说明按照1:1选型,4保证峰值压力。 怎么计算选型?公有云计算架构的特点(1) 超大规模。 “云”具有相当的规模,一般拥有数百上千台服务器,能给用户前所未有的计算能力。(2)虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。(3) 高可靠性。“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。(4) 通用性。云计算不针对特定的应用,同一个“云”可以同时支撑不同的应用运行。(5) 高可扩展性。“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。(6)按需服务。“云”是一个庞大的资源池,你按需购买;云可以象自来水,电,煤气那样计费。(7)极其廉价。由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。(图)画计算架构 以及这样设计的优势(与老师确认)优势:1.分区域、跨区域部署,多Region结构,可靠性得到提升2.底层基于Openstack模块化设计,功能丰富优势:(1)控制性完全开源的平台,提供API接口,方便与第三方技术集成(2)兼容性OpenStack兼容其他公有云,方便用户进行数据迁移(3)可扩展性模块化设计,可以通过横向扩展,增加节点、添加资源(4)灵活性根据自己的需要建立相应基础设施、增加集群规模(5)行业标准众多IT领军企业已经加入到OpenStack项目2.私有镜像创建zhxx-app.vmdk和zhxx-db.vmdk是否都能导入华为云镜像的方式部署?对于Vmware镜像文件.vmdk部署为华为云的弹性云服务器ECS,其流程主要步骤有哪些?华为云支持导入vhd、vmdk、qcow2、raw、vhdx、qcow、vdi、qed、zvhd或zvhd2格式镜像文件。使用公有云镜像服务,步骤如下: 准备符合平台要求的外部镜像文件。 上传外部镜像文件到OBS个人桶中。 通过管理控制台选择上传的镜像文件,并将镜像文件注册为私有镜像。 私有镜像注册成功后,使用该镜像创建新的云服务器。二、网络1.学校 华为云 教育局 互联网 网络连线及功能配置说明设计网络 配置ACL和sg(参考C卷)2.2个域名绑定一个IP地址,华为云如何实现,说明步骤(参考C卷)ELB+CDN根据PV值 网页大小 浏览次数 计算带款(学校到华为云、华为云到互联网)假设每次访问的平均页面大小是200K字节,网站的预期目标是每天50W PV的访问量。我们的计算开始:50W PV如果在一天内平均分布,折合到每秒大概是50W/(3600*24)=6次访问,按照我们之前的假设平均页面大小是200K字节计算,这6次访问总 共就是1200K字节(需要注意的是这个地方是字节),字节的单位是Byte,而带宽的单位是bit,1Byte=8bit,因此1200K Byte大概就是9600K bit,也就是9Mbps(1M=1024K)。在实际的网站运行过程中,我们的网站必须要在峰值流量时保持正常的访问,这里就会用到我们之前的假设,峰 值流量是平均流量的5倍,按照这个计算,实际需要的带宽大约在9Mbps*5=45Mbps左右。具体的计算公式是:网站独享带宽=一天总的PV值÷ 一天总时间(换算到S)*平均页面大小(单位KB)* 8三、存储1.存储是一共24块盘 然后做的RAID10 有参照表 计算硬盘容量 已用容量 利用率 可用硬盘数2.三大存储 对比(1)SAN存储提供给应用的是一个LUN或者是一个卷,LUN和卷是面向磁盘空间的一种组织方式,上层应用要通过FC或者ISCSI协议访问SAN。SAN存储处理的是管理磁盘的问题,适用于实时读写场景;(2)NAS存储提供给应用的是一个文件系统或者是一个文件夹,上层应用通过NFS和CIFS协议进行访问,利用FTP+TFTP协议进行上传下载,此外,文件系统要维护一个目录树,适用于企业组织内部共享场景,提升办公效率和存储空间利用率(减少同类型数据复存)(3)对象存储更加适合web类应用,基于URL访问地址提供一个海量的桶存储空间,能够存储各种类型的文件对象,对象存储是一个扁平架构,无需维护复杂的文件目录。无需考虑存储空间的限制,一个桶支持近乎无限大的存储空间。(适用于离线、冷数据、归档数据、作为后端存储为客户打造的离线存储系统,性价比高…)3.obs设置标准转低频,低频转归档生命周期管理可适用于以下典型场景:(1)周期性上传的日志文件,可能只需要保留一个星期或一个月。到期后要删除它们。(2)某些文档在一段时间内经常访问,但是超过一定时间后便可能不再访问了。这些文档需要在一定时间后转化为低频访问存储,归档存储或者删除。生命周期管理可以按对象名前缀进行设置规则,也可以在整个桶上设置规则。生命周期管理功能支持数据从当前版本转换为低频访问存储、转换为归档存储,以及数据进行过期删除。您可以指定在对象最后一次更新后多少天,受规则影响的对象将转换为低频访问存储、归档存储或者过期并自动被OBS删除。转换为低频访问存储的时间最少设置为30天,若同时设置转换为低频访问存储和转换为归档存储,则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天,例如转换为低频访问存储设置为33天,则转换为归档存储至少需要设置为63天。对象存储类别转换限制:仅支持将标准存储对象转换为低频访问存储对象,低频访问存储对象转换为标准存储对象需手动转换。仅支持将标准存储或低频访问存储对象转换为归档存储对象。如果要将归档存储对象转换为标准存储或低频访问存储对象,需要手动恢复对象,然后手动转换存储类别。四、视频、流媒体容器化流媒体服务器、转码服务器1.云原生的通俗解释+画图示意微服务 CICD devops 容器化的关系+四个各自的功能作用(与老师确认)云原生:既包含技术(微服务,敏捷基础设施),也包含组织和管理(DevOps,CI/CD等),是一系列Cloud技术、企业管理方法的集合。DevOPs:开发、测试、交付、运维一体微服务的最佳组织阵型CI/CD: 快速反馈,响应业务需求持续集成、发布、交付、部署微服务:独立开发、交付、部署、扩展轻量级的产品、交互容器及其编排:敏捷的基础设施、按需即用微服务最佳载体关系:容器及其编排是底层,微服务的最佳载体。CI/CD是工具,Devops是微服务的最佳组织阵型。微服务:目的是有效的拆分应用,实现敏捷开发和部署 。CICD:CICD实现了从代码开发、代码编译、部署、测试、发布上线自动化的一套自动化构建的流程;CI即持续集成(Continuous Integration),它实现代码合并、构建、部署、测试都在一起,不断地执行这个过程,并对结果进行反馈。Devops :DevOps 就是让开发人员和运维人员更好地沟通合作,通过自动化流程来使得软件整体过程更加快捷和可靠容器化:容器是通过一种虚拟化技术来隔离运行在主机上不同进程,从而达到进程之间、进程和宿主操作系统相互隔离、互不影响的技术。这种相互孤立进程就叫容器,它有自己的一套文件系统资源和从属进程。2.使用容器引擎客户端上传镜像(排序题)开始——安装容器引擎——构建镜像——创建组织——连接容器镜像服务——上传镜像——结束3.视频服务用了流媒体,请问哪些应用适合容器化?用什么容器服务?(1)流媒体应用有:媒体采集系统、媒体制作系统、点播系统、视频流推送系统.几类应用比较适合容器化部署:一是功能单一的应用,即微服务(这也是为什么现在大家一谈到微服务就会谈到容器,一谈到容器就会谈到微服务的原因);二是无状态的应用,容器的一个最大的优点就是可以快速创建(秒级),对于无状态的应用,可以通过快速横向扩容来提升并发处理能力;三是变更频繁的应用,容器是基于镜像创建的,对于变更频繁的应用,只要能保证镜像在测试环境测试没有问题,那么在生产环境上线由于环境差异导致出问题的概率就会少的多;四是对于需要在一个站点快速部署的应用组,对于需要在一个新站点快速部署的应用组,使用容器技术能够结合容器平台自身的特性,快速创建一个新的站点。(2)容器化改造思路1:负载均衡应用改造点:选择合适的负载均衡器中小型的Web应用可以使用ngnix或HAProxy,大型网站或重要的服务可以使用LVS,目前该企业业务较小,选取nginx作为负载均衡器!2:web应用改造点:应用存在长时间执行请求 增加消息队列,通过消息队列将长任务与用户请求解耦3:应用服务器应用改造点:应用实例依赖于本地的存储来持久化数据如果是日志,建议变成流汇聚到分布式日志系统中。如果必须要使用存储,要使用共享文件系统如NFS(3)采用华为云CCE集群服务CCE引擎核心优势支持裸金属容器服务,流媒体服务性能提升200%以上。视频流媒体对网络性能以及服务器运算能力要求苛刻。CCE支持裸金属容器服务,如图1,视频应用可基于裸金属服务部署,容器直接运行在物理机上,无任何虚拟化性能缺失,可获得和物理机同等的超优性能,视频业务性能提升200%以上。视频网站应用放在pod里视频文件放在OBS里有状态pod 无状态pod流媒体加CDN加速服务ClusterIP:集群内访问表示工作负载暴露给同一集群内其他工作负载访问的方式,可以通过“集群内部域名”访问Nodeport:在每个节点的IP上开放一个静态端口,通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务,这个ClusterIP服务会自动创建。通过请求<NodeIP>:<NodePort>,可以从集群的外部访问一个NodePort服务Loadbalance:可以通过弹性负载均衡从公网访问到工作负载,与弹性IP方式相比提供了高可靠的保障,一般用于系统中需要暴露到公网的服务。架构图:4.视频点播、直播分别是两个不同的域名,绑定同一个ip,华为云什么服务可以实现该功能,并简要说明步骤。基于ELB共享型负载均衡,7层转发五、大题三大业务上云,非沿海,同C卷,老师上课例题注意:1.算流量、PV值、带宽,一个考虑峰值一个不考虑峰值其他:安全组端口ICMP mysql 数据库默认3306 http80 https 443 ssh登录22 远程桌面3389 sql server数据库1433 APP业务端口8080数据库及迁移专题一、几大数据库 迁移1、mysql(1)离线迁移(适用于数据量不大,或者允许停机的时间较长)工具: mysqldump(2)在线迁移工具:DRS步骤:https://support.huaweicloud.com/bestpractice-drs/drs_02_0008.html2、Sqlserver(离线迁移)(1)上云迁移到rds工具:导入导出功能、DRS备份迁移步骤:https://support.huaweicloud.com/bestpractice-rds/rds_04_0005.html步骤:https://support.huaweicloud.com/backupmig-drs/drs_02_0009.html3、Oracle(实施迁移)(1)线下迁移工具:Golden Gate、Date Guard、Always on(2)上云a.迁移到裸金属上自建oracle:Golden Gate、Date Guard、Always onb.迁移到Postgre:cdm,UGO+DRS(3)迁移到GaussDB(DWS)工具:CDM、存入OBS再转储至DWSCDM步骤:(1)准备数据(2)创建CDM集群(3)CDM集群绑定EIP (4)创建Oracle连接和DWS连接 (5)创建数据迁移作业(6)查看迁移的数据统计存入OBS再转储至DWS步骤:(1)开始(2)上传数据至OBS(3)创建OBS外表(4)执行导入数据(5)处理错误表(6)优化查询效率(7)结束OBS导入导出数据时,暂不支持跨Region进行OBS数据导入导出,必须确保OBS和DWS集群在同一个Region中DRS可实现实时同步,不能实时迁移二、几大存储数据迁移1、块存储(1)上云迁移到EVS工具:sms2、SFS(1)上云迁移到SFS工具:sms3、OBS(1)上云迁移到OBS搬迁本地数据至OBS:OBS工具、CDM、DES(TB&PB级别)、DES Teleport、云专线工具:CDM(10T以下)具体迁移步骤如下:创建OBS桶通过OBS控制台或OBS Browser+创建桶,用于存放用户原始数据。购买CDM购买CDM服务,即创建CDM集群并绑定EIP,用于管理连接与作业。配置连接与作业 1)在CDM集群中新建连接:需要新建一个以第三方云厂商作为数据源的源连接,和一个以OBS作为数据目的地的目的连接。 2)创建CDM作业,执行从第三方云厂商迁移到OBS的任务。开始数据迁移运行CDM作业,启动数据迁移。用户可以通过作业管理界面查看作业进度(2)云上迁移迁移第三方云厂商数据至OBS:OMS、CDM、镜像回源OBS之间数据迁移(跨帐号、跨区域以及同区域内数据迁移):OMS工具:OMS(500T以下)具体迁移步骤如下:创建OBS桶登录OBS控制台,创建桶用于存放迁移数据。创建OMS迁移任务在OMS控制台创建迁移任务,通过配置访问密钥、桶名等参数将第三方云厂商(源端)与OBS(目的端)关联。开始数据迁移执行OMS迁移任务,开始数据迁移。数据迁移过程中,可以在OMS查看任务执行状态以及查看到最终结果。(3)离线迁移:通过上传OBS将数据下载下来,再调用华为云的OBS对象存储的上传接口,进而实现数据的迁移各个迁移服务的区别https://support.huaweicloud.com/cdm_faq/cdm_01_0255.html#cdm_01_0255__section371621161761.云数据迁移CDM:目标端为数据湖或其他大数据系统;源端可以是数据库也可以是对象存储目的端是大数据系统时,推荐使用CDM。目的端是OLTP数据库或DWS时,推荐使用DRS迁移。OMS用于入云迁移,支持以下源端云服务商:亚马逊云、阿里云、微软云、百度云、青云、七牛云、腾讯云。CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。同时,整桶迁移建议使用OMS。2.对象存储迁移服务 OMSOMS主要功能有以下两个:线上数据迁移服务:帮助用户把对象存储数据从其他云服务商的公有云轻松、平滑地迁移上云。跨区域的复制:指的是华为云各个Region之间的数据复制和备份。云数据迁移CDM服务也同样支持对象存储数据迁移,两者的区别为:OMS用于他云到华为云的数据迁移。CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。3.数据复制服务 DRS目前支持的数据库链路有:自建/他云MySQL->RDS for MySQL自建/他云PostgreSQL->RDS for PostgreSQL自建/他云MongoDB->DDSOracle->RDS for MySQLDRS与CDM的区别:DRS的目的端为数据库系统,例如MySQL、MongoDB等。CDM的目的端主要为数据湖或其他大数据系统,例如MRS HDFS、FusionInsight HDFS。4.主机迁移服务 SMS5.数据库和应用迁移 UGO6.数据快递服务 DES:一种海量数据传输解决方案,支持TB到PB级数据上云三、迁移的区别1.实施迁移:实时迁移是指在数据复制服务器能够同时连通源数据库和目标数据库的情况下,只需要配置迁移的源、目标数据库实例及迁移对象即可完成整个数据迁移过程,再通过多项指标和数据的对比分析,帮助确定合适的业务割接时机,实现最小化业务中断的数据库迁移。通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效的将业务系统中断时间和业务影响最小化,实现数据库平滑迁移上云,支持全部数据库对象的迁移DRS实时迁移:支持Mysql入云出云、Mysql到DDM、mangoDB入云出云、Redis入云2.备份迁移:由于安全原因,数据库的IP地址有时不能暴露在公网上,但是选择专线网络进行数据库迁移,成本又高。这种情况下,您可以选用数据复制服务提供的备份迁移,通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。常用场景:云下数据库迁移上云。特点:云服务无需碰触源数据库,实现数据迁移。DRS备份迁移:支持RDS for sqlserver 云上迁移、本地Sqlserver到rds for sqlserver步骤:RDS for sqlserver 云上迁移:创建RDS备份迁移任务本地Sqlserver入云:创建OBS自建桶备份迁移任务https://support.huaweicloud.com/backupmig-drs/drs_02_0009.html3.实时同步:实时同步不同于迁移,迁移是以整体数据库搬迁为目的,而实时同步是维持不同业务之间的数据持续性流动。常用场景:实时分析,报表系统,数仓环境。同步特点:实时同步功能聚焦于表和数据,并满足多种灵活性的需求,例如多对一、一对多,动态增减同步表,不同表名之间同步数据等。DRS实时同步支持:很多,除了实时迁移的都支持,还包括Oracle到postgre/DWS、Sqlserver 到DWS等(不支持sqlserver到rds for sqlserver,这个只能备份迁移)https://support.huaweicloud.com/realtimesyn-drs/drs_05_0005.html四、容灾与迁移安全:单云主机:CSBS/VBS容灾: SDRS/CBR上云迁移:应用层:SMS、ebackup、rainbow平台层:技术流:GG、DG、always on服务流:DRS/UGO物理层:技术流:hypermetro、hyperreplication、lun拷贝、ereplication云服务:DES
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;念擎-华为云AI开发者运营案例开发专家
本期直播内容:AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中
热门标签