• [技术干货] 智慧园区FusionCube线下运维监控总览
    监控总览监控总览页面可以看到应用App、数字平台、容器、虚拟机的告警汇总情况。登录Cube线下运维台Portal。选择“运维中心>监控中心>监控总览”,查看应用App、数字平台、容器、虚拟机的告警汇总数量。图1 监控总览单击告警数值,打开对应的告警查询页面,可进一步查看告警详情。图2 告警列表单击可以查看告警详细信息,根据详细信息中的处理步骤完成告警的处理。图3 告警详细信息
  • [技术干货] 智慧园区FusionCube线下运维概述
    智慧园区解决方案以Cube形态部署时,会在Cube中部署Ops本地运维台,实现对数字平台、园区资产等的健康检测。当前Cube线下运营台提供的检测能力如表1所示。表1 监控能力概述能力说明告警监控汇总展示对Cube中产生的告警进行汇总展示,包括监控总览和应用监控两个页面。当前Ops可接入并告警的内容如图1所示。Ops通过调用交换机、服务器和Fusion Computer的接口,获取设备运行信息;当前相关接口调用失败时,会产生物理层告警。Ops未实现对同步交换机和Fusion Computer自身告警的集成同步;如果查看对应告警,需要登录交换机、FCC的监控页面去查看。容器的告警中不包含对IVS纳管容器的告警统计;IVS容器的告警监控在CSP中。数字平台的告警中不包含GIS(超图和中地)、IVS、iVAS等的告警统计;如果需要查看对应告警,需要登录到各系统自己的告警系统中。Ops业务层告警中默认包含对BO、IO和DO的状态检测;如果选装了部分基线APP,需要手工修改监控配置文件;默认IO监控检查关闭状态,项目更加实际对接的南向系统,通过配置ROMA的环境参数,开启的告警;对于DO监控,datatool启动后会自动产生告警;原生BO通过SDK发送告警;以及检测License过期状态发送告警。虚机资源监控展示Cube中所有虚机的分布,可查看每个虚机的资源状态。同时,该界面提供虚机和容器管理portal的跳转链接。当前仅支持跳转到CCE敏捷版的WEB界面和青云KS的WEB界面。设备监控展示交换机、服务器的运行状态,并提供设备管理portal的跳转链接。暂没有实现对IVS所在服务器(TaiShan 5280 V2)的CPU和MEM使用率的采集。图1 Cube线下运维台的告警监控范围表2 告警监控查看方法运维对象维度在OPS运维台上的操作路径服务器基本信息和状态查询监控中心>设备监控告警查询监控中心>监控总览:单击物理设备告警统计数字,跳转到告警列表查询详情。交换机基本信息和状态查询监控中心>设备监控告警查询监控中心>设备监控:单击设备管理中的链接,跳转到交换机管理web界面,需要二次登录。虚拟机虚拟机分布图和基本信息查询监控中心>资源监控虚拟机告警查询监控中心>监控总览:单击虚拟机告警统计数字,跳转到告警列表查询详情。虚拟机管理监控中心>资源监控:单击“虚拟机管理”链接,跳转到FCC的界面,需要二次登录。容器容器告警查询监控中心>监控总览:单击容器告警统计数字,跳转到告警列表查询详情。容器的管理监控中心>资源监控:单击“容器管理”链接,跳转到K8S的界面,需要二次登录。数字平台(ABC/ROMA/Ops/AppCube的MySQL/DataTool/DataTool的GaussDB/GIS-伟岸/IOT/奥看)告警查询监控中心>应用监控:在“数字平台”页签中单击平台的告警统计数字,跳转到告警列表查询详情。数字平台(IVS)告警查询在Ops中没有入口,直接登录IVS的网管CSP查询,参阅IVS产品手册。数字平台(GIS-超图、中地)告警查询在Ops中没有入口,需要参考对应产品手册进行运维操作。数字平台(IAM/iVAS/VDCP)告警查询暂不在范围中。业务应用告警查询监控中心>应用监控:在“App应用”页签中单击告警统计数字,跳转到告警列表查询详情。
  • [优秀实践] 容器云领域首个!谐云容器云平台获华为鲲鹏Validated认证
    近日,谐云容器云平台(观云台)获得鲲鹏Validated认证。此次谐云联合浙江鲲鹏生态创新中心基于鲲鹏硬件、银河麒麟操作系统 V10、鲲鹏应用使能套件BoostKit对谐云容器云平台解决方案(观云台)进行了深度调优,实现MySQL性能提升96%。降低运营成本和风险的同时,获得更高的运维效率,保障业务稳定运行和高效迭代 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093629692539499.png) 此次通过鲲鹏Validated认证的容器云平台,是一款基于Docker和Kubernetes技术构建的一套完整IT标准化和自动化框架,链接底层IT硬件设备设施和上层业务应用,为企业面向业务的敏捷开发和高效运维平台提供平台化支持,在通信、能源、金融等多个行业都有广泛应用。 早在2018年下半年,谐云就携手某在线服务公司启动了数据库、中间件基于ARM服务器的容器化投产方案研究,由于数据库、中间件容器化对存储性能、网络性能要求较高,具有以下几个层面的技术要求: ❖ 低延迟:中间件服务,尤其以数据库类、消息类为主,这两类中间件对延迟要求非常高,在一些呼叫、响应、坐席接入等场景要求更高,而这一挑战对于容器化中间件是最难的地方; ❖ 高带宽:大多中间件均具有高IO特征,因此,对于其系统带宽也有较高的要求; ❖ 无抖动:对网络抖动要求较高,需要网络基本无抖动。 因此,谐云结合其业务场景,经过三年多的技术沉淀,采用了基于MacVLAN的二层高性能网络方案,在社区版本基础上进行深度定制,性能几乎零损耗,达到了和物理网卡相近的性能。并最终创新性的在ARM服务器之上支撑了MySQL数据库、Redis缓存、RocketMQ消息和Elasticsearch搜索引擎的容器化集群部署上线。目前中移投产规模已达500+物理服务器,基本覆盖现有业务对于中间件的开箱即用需求。 #### 性能优势 此次联合浙江鲲鹏生态创新中心深度优化后的谐云容器云平台解决方案(观云台),实现MySQL性能提升96%,Elasticsearch组件在8C32G3实例场景下性能提升48%,业务数据的读写等混合场景性能提升21.53%,拥有低成本、低风险、高运维效率、高资源利用率等性能优势。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093655446389180.png) ##### 1 MySQL性能 基于Kubernetes部署MySQL,用Sysbench测试工具对MySQL数据库进行性能测试,衡量指标每秒事务数。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093733585843052.png) ##### 2 Elastcsearch组件性能 基于Kubernetes上部署Elasticsearch,通过Elasticsearch官方提供的Benchmarkrally脚本,模拟在8C32G3实例的场景下,衡量指标ES的写入性能,使用鲲鹏服务器后,经过测试对比,性能提高48%。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093745601418284.png) ##### 3 业务场景查询性能 基于Kubernetes上,对MySQL使用华为鲲鹏SSD锁优化后,基于Jmeter 测试工具,针对银行卡挂失的登记业务模拟测试数据进行测试,MySQL的QPS和TPS对业务数据的读写等混合场景性能提升21.53%。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093771959346965.png) 谐云作为鲲鹏计算重要的优质伙伴,与鲲鹏携手积极打造技术生态。此前已通过鲲鹏TaiShan服务器认证,实现了与鲲鹏生态系统的良好融合,实现信创云产业全方位布局。 未来,双方将进一步实现在业务和技术等多方面的合作,为客户提供更多的联合解决方案,共同推进我国各行各业数字化转型。 关于谐云 谐云作为国内为数不多掌握底层核心技术的容器云产品及解决方案提供商,以“底层核心技术 + 超前发展理念”致力于为企业数字化转型提供最佳解决方案,拥有丰富的行业落地经验和实施经验。目前已服务百余家客户,覆盖通信、金融、能源、化工等多个行业,为众多行业头部客户企业提供包含建云、上云、用云和管云的全生命周期一站式云原生整体解决方案服务支撑。
  • [热门活动] 业务驱动、数字赋能——华春建设咨询集团借力泛微搭建数字管控平台
    作为建筑行业的智慧中枢,华春以造价咨询为立业之本,随之拓展招标代理、工程监理、司法鉴定等业务,之后由点及面,辐射全国,分公司遍布大江南北。现已发展成集团公司和建设咨询行业孵化平台。拥有6家控股公司、2家参股公司、4家协作公司,涵盖投资咨询、招标代理、规划设计、造价咨询、工程咨询、工程监理、项目管理、众创空间、会计审计、税务筹划、资产评估、造价司法鉴定等工程全生命周期咨询服务。当前,随着社会经济结构的变革和信息革命的深度融合,正深刻重构传统产业的业务模式和组织形态,工程建设领域也不断催生新产业、新模式、新业态。在此风云变幻之际,华春建设咨询集团也敏锐观云之变、积极乘风而动,在行业领域内积极加快数字化转型步伐。为了贯彻落实华春2025战略执行,华春建设咨询集团通过落地信息化基础平台和专业执业平台,深化集团在工程咨询行业业务管控,建立健全集团信息管控体系,从而为生产力赋能。此次合作,华春建设咨询集团选择泛微OA,通过搭建“数字管控平台”,以工程建设咨询行业信息化技术的发展变化为基础,面向全过程工程咨询模式构建集基础应用、流程管控、业务协同、数据分析、智能应用为一体的数字化应用平台。实现多级组织灵活管理、扁平化业务驱动管理和全过程一体化管理。以业务来驱动产业聚集,以数据赋能增强企业竞争力,融合发展加速华春建设咨询集团新业态、新形态的转型升级。(数字管控平台项目架构)目前项目已经验收。系统在运行过程中,累计发起流程30000+,文档30000+,登录100000+次。系统将持续进行业务的拓展开发,满足华春建设咨询集团不同业务的特色需求。华春“数字管控平台”建设成果一、分支机构管理通过数字管控平台,项目管理公司等分支机构能在线申请业务,通过电子签章平台,在线审批、盖章签字、归档,减少跑腿和来回快递费用。(分支机构管理流程)业务在线申请:分支机构相关业务一版展示,不需要进入平台后过多操作,提高系统易用性。(业务一版展示)分支机构信息、业务查询:首先,按照承包合同及登记基础信息形成各分支机构“电子信息档案”,分支机构能够方便查询本机构产生的业务数据,及时跟踪,动态展示。同时,各分支机构能够快速通过专门的流程模板发起流程,内容智能填写,效率高又规范。(分支机构信息查询)运维管理:在系统中增加了管理员联系渠道,避免操作无人跟踪,问题无法反馈的困境,做到有问题及时联系,第一时间响应的运维模式。二、证照、业绩数字化管理“证照”是企业身份的重要法律依据,确保存管安全、提高使用效率是企业实现协同办公的重要需求之一。(证照、业绩数字化管理架构)泛微协助华春建设咨询集团搭建了证照、业绩管理系统,以电子化流程为基础,让集团各类证照实现信息智能维护、借用线上审批、全程跟踪、查询便捷的智能化管理模式。信息维护:首先,需要对企业及个人信息进行维护,从而后续能够绑定证照。接下来,对证照进行类型维护,更方便检索、归类。(基本信息维护)证照管理:按照组织信息进行录入及更新。为了保证企业证照信息安全,证照电子件只有管理员可见,若是需要借用电子件,通过流程进行水印加载。(证照管理)业绩管理:业绩上报审核通过之后,完成业绩的入库,后续通过流程节点后操作,将业绩信息同步到中间库,更新到当前构建业绩库中,证照电子件只有管理员可见,若是需要借用电子件,通过流程进行水印加载。(业绩管理)水印加载、在途借用沟通:在借用电子件时,系统自动显示是否可借;如果存在借用证照正在借用未归还,触发沟通反馈流程至当前借用人,是否可借出,反馈至主流程。三、项目全过程管理(项目数字化管理架构)华春建设咨询集团按照项目执行情况分为售前阶段、执业阶段、结算阶段、项目售后阶段,泛微协助华春集团通过低代码构建了全程数字化的项目管理应用,全方位、全过程把控集团项目管理,效率、风险可控。1、售前阶段通过为华春建设咨询集团搭建客户管理、商机管理、投标管理、合同管理等应用,按照客户来源及代理方式不同进行归类,方便查询。客户管理:通过在系统中搭建数字化客户管理库,客户信息电子化录入,并可随时建立跟进状态。(客户管理)项目立项:按照项目情况进行项目立项,立项后同项目不能再次立项,领导审批后更新到项目库中。(项目立项)投标管理:按照项目来源进行项目投标或直接代理,投标发起后可以进行投标使用证件及用印申请,后续反馈中标情况,资料完整归档。(投标管理)合同签订:按照项目情况进行合同签署的审批,审批后可进行资料的登记,进行项目执业。(合同审批)2、执业阶段按照项目类型进行项目资料的移交,接收单位按照项目要求进行执业,具体按照类型进行项目执业。执业完成后移交成果物。业务执业:按照移交情况,项目类型到达不同公司及部门进行业务执业,按照类型分为不同阶段,进行登记,审批最后进行成果物的输出。(资料接收)成果移交:执业完成后进行成果输出,市场移交后登记移交情况,移交后执业完成。(成果接收)3、售后阶段成果移交后,进行结算单的填报,以及财务开票环节,到款后进行资料归档,业绩上报,客户满意度调查,维保工单的执行。财务结算:按照移交情况,按照合同签订情况进行款项结算,开票后进行款项支付。(项目结算)满意度调查:客户按照服务情况进行满意度调查,为后续机构评分做出支撑。(满意度调查)4、数据分析报表按照项目执行情况进行报表信息展示,动态显示项目情况,为高层决策提供助手。(分析报表)价值总结此次项目,华春建设咨询集团借力泛微搭建了“数字管控平台”,建立了规范、科学的管理流程和业务流程,将以数字化助力企业生产经营,实现了:· 全过程管理:对项目全过程进行管理,记录业务,实现成果物记录;· 对比分析:将可用数据提取、对比、分析,为项目管理提供依据;· 自动化流转:加强自动化流转,规范业务环节,提高效率,减少沟通成本;· 整合资源,加强管控:整合资质、业绩,以信息流驱动业务审批的有效管控手段;· 管理结构化:项目管理结构化,流程管理组件化、审批自定义,提升系统通用性;· 业绩管理智能化:中标信息与项目信息自动采集、相互佐证、相互校核,提升分公司业绩管理。
  • [技术干货] 【IT运维】多台海外主机运维用什么工具好?
    最近在网上看到很多运维人员再问,多台海外主机运维用什么工具好?谁能介绍一下?咨询电话多少?多台海外主机运维用什么工具好?多台海外主机运维我给推荐行云管家。行云管家云计算管理平台,实现了对多家云厂商多种云计算资源的集中管理,从多云纳管、云资源全生命周期管理、运维安全合规审计(云堡垒机)、自动化运维、主机监控与告警、租户隔离式工单管理、成本分析等多个维度提供统一运维管控,对企业而言,只需一个控制台,即可整合操作多个公有云、多个私有云 、混合云以及各种异构资源,从而进行灵活的资源管理与运维。咨询电话4008825683!其主要功能如下:1、多云纳管,混合式管理支持业界主流的公有云厂商和OpenStack、VMware等私有云设施,同时物理服务器、虚拟机、网络设备、存储设备等,提供多种主机导入方式,以便用户在一个平台上同时管理多来源的、异构的IT资源;2、安全运维,合规审计提供各类运维功能,譬如主机登录审批、双因子认证、敏感指令审批、录像审计等,做到对云资源管理和运维的“事前授权、事中监控,事后审计”,保障云资源安全;3、自动化运维面对众多云资源,提供指令/脚本的批量执行、文件的批量分发与采集等特性,实现对云主机的批量运维操作;4、成本分析与优化支持多维度分析云资源的成本结构,并通过对应用负载进行数据挖掘分析,提供云资源的增减配优化建议,提效率、降成本。知识拓展:海外主机与国内主机的五大区别区别1、备案根据规定,使用国内空间需要向国家信息产业部提交网站相关信息,也就是说国内主机需要备案。一般备案审核时间是20个工作日左右,而且有时备案过程也比较繁琐;而国外主机是不需要备案的,而且审核也比较松。区别2、速度国内主机国内访问快,海外主机海外访问快。所以建议做外贸的客户,可以根据地域选择主机。这里必须说明两点,第一海外主机包含香港主机;第二香港主机跟国内主机访问速度相差无几,国内业务也是可以考虑的。区别3、价格由于国外空间在技术方面领先国内很多,所以国外空间的价格相对国内空间要低一些,性价比高。区别4、空间一般而言,国内主机与国外主机之间空间大小简直相差巨大。国外主机的空间几乎没有M型,从几十G到几百G不等,完全不用担心不够容量。但如果不在乎费用,可以购买内存的国内主机。区别5、售后售后方便,国内主机是更胜一筹的。如果购买海外主机,就要考虑沟通和时差的问题,国内用户使用起来会比较困难,从而国内主机在售后服务方面得到好评。国内主机支持中文客服,中间交流毫无障碍,提供7*24小时服务,第一时间解决用户在使用空间中遇到的问题。
  • [干货汇总] 华为云大数据轻模式体验:忘掉底层烦恼,专注数据开发
    本文分享自华为云社区《[华为云大数据轻模式体验:忘掉底层烦恼,专注数据开发](https://bbs.huaweicloud.com/blogs/336310?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content)》,作者: 技术火炬手。 现阶段我们国家从政府到企业都在进行数字化转型,数字化转型的核心是数据,对于有着开发实力和基础的大公司来讲,他们可以有着完备的数据处理体系和开发人员储备,可以高效地利用手中的资源对数据进行再加工,让数据成为企业的生产要素。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963881364553062.png) 我们知道,“二八定律”作为一个经济学原理揭示了任何一组事物最重要的构成只占其中的一小部分,其余的大部分多数构成的很小比例在经济学上被称为“长尾效应”。企业也是一样,处于中长尾的企业想要数字化转型,数据技术、人才、资金的高门槛往往让他们望而却步。他们亟需大数据行业的领导者,能做出企业的通用模式,节约数字化成本,降低用数门槛。不少企业虽然选择将业务上云作为数字化的一个方向,但对上云后产生的数据不管理、不加工、不分析,这让这些数据上云失去了意义。 华为云基于华为IT流程数据治理方法论推出华为云大数据轻量级解决方案,配合华为云资产可以轻资源、轻开发、轻部署、轻运维地快速构建数据治理体系,全Serverless方案对中长尾企业来讲使用灵活,企业无需关注底层技术栈、云资源性能,可按需使用降低运营成本。 华为云大数据相关服务提供数据全生命周期的一站式管理和开发,帮助中长尾企业大幅简化数据治理的流程,在这种轻模式的支持下,中长尾企业可以快速高效地应对大量数据的分析,降低用数门槛,加快企业数据变现,完成企业的数字化转型。 接下来,我们就通过具体的实例来对华为云数据湖治理中心DGC进行全方位的认识和了解,透过华为理念下形成的轻量级通用解决方案探讨中长尾企业如何应对数据治理上的难题。 # 华为云大数据轻量级解决方案介绍 针对中长尾企业的数据治理需求,华为云推出了大数据轻量级解决方案帮助企业进行高效的数据治理。我们都知道Serverless本质是将复杂留给自己,将便利提供给客户,加速用户的敏捷创新,这也是华为云大数据轻量级解决方案的核心思想。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963932861246481.png) 华为云这套轻量级的解决方案区别于企业自建自管自运营的模式,全Serverless方案对于企业来讲不需要额外考虑资源管理、部署、运维,云上模式让企业大大降低了用于硬件管理与扩容、跨AZ可靠调度、Bug修复、软件安全、AI引擎调优等问题,只需专注业务开发即可,业务的使用与运营更加灵活。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963942401680720.png) 华为云大数据轻量级解决方案作为一项通用的大数据治理解决方案为企业提供了丰富的拓展能力,支持对象存储、NoSQL、OLTP、OLAP等数据库类型,支持跨云数据治理、自建数据中心数据治理。企业不需要变更自己的底层数据技术栈就能实现大数据的治理和分析。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963959423288030.png) 针对中长尾企业的数据治理场景,华为云DGC、DLI、CDM、RDS等服务提供轻量化、灵活的技术栈,通过将华为云服务串联,打造数据治理轻量化模式。涉及到以下核心服务: - CDM:高效、易用的数据迁移服务,支持批量和增量数据迁移,提供超过40种数据源到数据湖仓迁移能力; - DRS:基于事物日志(如MySQL、Oracle)的数据库复制进行增量同步; - DGC:数据标准和数据模型的规范设计,可进行在线开发和编排调度,数据质量稽核等一站式数据管理; - DLI:完全兼容Apache Spark、Apache Flink、Presto生态,提供批、流、交互式一体的Serverless融合处理分析,完全兼容SQL语法,开发难度低; - BI:通过华为云DLV数据可视化服务或专业BI软件实现2D或3D数据展示,通过拖拉拽式布局,帮助企业快速进行大屏数据可视化呈现。 对于企业来讲,华为云大数据轻量级解决方案通过一站式的大数据分析服务,实现了企业多端数据采集,并在统一框架下进行数据采集、分析、归纳。 通过全栈式技术能力,依托DLI数据湖探索服务以及配套的数据同步方案,可以满足企业海量数据分析的需求,完成快速数据分析,释放数据的价值。 由于DGC提供高度可视化的ETL任务开发、管理、调度的能力,同时DLI等数据服务支持通用SQL语法,这些对于企业来讲可以的大幅的降低开发过程中的门槛,实现简单易用、灵活高效的数据开发模式。另外通过专业的BI厂商,可以很好的满足企业对可视化BI工具的需求,数据生产到最后直观的可视化呈现,为运营分析降低门槛。 这DGC提供一站式的数据全生命周期的运营管理,配合华为云其他大数据产品, DGC作为华为云轻量级大数据解决方案的核心,它可对接多种数据湖引擎,帮助进行统一开发,并提供统一的数据资产管理。方便企业进行全链路数据治理管控。数据运营全场景可视,统一调度和运维带来全方位的安全保障。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964000525852292.png) 开发人员无需复杂配置就可以完成对数据的导入, DGC提供数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控、全场景可视化等功能。方便企业不同部门的打破相互隔离,以此建设统一的数据平台,统一技术规范、数据标准和访问接口。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964009021672514.png) DGC提供丰富的大数据平台组件,方便多种数据和分析需求,降低数据治理的人工工作量,以此提升数据管理效率。DGC提供一套完整的数据治理方法论落地,通过这套方法论实现业务上下游数据的快速传递和共享,以此指导实际业务的运作。通过数据质量持续为企业提供预警,以此减少纠错成本,降低运营风险,提升服务质量。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964017500688591.png) 在分析处理上, DLI数据探索服务则成为华为云轻量级大数据治理方案的重要组成。这套方案中, 通过DLI等基础云服务实现数据探查、数据监控、数据标准化,形成有指导意义的集市层数据。DLI它支持结构化和无结构化的数据处理,并支持丰富的编程语言接口,同时成本也非常低。DLI完全兼容Apache Spark、Apache Flink、HetuEngine(基于Presto)。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964026584830367.png) DLI采用批流交互式一体架构,兼容标准 JDBC 协议,可以直接对接第三方 BI 软件,完成一站式大数据分析、用数的闭环场景。 由于DLI兼容标准的SQL语法且均基于Serverless进行分析计算服务,因此用户无需关心底层的计算架构,只需要通过连接服务即可进行数据分析,大大降低了开发的难度和门槛。DLI还支持免搬迁全域数据联合查询,过滤条件支持只能下压到数据源,减少传输数据量。由于DLI支持Kubernetes,因此DLI还支持资源按需分配,自动弹性伸缩。 接下来我们进入实例场景,通过对门店坪效的全流程设计来了解华为云大数据轻量级解决方案的各项服务能力,并快速的进行业务指标的模拟输出。 # 华为云大数据轻量级解决方案坪效实例场景体验 坪效作为零售行业的典型指标,是这次实例场景所要计算的一个指标,这样的数据分析模型是华为云大数据轻量化解决方案主要的运用场景,在进行坪效实例场景的演示操作前,我们首先了解下什么是坪效。坪效是衡量一个地区或门店某一时间段单位面积产出情况,即每坪经营面积可以产出多少营业额。 坪效计算公式如下: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964045917359672.png) 坪效越高,店铺整体的经营效率也就越高,一般计算都以年为周期。华为云大数据轻量级解决方案的指导及下,我们以过去一年门店坪效指标和地区坪效指标作为目标,进行项目的设计和规划,其中涉及华为云大数据及其他云服务,包括VPS、OBS、RDS、CDM、DGC、DLI、DLV等。 零售业店铺在获取到坪效数据后,可以针对性的对门店业务、门店规模、人员结构进行调整。这一案例中涉及到DGC开发的数据集成、规范设计、数据开发、数据质量、数据资产、数据服务模块以及华为云大数据其他关联服务工具。 通过这些模块的体验,我们得以实现对华为云大数据轻量级解决方案的全面了解,对中长尾的大数据治理进行整体的设计、开发、分析、运营,在这种轻模式下,企业可以对数据进行敏捷开发。 # 轻资产:按需使用,无需担心底层技术栈及安全问题 在对于中长尾企业而言轻量化的资产管理体系可以省去大量云服务建设成本,华为云大数据轻量级解决方案绝大部分资源都建设在云上,对企业而言,可按需购买,购买即用,不需要额外关注底层的硬件性能和技术实现,并且不需要考虑相关工具软件的迭代和安全问题。 这里我们通过华为云CDM云数据迁移服务,集成RDS MySQL数据库模拟数据元门店系统及订单系统数据,利用华为云DLI数据湖探索服务的计算能力实现数据清理、指标计算和汇总,并最终使用华为云RDS MySQL作为集市层数据展现,最终通过DGC作业开发将上述操作串联,形成完整的流水线,并通过DGC数据服务能力将数据API接口输出,以此将数据输出到BI报表分析工具或通过华为云DLV数据可视化服务对数据进行直观的屏幕输出。上述CDM、RDS、OBS等服务均支持按需购买,大幅降低企业的资产购置压力。 其中OBS负责存储DGC的日志和脏数据;DLI作为贴源层的存储和计算技术栈,DLI由于存储量大且价格便宜,并采用分布式计算模型,因此进行大量数据运算的时候速度较、支持高并发;通过DLI生成主题库和专题库后,将这些数据仓库存储在RDS MySQL数据库中,这一服务可以进行专业的BI分析;DGC作为整个项目的数据运营技术栈,继承了数据集成、规范设计、数据开发、数据质量、数据资产、数据服务功能,也是华为云大数据轻量化解决方案的核心技术模块,作为数据湖运营平台,DGC提供了数据的全生命周期管理,在此案例中我们通过上述功能模块完成了一整条数据治理流水线的建设;在所以数据分析归纳后,再通过DLV数据可视化服务对指标进行结果展示。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964068571724381.png) 华为云大数据轻量级解决方案对于企业而言不需要变动其底层的数据源,这套方案在数据集成上已经有很好的支持,无论是华为云数据库、第三方云数据库还是企业自建数据中心,都支持数据迁移。这里我们通过RDS作为模拟数据源导入并最终汇总生成集市层数据,在进行配置前,我们首先要购买对应资源才能实现一整套的数据治理流程,具体需购买和提前创建的资源如下: - 创建VPC、子网、安全组 - 创建OBS桶,创建存储作业日志和脏数据目录 - 购买DGC实例,并配置默认工作空间 - 购买CDM集群,正式项目可考虑使用ROMA - 购买RDS实例 - 购买DLI队列实例 在购买完对应资源后,需对原始数据进行导入,即将数据SQL文件导入到RDS MySQL数据库中,这一操作只需进入RDS数据管理页面,上传脚本即可快速完成数据导入。数据源包含两张表,分别是门店表(t_user_store_info)和订单表(t_trade_order)。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964098747620982.png) RDS MySQL原始数据导入后,我们需要在DLI中建立相同的表结构进行贴源层数据导入。进入DLI库表管理新建一个DLI库,以此作为项目表存放DLI数据库。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964106946541782.png) 随后在DLI的SQL编辑器中将建表脚本导入建表,表结构和表名称最好与RDS MySQL中原表一致。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964127211516330.png) 数据导入后,在OBS服务中完成DGC日志数据和脏数据文件夹建立,以便后续DGC正常使用。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964138534998600.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964146819997698.png) 接下来就需要对数据进行入湖处理,这里采用DGC的数据集成模块,DGC批量数据迁移CDM提供同构或异构数据元之间批量数据迁移服务,可以帮助企业实现数据的自由流动,支持关系型数据库、数据仓库、NoSQL、大数据云服务、对象存储等数据源。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964162898332663.png) 这些数据源涵盖华为云DWS、华为云DLI、FusionInsight LibrA、Hadoop、OBS、阿里云OSS、FTP、SFTP、NAS、MySQL、HWSQL、PostgreSQL、SQL Server、DDM、Oracle、Db2、Redis、MongoDB、CSS、Apache Kafka等30多种数据源。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964174886402902.png) 这些数据源可以作为源也可以作为迁移目的,租户可以按需付费,控制和租户之间是完全分离的,数据始终是在原始位置,后续的作业、对数据的操作都是与原始数据隔离,通过CDM可以更加安全的保护原始数据。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964183148756163.png) 之前我们导入的RDS MySQL云数据库服务作为源数据,另外一个则是数据湖探索DLI的连接,通过CDM服务我们快速生成DLI内贴源数据导入。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964191868430525.png) 这里,CDM提供自动化的字段映射,对于不同数据源数据类型不同这样的情况,CDM支持数据类型一键转换。在CDM迁移之前,我们已经提前将对应的表在DLI中建好,分别是t_trade_order和t_user_store。这样CDM就可以进行快速匹配。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964200905586218.png) 通过CDM我们就快速实现了源数据导入贴源数据的数据迁移工作,由于原始数据可能存在不断生成的问题,这里CDM也提供周期作业以此对数据进行导入。接下里,我们再进行具体的业务场景设计和相关脚本的开发。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964209790734780.png) # 轻开发:开发高度可视化,SQL脚本通用简单 华为云大数据轻量级解决方案最重要的特点是全流程的高度可视化,没有复杂的代码编写过程,对开发人员的技术要求不高,可以从业务层面需求出发进行系统化的建模,再通过建模实现对应开发脚本的生成。整个过程非常的快速高效,由于华为云大数据解决方案中的DLI、DWS等服务均支持标准SQL语句,因此各类脚本编写上难度不大。在本例中首先需要对业务进行建模,在形成对应的业务指标对贴源数据进行清洗加工并输出有实际指导意义的参数。 华为云大数据轻量级解决方案将业务实体与实现细节紧密结合让需求方无需了解太多编程相关的细节,让开发方不必考虑业务实现的逻辑。通过这套解决方案的DGC规范设计模块就能初步实现各类业务的需求指标设计并对数据进行标准化,包含主题设计、数据标准设计、数据模型设计、数据指标设计,通过规范设计可以根据客户的业务需求,进行统一的数据分类、数据标准化、指标定义和数据模型体系建设。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964225345825381.png) 通过上述四个步骤,将业务数据化需求进行抽象化,就可以输出企业标准化数据中台设计。完成数据模型体系的建设,对于未来同行业的解决方案建设也有了参考价值。通过主题设计可以很快的完成信息架构的设计,针对不同类型的信息,还可以指定数据类型。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964234758819415.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964242449299192.png) 在主题设计完成后,就可进行数据建模。首先根据之前的主题设计进行建模,这里提供关系建模和维度建模两种建模方式,关系建模符合3NF,主要是去除数据冗余,使数据标准化,当存在多个数据描述同一个情况时,需要使用关系建模进行合并。维度建模则采用数据结构化的方法进行建模,针对需求和指标对数据源进行维度、事实建模,相比于关系建模,维度建模紧紧围绕业务指标,非常直观显示出业务模型中的业务问题。维度建模包括维度、维度表、事实表、汇总表。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964254210728287.png) 维度表多为业务指标的环境信息,比如时间、空间信息等,这里我们建模对门店和地区维度进行建模,这就是典型的空间信息。维度表是用户用来分析数据的窗口,一个维度表可以对一组数据进行分类,且分组后的数据可以用来分析。我们以门店维度表为例,门店包括门店编码、店铺类型、营业状态、门店名称属性。我们如果要计算坪效指标,可以进行门店坪效指标的计算、某一类型门店坪效指标的计算、营业中门店坪考指标计算等,通过这些指标可以定义一组数据。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964267446747767.png) 事实表内容主要分为三类,分别是维度表外键、事实属性和度量属性。比如门店事实表包含地区外键、门店编码外键、经营面积、开业时间等信息。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964274693943541.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964281509618299.png) 汇总表则可以对上述维度和事实进行归纳总结,得出相应的技术指标,我们以地区坪效指标的设计为例。可以看到对应属性和相关内容的汇总信息,地区坪效指标可以通过技术指标进行确定。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964323227239266.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964330630230621.png) DGC将指标分为业务指标和技术指标两类,业务指标模块主要是以文字的形式定义某一指标,并以此为参考指导技术指标实现,我们以坪效为例,坪效位于进销存管理中,根据坪效的定义,坪效就是门店销售额与门店面积的比例。通过这一文字定义,我们来到技术指标中,完成坪效这一指标的技术定义。我们也可以对员工的销售额与绩效关系进行统一的界定,对于需求调研层面的人员来讲,这些只需要文字描述就可以快速完成各种指标和属性的确定。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964359702256251.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964367179919224.png) 通过以上的需求建设和管理,需求方很快的就将自己的业务需求确定好,整个过程都是可视化的,接下里再进一步的对指标进行运算分析,最终形成有实际意义的指导数据,这里则通过技术指标完成对业务指标的具体实现,包含原子指标、衍生指标、复合指标。原子指标是最基础的算子,是纬度在模型中某一个属性或属性的简单运算,在坪效计算中,主要用于坪效计算的就是门店的经营面积以及实际门店产生的销售额。这两个指标构成了坪效计算的原子指标。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964379875691261.png) 衍生指标则是对原子指标添加了一个纬度,对原子指标进行限定,使得这些原子指标更具参考价值,在坪效指标计算中,我们可以按照时间原子指标进行限定,从而衍生出新的指标。比如过去一年的某一地区的销售额、过去一年某一门店的销售额、过去一年某地区的经营见面等,这些衍生指标还可以进一步运算,得到复合指标。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964389208365543.png) 复合指标则是多个衍生指标的聚合,用于输出最终的汇总数据,比如某地区过去一年的坪效或某门店过去一年的坪效。到这里坪效指标的规范设计就已经完成了,实体定义与技术指标紧密结合,并且符合标准化的设计规则。在各种技术指标的计算中,DGC还提供一键式的SQL脚本,方便后续流程自动化的开发,帮助开发人员进行快速高效的编程脚本实现。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964399096545804.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964405622919763.png) 在信息架构中,我们也可以通过DGC自动汇总的关系图了解到不同维度表、事实表、技术指标、汇总表的关系图谱,这里也方便运维人员快速定位问题,以此进行高效运维。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964418181329647.png) 如何高效的通过脚本和代码实现业务需求并实现一整条业务的流水开发,这对业务不熟悉的开发人员来讲往往是个非常大的难题,但华为云大数据轻量级解决方案提供了一整套高效的开发流程,在需求放完成相关业务定义和指标设定后,开发人员则可以对需求进一步实现,在低代码量的基础上完成业务需求,真正实现编程“轻模式”。这里通过DGC数据开发模块完成脚本开发、作业调度、运维监控等功能实现业务流水,它支持业务流自动化、BI报表生产线、云上仓库建设、日志分析挖掘等工具,实现从数据接入、数据存储、数据分析和计算到业务应用全流程的一站式IDE平台服务。通过数据开发模块,可以帮助用户对入湖后的数据进行快速的加工、清洗,各种聚合运算,数据转换等。在作业开发页面,DGC也为开发人员提供了完整的开发流程介绍。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964426759541540.png) DGC的脚本开发支持在线的主流数据库脚本开发调试,支持DWS脚本、DLI脚本、Hive脚本等;另外数据开发模块还提供了强大的ETL算子,通过ETL算子可以在数据清洗转换的时候省去开发人员大量的SQL脚本开发,直接通过图形化配置快速实现大量的清洗整合工作;DGC的数据开发模块还整合了主流的数据开发能力和所见即所得图形化ETL工具的能力,最终整合成拖拉拽式的批流结合全链路开发运维,数据管道在运行后可以实施进行监控,方便运维人员快速定位开发中所遇到的问题。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964437791601414.png) 数据开发模块下的脚本开发提供了DWS、DLI、Hive、Spark、Flink、RDS、Shell、Python等多种脚本开发,支持代码补全、语法高亮、错误提示、执行历史记录等功能,可以帮助开发者正确高效的编写。这里我们构建了多个脚本,完成贴源层和明细层数据的清洗,数据汇总,并最终导入到数据库中。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964445938198472.png) # 轻部署:可视化流水线构建,快速定位问题 华为云大数据轻量化解决方案在业务部署上支持拖拉拽式的流水线业务部署,整个过程开发人员不需要进行专门的环境搭建,只需关注业务是否能完成即可,部署后,开发人员也可对业务运行过程中出现的问题层层分离,快速定位。业务在执行上支持单次调度和周期调度,调度如出现问题还可以进行实时通知。整个过程没有复杂的报警提示,并可生成运维日报,方便运维人员对整体业务有所把控。 这里通过DGC的作业开发实现业务部署,它支持多种云服务任务混合编排,通过一系列节点构成一个有效的工作流。支持图形拖拉拽式的编辑作业页面,快速实现自动化流水部署,并验证作业是否存在问题。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964462294758509.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964469290613314.png) 数据开发中的作业监控功能提供短信、邮件等提醒方式,方便开发人员第一时间了解作业运行过程中可能出现的异常状况。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964481891301935.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964491727275308.png) # 轻运维:数据实时监控,封装服务开放 针对各类指标的监控,华为云大数据轻量级解决方案为提供专业的数据质量监控,方便运维人员对数据的动态进行实时的监控,并也可根据实际业务情况设定对应监控指标,帮助企业产出更有价值的数据服务体系。同时企业也可将数据形成的集市层数据封装成服务,对外输出到BI软件或其他应用中,实现数据的最大化利用。对于运维人员来讲,无论是数据质量监控,还是大数据资产管理,抑或是数据服务的开放,这些完全都是在高度可视化的模式下进行,无需复杂代码即可完成数据产品的输出和监控。 这里华为云大数据轻量级解决方案中的DGC数据质量模块可以将业务系统的指标和数据质量进行监控,可以根据业务指标校验规则对数据的完整性、有效性、及时性、一致性、准确性、唯一性这六个维度进行单列、跨列、跨行或者跨表分析,包括存在约束、非空约束、主键唯一性约束、实体唯一性约束、取值范围约束、长度约束、内容规范约束等。通过上述指标校验,我们可以对数据的质量进行评估,如果有些数据存在明显的质量问题,就可以向开发者发送邮件、短信进行告警。同时也可以对数据进行分析和统计,之后将数据推送到客户的相应部门。最终提升数据湖里整体数据的质量。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964511223702739.png) DGC数据质量模块提供业务指标监控和数据质量监控两种监控方式,我们可以根据之前设计的技术指标对指标进行业务指标监控,我们以之前的坪效指标为例,首先在指标管理中选择需要运算汇总的指标,并以此生成SQL脚本。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964521290917937.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964528490754237.png) 然后我们就可以设定具体规则对指标进行监控,比如当全国平均坪效低于20万,就出发年平均坪效较低通知。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964539885806458.png) 在随后的业务场景管理中,我们就可以启动这一指标的业务指标监控。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964548044381983.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964554133694527.png) 数据质量监控则可设定规则模版对数据质量进行校验,某人提供了多种数据校验模版方便运维人员快速对数据进行校验。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964572511907100.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964580693374859.png) 数据质量监控的质量作业则可设定质量监控的内容,并对关联质量作业进行启停操作。启动后质量作业监控就会生成质量报告,以此帮助运维人员对整体数据进行监控。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964590987190716.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964597631468406.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964604740186792.png) 为了解各类数据资产的详细情况,华为云大数据轻量化解决方案提供一站式的数据资产归纳,业务资产、技术资产和指标资产三大部分,业务资产包含业务对象、逻辑实体、业务属性三大部分,技术资产则包含数据库、数据表和数据量。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964615552433270.png) 这里通过配置数据元,可以创建数据链接,实现数据集中管理,并提供自定义策略采集任务,以此实现形成资产目录。帮助企业一站式,完成数据报表整理。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964625559635177.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964633140206943.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964642002976195.png) 在数据目录下,企业可以看到所有的业务资产、技术资产和指标资产,业务资产是逻辑实体,通过逻辑实体我们定义多样化的数据,以此指导形成技术资产和指标资产。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964655742784019.png) 针对不同的技术资产,企业可以看到所有的表结构,同时血缘分析功能方便回溯数据源或作业。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964665604927125.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964672931203376.png) 对数据清洗加工并分析生成的集市层数据后,这些数据就可以以服务的形式开放给第三方,华为云大数据轻量化解决方案可以从DWS、DLI、RDS等华为云数据库中获取数据,并通过鉴权等手段向第三方输出数据接口,无需复杂的代码编写,就可以通过Serverless的形式对数据产品进行开放,进而实现零编码的API生成能力,这种零编码的数据开放能力对于企业而言有着更加灵活的数据开放和管理能力,便于企业生成更加丰富的数据产品。 华为云大数据轻量化解决方案中的DGC数据服务支持在线调试、一键发布,通过Web页面编排,可以快速发布基于Serverless的API发布。支持多种数据源对外发布,这项功能基于Nginx和容器化技术,实现单容器50ms内耗时和200次/秒的API逻辑解析和转发速度,另外数据服务还基于WAF行为全方位检测,可准确的进行恶意请求识别,过滤攻击流量。自动化监控和流量预警也方便开发人员快速了解对外输出接口的情况。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964684634774978.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964691300201075.png) 开发人员可以对不同的API进行流量控制、使用时长、API名称等信息,方便监控API调用状态。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964705489127077.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964711793590991.png) DGC数据服务还提供App调试,App调试需要调用SDK进行访问,数据服务提供基于Java、C#、Python、Go、JavaScript、PHP、C++、C、Android等多种主流语言的SDK包。一键下载,轻量化开发。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964721452308684.png) 通过实际的体验我们看到,华为云大数据轻量级解决方案的一系列服务,非常直观和高效的帮助企业实现数据清洗、数据加工、数据运算、数据分析等操作,企业重要的是关注业务本身,而不用关注实现的底层技术栈,不需要大量代码编写,也不需要技术人员吃透需求,需求方和开发人员都可以独立高效的完成业务定义和数据产品的开发。 在输出数据产品后,企业可以对这些数据进行可视化输出以便数据治理人员根据这些数据做出决策。 华为云大数据轻量化解决方案还支持多BI平台的可视化图形输出,帮助企业实现更好的数据展示,无论是第三方的BI工具还是华为云自家的DLV数据可视化服务都可以很好的调用接口实现数据的展示分析。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964728801339961.png) 通过这些数据接入,企业可以通过拖拉拽的方式快速构建专属的企业智慧数据大屏幕,形成丰富多样的数据图表,方便进行及时的分析决策。 # 总结 华为云提供的大数据轻量级解决方案,让企业实现了轻资产、轻开发、轻部署、轻运维的大数据治理模式,这样的“轻模式”让广大的中长尾企业也拥有了更加敏捷的大数据治理能力,完备的数据治理流程提供了一站式便利的数据治理体验,企业无需从头再来搭建平台、单独进行人员的开发和架构设计。基于Serverless的平台开发,让企业无需关注业务实现的技术栈,直观精简的开发过程,只需要掌握SQL代码即可快速完成开发。大幅节省了企业的平台建设成本和人才成本。 全流程可视化的界面设计,即便是对没有数据开发经验的非技术人员,也可以友好快速的进行数据规范设计、数据质量监控、数据指标定义等工作。 DGC、CDM、DLI、RDS等服务组成的一整套华为云大数据轻量级解决方案为企业的综合数据治理带来了强大的内生力,大大释放了大数据底层运维管理的压力,让企业能更好的利用数据专注服务质量提升、产品优化等。华为云大数据治理轻量级解决方案未来也将会很好的为中长尾企业赋能,帮助他们实现更高层次的数字化转型。
  • [技术干货] 如何快速简单的把电脑本地文件传到远端服务器?
    对于运维小伙伴而言,在家办公是经常有的事情。所以一定要学会快速简单的把电脑本地文件传到远端服务器,那具体怎么操作呢?用什么工具好?这里,我们小伙伴悄悄告诉您,这种情况就用行云管家。使用行云管家进行内网服务器运维,无需在内网服务器上安装任何远程软件,而你家里的电脑上也仅需使用浏览器即可。注意,无需安装任何插件,简单好使,具体操作流程如下:1、首先,我们在<行云管家>上注册一个账号,然后创建一个团队,并根据需求导入你所需要的局域网主机的资源,当然,行云管家更是支持公有云主机、私有云主机等云计算资源的管理。【在线注册】2、其次,安装Proxy并创建局域网。在行云管家中管理内网服务器时,首先要建立一个内网局域网与行云管家之间的数据通讯链路。在行云管家中,我们通过在内网局域网中部署一个Proxy来实现这个链路,这个Proxy负责内网服务器和行云管家之间的的通信代理。a、在“基础运维”-“主机管理”栏目中,点击“导入主机”-“导入局域网主机”菜单;b、“选择主机导入方式”里选择“通过Proxy接入局域网”;c、点击下一步,并给你的局域网设置一个名称,完成之后此时即可以开始安装Proxy了,这里以您公司内网里的某台Windows主机为例,把Proxy安装脚本复制到要安装Proxy的主机上。注意:要安装Proxy的主机必须要能上外网,并且该主机必须处于内网中,这样才能通过该主机去连接您公司里的内网服务器;d、这里以Win10为例,右键点击“命令提示符(CMD)”选择“以管理员身份运行”, 把刚复制的脚本粘贴上去进行安装即可;e、此时可以看到该局域网已接入完成,点击“导入主机”-“导入局域网主机”菜单,选择已有的网络,如图刚创建的“内网服务器运维”,点击确定;f、我们以“手工输入主机IP”为例,在“内网IP”这里填入内网服务器的IP地址,在“主机名称”里给内网服务器命名,“操作系统”请选择对应的操作系统,点击“添加”。此时可以在“主机”列表中看到已导入的内网服务器;g、导入内网服务器后,用户即可访问内网服务器,通过点击如图中的“接入方式”,输入“用户名”、“密码”并点击“打开会话”即可登录内网服务器,登录内网服务器后如图,即可对内网服务器进行运维操作。【温馨提示】:此外在行云管家管理控制台,还为运维工程师提供了Web桌面访问、C/S本地工具、公有云厂商管理终端3种远程访问工具,并支持新建各类自定义Shell/Python/PowerShell/CMD脚本,批量对主机执行脚本、命令操作,实现将文件批量分发至目标主机、批量从多台主机采集文件等。
  • [分享交流] 回帖领取华为云2.2G资料包 !运维+DevOps+容器 三大热门技术一包打尽!
    回帖领取华为云2.2G资料包运维+DEVOPS+容器三大热门技术一包打尽!扫码即可领取!
  • [技术干货] 简单说明一下数据库审计能带来的价值
    数据库是按照数据结构来组织、存储和管理数据的仓库;是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。简单来说,数据库就是一个存储数据的地方,所以保障数据库安全,做好数据库审计是非常必要的。今天我们就简单来了解了解数据库审计能带来的价值。简单说明一下数据库审计能带来的价值-行云管家数据库审计价值一:满足合规需求助力企业顺利通过等保合规审计,提供合规审计依据,可以根据需求形成不同的审计报表,例如:综合报表、合规性报表、专项报表、自定义报表等。数据库审计价值二:实施风险告警数据库审计系统还可以对于针对数据库的攻击和风险操作等进行实时告警,以便管理人员及时作出应对措施,从而避免数据被破坏或者窃取。例如智能解析SQL语句,判断操作风险,有效拦截高危操作,辅以操作告警及审批等等。数据库审计价值三:安全事件追溯与定责数据库审计的核心价值是在发生数据库安全事件后,为追责、定责提供依据,与此同时也可以对数据库的攻击和非法操作等行为起到震慑的作用。例如行云管家数据库审计系统就可以记录SQL语句执行日志,为运维回溯提供依据,通过详尽的运维报表分析并总结数据库运维行为。数据库审计价值四:保障数据安全通过数据清洗,在开放数据的同时保护敏感数据,使数据资源在受监管基础上健康、有序、安全地流动起来。知识拓展1、:数据库发展趋势-顺应市场需求,行业持续进化1、随着大数据时代的到来,数据规模和逻辑关系复杂度进一步提升,其中非结构化数据的激增使得非关系型数据库迅速发展;2、随着5G下的云计算、物联网等快速发展,对于数据分析的需求、响应速度、存储容量扩展、算力提升等均提出更高的要求, 使得分布式数据库得到快速发展;3、信息化水平快速提升下,企业业务规模快速扩张,数据库的运维和管理成为新的难题,数据库云部署模式与借助AI自治成为重要发展方向。知识拓展2:数据库审计是什么意思?数据库审计(简称DBAudit)以安全事件为中心,以全面审计和精确审计为基础,实时记录网络上的数据库活动,对数据库操作进行细粒度审计的合规性管理,对数据库遭受到的风险行为进行实时告警。数据库审计是数据库安全技术之一,数据库安全技术主要包括:数据库漏洞扫描、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。知识拓展3:数据库审计就用行云管家!行云管家数据库审计可以帮助企业监视并记录对数据库服务器的各类操作行为,通过对数据的分析,实时地、智能地解析对数据库服务器的各种操作,并记入审计数据库中以便日后进行查询、分析、过滤,实现对目标数据库系统的用户操作的监控和审计。现在即可免费试用,直到您满意!咨询电话4008825683!在线试用:https://www.cloudbility.com/databaseAudit.html
  • [行业资讯] 2022年数据库审计厂家就选行云管家!功能强大!
    随着大家的网络安全意识加大,企业对数据安全也是更加重视。2022年不少企业在问,做数据库审计选择哪家好?咨询电话多少?这里我们小编告诉您,2022年数据库审计厂家就选行云管家!2022年数据库审计厂家就选行云管家!功能强大!行云管家数据库审计可以帮助企业监视并记录对数据库服务器的各类操作行为,通过对数据的分析,实时地、智能地解析对数据库服务器的各种操作,并记入审计数据库中以便日后进行查询、分析、过滤,实现对目标数据库系统的用户操作的监控和审计。其核心功能如下:1、全面支持主流数据库、支持本地数据库与云厂商RDS支持Oracle、MySQL、SQLServer等主流数据库的审计和保护功能,同时适用于本地数据库与云厂商RDS。2、旁路部署,不影响核心业务运行对现有网络结构零影响,无需改动用户网络结构和配置,即可监控审计数据库操作行为。3、协议层支持,不受限于客户端工具访问协议层感知,适用于对数据库的所有访问请求,实现跨客户端的数据库访问审计。4、支持对SQL误操作,非法操作的拦截、告警、阻断与审批智能解析SQL语句,判断操作风险,有效拦截高危操作,辅以操作告警及审批,实现安全、灵活的数据库运维。5、支持数据清洗,避免泄露核心数据通过数据清洗,在开放数据的同时保护敏感数据,使数据资源在受监管基础上健康、有序、安全地流动起来。6、详尽的SQL语句执行日志、数据库运维报表记录SQL语句执行日志,为运维回溯提供依据,通过详尽的运维报表分析并总结数据库运维行为。7、对数据库账户进行统一的管理与授权数据库账户与运维策略从原有数据库方案中剥离,即通过“账户凭证”对数据库账户进行统一的管理与授权。名词解释:1、什么是数据库审计?数据库审计是对数据库访问行为进行监管的系统,一般采用旁路部署的方式,通过镜像或探针的方式采集所有数据库的访问流量,并基于SQL语法、语义的解析技术,记录下数据库的所有访问和操作行为。数据库审计系统主要价值有两点,一是在发生数据库安全事件(例如数据篡改、泄露)后为事件的追责定责提供依据;二是针对数据库操作的风险行为进行时时告警。2、数据库粒度是什么意思?粒度就是同一维度下,数据统计的粗细程度,计算机领域中粒度指系统内存扩展增量的最小值。数据库粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。
  • [技术干货] 【云小课】应用平台第33课 基于华为云WAF(Web应用防火墙)的日志运维分析,为你构筑设备安全的铜墙铁壁[转载]
    WAF(Web应用防火墙)通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入等攻击,所有请求流量经过WAF时,WAF会记录攻击和访问的日志,可实时决策分析、对设备进行运维管理以及业务趋势分析。前提条件购买并使用华为云WAF实例。限制条件仅云模式支持全量日志功能。支持全量日志功能的区域为:华北-北京一、华北-北京四、华东-上海一、华东-上海二、中国-香港、亚太-曼谷、亚太-莫斯科、华北-乌兰察布一 、华南-广州。设置步骤在WAF添加防护网站。登录管理控制台。在控制台左上角单击,选择区域和项目。在系统首页左上角单击,选择“安全与合规 > Web应用防火墙 WAF”,进入Web应用防火墙管理控制台。根据添加防护域名添加需要防护的网站,使网站流量切入WAF。开启全量日志功能,将WAF日志记录到LTS,详细操作请参见开启全量日志。在Web应用防火墙管理控制台,单击“防护事件”,选择“全量日志”页签。开启全量日志,选择已创建的日志组与日志流。如未创建日志组与日志流,请先创建日志组和创建日志流。单击“确定”,全量日志配置成功。         图1 配置全量日志        在日志流详情页面,单击左侧导航栏“配置中心”,选择“结构化配置”,进入日志结构化配置页面,选择“JSON”提取方式,根据业务需求选择日志,配置相关参数,具体操作请参见日志结构化。图2 配置JSON格式日志在日志流详情页面,单击“可视化”页签,进行SQL查询与分析,如需要多样化呈现查询结果,请参考日志结构化进行配置。统计1周内攻击次数,具体SQL查询分析语句如下所示:select count(*) as attack_times图3 攻击次数查询结果统计1天不同攻击类型的分布,具体SQL查询分析语句如下所示:select attack,count(*) as times group by attack查询结构有五种呈现形式依上而下分别为表格、柱状图、折线图、饼图、数字,如下图为饼图结果。图4 不同攻击类型的分布查询结果
  • [技术干货] oracle数据库审计用什么数据库审计软件好?可以用什么方式部署?
    oracle数据库是一种高效率的、可靠性好的、适应高吞吐量的数据库方案,是很多企业的不二选择。最近选择oracle数据库的很多企业在问,oracle数据库审计用什么数据库审计软件好?可以用什么方式部署?oracle数据库审计用什么数据库审计软件好?可以用什么方式部署?oracle数据库审计就选行云管家。行云管家数据库审计可以帮助企业监视并记录对数据库服务器的各类操作行为,通过对数据的分析,实时地、智能地解析对数据库服务器的各种操作,并记入审计数据库中以便日后进行查询、分析、过滤,实现对目标数据库系统的用户操作的监控和审计。其旁路部署,不影响核心业务运行。其核心功能如下:1、全面支持主流数据库、支持本地数据库与云厂商RDS支持Oracle、MySQL、SQLServer等主流数据库的审计和保护功能,同时适用于本地数据库与云厂商RDS。2、旁路部署,不影响核心业务运行对现有网络结构零影响,无需改动用户网络结构和配置,即可监控审计数据库操作行为。3、协议层支持,不受限于客户端工具访问协议层感知,适用于对数据库的所有访问请求,实现跨客户端的数据库访问审计。4、支持对SQL误操作,非法操作的拦截、告警、阻断与审批智能解析SQL语句,判断操作风险,有效拦截高危操作,辅以操作告警及审批,实现安全、灵活的数据库运维。5、支持数据清洗,避免泄露核心数据通过数据清洗,在开放数据的同时保护敏感数据,使数据资源在受监管基础上健康、有序、安全地流动起来。6、详尽的SQL语句执行日志、数据库运维报表记录SQL语句执行日志,为运维回溯提供依据,通过详尽的运维报表分析并总结数据库运维行为。7、对数据库账户进行统一的管理与授权数据库账户与运维策略从原有数据库方案中剥离,即通过“账户凭证”对数据库账户进行统一的管理与授权。【温馨提示】:如需了解更多,请拨打4008825683!名称解释:1、什么是oracle数据库?Oracle Database,又名Oracle RDBMS或简称Oracle;是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品,可以说Oracle数据库系统是世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小微机环境。2、数据库审计是什么意思?数据库审计(简称DBAudit)以安全事件为中心,以全面审计和精确审计为基础,实时记录网络上的数据库活动,对数据库操作进行细粒度审计的合规性管理,对数据库遭受到的风险行为进行实时告警。数据库审计是数据库安全技术之一,数据库安全技术主要包括:数据库漏洞扫描、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。
  • [云运维] 混合云管平台哪家强?采购时候需要注意什么?
    目前市面上混合云管平台厂商很多,质量也是参差不齐的。因此很多企业在网上问,混合云管平台哪家强?采购时候需要注意什么?混合云管平台哪家强?这里我们偷偷告诉您,采购云管平台就选行云管家。行云管家云管平台,一站式管理公有云、私有云、本地/IDC物理设备等主机、网络、存储等资源。<行云管家SaaS版>更是开箱即用,通过AccessKey、API、局域网等一键导入各类主机资源,完全不需要给一个个主机安装什么远程控制软件。不管是云服务器还是本地服务器,需要的功能应有尽有:支持运维主流管理协议、集成运维主流管理工具、自动化运维、主机使用状态监控与告警功能、协同在线会诊、文件传输等等功能,当然了,还有更多功能哦!采购混合云管平台时候需注意什么?我们认为,企业在购买云管平台时候应该重点考虑自身的诉求。不同规模的企业对云管平台的诉求不尽相同,只有了解了诉求之后,才好去采购合适的云管平台。一般大型企业对云管平台的诉求有两点,第一就是“多云管理”;第二就是对云资源进行全生命周期管理。而对中小企业而言,成本考量以及需要一个“以运维提效为目的、一体化的云计算管理工具”是比较重要的。从长远来看,中小企业一定会接受以SaaS形态提供的云计算管理服务。知识拓展1:什么是混合云?混合云,有时称为云混合,是一种将本地数据中心(也称为私有云)与公有云加以结合的计算环境,可在它们之间共享数据和应用程序。有人将混合云定义为包含“多云”配置,也就是组织除了使用其本地数据中心外,还使用多个公共云。知识拓展2:云平台和云管平台的三大区别1、定义不同云平台:是指可以提供IaaS、PaaS、SaaS等各种云服务的平台。云管平台:云管平台是一种管理公有云、私有云和混合云的产品,为企业提供管理跨多个云基础设施的服务。2、架构不同云平台从底层向上分别包括基础架构、资源管理、服务交付和用户的接入和管理这个组成部分;除了最底层的基础架构之外,上面的三层统称为云管平台。3、用途不同云平台主要提供的云服务;而云管平台主要对云资源的管理,例如保障云安全,降低云成本,提高自动化运维能力等等。
  • [行业资讯] 提升电梯维保水平,人工智能助力电梯物联网保障电梯安全
    随着城市高楼越来越多,高层楼宇的电梯安全问题备受关注。近年来,各地电梯相关监管机构对电梯安全及电梯维保也越来越重视,如何提高维保效率和质量、延长电梯使用寿命、增加电梯使用安全性成为电梯管理重要问题。据不完全统计,在诸多电梯事故分析中,电梯制造质量、安装隐患以及维护保养各环节潜在隐患占比分别为 16%、24%和60%。电梯素有“三分靠品质,七分靠维护"的说法,可见电梯维保工作好坏直接影响到电梯的运行状况。电梯维保工作做得好,电梯运行状态相对更稳定,电梯运行安全系数也会增高,电梯使用寿命相应延长;反之,电梯维保工作没有做好,会导致电梯运行的危险系数增高,使用寿命缩短,电梯故障增多,给乘梯者带来潜在安全隐患,严重的甚至会造成事故,威胁乘客生命安全。截止2021年,我国的电梯保有量、年增长量均为世界第一。作为全球电梯保有量第一的国家,我国电梯市场规模2018年已突破3500亿元,未来预计将超过4200亿元。和其他行业不同的是,维护是电梯产业链十分重要的一步。由于电梯故障或保养维护,每部电梯平均每年有2天无法工作,此外每个月还要进行2次例行巡检。目前我国电梯维保相关企业超过1.2万家,承担国内约70%的电梯维保工作。但是,国内电梯维保行业现象乱生,良莠不齐。大多数维保人员十分敬业,兢兢业业地严格按照相关安全技术规范进行检查、维护。但也有人缺乏专业技术知识,“走过场”式维保,甚至虚填维保记录单。还有的维保公司把维保工作转包出去,承包单位为了控制人力成本让员工满负荷工作,以至于人手不足的情况尤其常见。因此,实际上维保单位的书面维保记录单有时候并不能直接反映电电梯的真实维保情况。随着5G、云平台、物联网等先进技术的应用和普及,近年来部分城市如重庆、北京、杭州、南京等地开始尝试和推广物联网技术在电梯管理方面的应用。2017年07月12日,国家质检总局、国家标准委批准发布了《电梯、自动扶梯和自动人行道物联网的技术规范》(GB/T 24476-2017)(简称《电梯物联网规范》),并于2018年02月01日起正式实施。《电梯物联网规范》的发布实施,进一步推进了电梯产业信息化和智能化水平,提升电梯的安全性和乘客的使用满意度以及政府的监管效率,对提升电梯物联网相关学科发展和技术创新能力,以及推动电梯产业从人员密集型向技术密集型转变等方面均具有重要意义。基于人工智能技术、物联网技术等,电梯物联网有助于对电梯远程实时故障诊断和分析,及早发现安全隐患,实现安全预警,并可提前作预防性维护,防止电梯带病运行,提高维保效率;也有利于电梯企业对故障统计分析后,改进产品设计,提高产品质量和安全运行,并为电梯产品追溯体系建设奠定了技术基础。为加速电梯物联网方案落地,路易威森电梯专用智能RTU设备通过对采集的数据进行分析统计,帮助电梯物联网实时准确地掌握电梯设备的运行状态,为电梯物联网系统决策提供及时、可靠、全面的信息,便于对电梯设备的精细化和预防性维护保养提供了有力的技术支撑,从而为电梯的安全运行提供保障。未来,随着人工智能技术不断发展,AI落地将传统电梯行业与移动通信、云计算、互联网、卫星通信等技术融合发展,势必加快与电梯相关的智能终端、大数据处理、智能分析、服务集成等关键技术的开发创新,而路易威森也将秉持创新理念,不断为之努力,推动电梯行业智能化进程。
  • [信息速递] 企业数字化转型 与AOC六大新特性!
    引语数字化转型,简而言之就是提升效率、保持竞争力。在全球数字经济发展的时代背景下,人们的生产、生活、工作、消费、娱乐,都在向数字化方向快速迁移。在二十世纪信息技术及理念发展圣经《数字化生存》中,Nicholas Negroponte就预言了今天的数字化时代:数字化生存是现代社会中以信息技术为基础的新的生存方式。在数字化转型的大背景下,网络越来越复杂,业务创新层出不穷,传统的运维模式已无法适应新业务的敏捷变现,运营商网络数字化转型势在必行,华为开放可编程平台应运而生。 AOC(Agile Open Container)以YANG模型驱动为基础,提供端到端的开放可编程能力:设备驱动可编程、网络业务可编程、同时自动生成丰富的北向API,实现多厂商设备快速适配、新业务快速上线,为网络自动化奠定基础。2021年,AOC平台又推出了六大新特性:华为设备自适配、零代码纳管设备、极速网络运维、设备平滑升级、网络配置全联动、和超大网络管理。这六大新特性,围绕着“更快,更稳,更强”的主旋律,将为网络运维转型提供最强有力的支持。一、免手工开发SND包、节省资源占用、省钱之前,华为AOC支持的是手工开发适配。客户一般是获取YANG文件,然后手工开发SND (specific NE driver)包,再导入SND包到华为AOC平台,最后实现设备纳管。手工开发SND包效率不高,多个SND包也会占用很多资源。现在,相比之前的先获取设备YANG文件,华为设备提供了MDA (Model-Driven Architecture 模型驱动架构) 包,MDA包里面包含了丰富的设备能力信息,比如面板、硬件能力差异、设备业务特性等。而华为AOC平台,现在能够动态的协商设备的信息,快速纳管设备。这样可以免于手工开发,达到高效自适配的能力。另外,一个产品簇一个包,充分节省了资源,减低了CAPEX (capital expense 资本支出) 的成本。华为设备自适应能力,主要是为了实现华为设备的免配套。我们构建了基于设备族的自动协商框架,这个协商框架的核心分为两部分:华为AOC内置了华为设备族的SND (specific NE driver)华为AOC的自动协商框架,在新设备上线的时候,会跟设备协商,协商中获取设备支持哪些特性、不支持哪些特性,然后基于它真实的能力,实现对它的管理,可自适应。二、不再完全依赖厂商当前,数据中心、企业广,普遍存在多厂商设备共存的情况。由于系统只能由厂商开发,用户的设备适配和系统集成必须依赖厂商。驱动包的开发周期通常是在2-6个月,这样一来,就非常影响业务的上线时间。华为AOC提供的开放可编程,使得用户可以自开发、或者第三方开发驱动包。AOC平台的Netconf SND Builder,通过Netconf协议,可以去设备上自动采集Yang文件、并校验基础的Yang语法,保证生成的驱动包可用,最终一键生成驱动包。这样,从之前的2-6个月,缩减到现在的1天就可以完成一个新设备的驱动包开发、纳管、和调试,大大缩短了集成周期。三、规模庞大的业务,割接、搬迁效率翻倍背景:解决城市网络搬迁的过程中,由于网络业务规模庞大,在规定时间内进行割接、搬迁操作难的问题。同时解决网络设备配置同步慢、实时运维网络难度大的问题。效果:割接、搬迁等场景的操作效率大幅提升,时间压缩了一倍。同时,当前AOC还支持海量设备配置的同步,运维实时一致性的效率提升翻倍。技术:华为AOC通过核心数据存储技术,和多业务实例集群并发mapping技术,能够大幅提高网络业务运维的效率。存储1:支持running数据库多模存储,构建了新的Yang Database底层存储方式。过去是整块的json字符串存储,现在Yang模型每个leaf按照数据库列的形式进行存储,大幅提升了底层查询和高级查询效率、以及用户操作数据库的易用性。存储2:优化了running数据库数据源存储根技术。数据源记录了每个网元数据的业务来源,现在AOC对数据源的管理,由离散式转化为集中式管理,占用的空间更小,性能更高。并发1:优化了Python执行环境,新构建了异步执行框架机制(即在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理下一个事务,通过状态、通知、回调来通知调用者处理结果。不同程序单元之间过程中无需通信协调),和模板引擎缓存能力,提升了并发与单次执行效率。并发2:优化了基于Easymap的并发调度框架,并发调度优化了单节点事务执行效率,同时提升了多事务横向扩展并发处理能力。并发3:优化了南向多设备并发交互能力,使得设备个数、与设备本身的耗时不会大幅影响AOC的配置效率,使得设备个数以及处理时间,对用户配置提交效率的影响缩小。四、高效应对版本升级时的不兼容问题背景:SND非兼容,即设备升级过程中,Yang文件产生不兼容变更时,变更的Yang文件对应的SSP部分的业务配置无法使用,需要手工对比模型前后变化,逐一排查影响了哪些SSP。客户需要与厂商进行大量的沟通协调,成本高。Yang文件不兼容变更,具体分为两种场景:场景1:旧版本中Yang文件存在,而新版本不存在场景2:同名Yang文件存在于新旧版本中,文件内部产生了变更。效果:AOC引入该特性后,能够支持设备平滑升级,兼容管理不同版本的设备,业务配置不再受到设备版本升级的影响。AOC的专业工具能够帮客户识别设备不兼容变更对业务的影响,减少客户与厂商沟通协调的成本。技术:非兼容升级涉及的新技术包括模型隔离、数据存储隔离、数据迁移管理、和业务数据影响分析工具;升级方式包括简单不兼容,和复杂不兼容两种场景。技术1:模型隔离。通过SND domain ID把Yang模型隔离开。升级前后domain id不同技术2:数据存储隔离。data store库,配置数据,domain id技术3:数据迁移管理。每台设备的迁移任务,能从界面上看到从哪里迁移,可视技术4:业务数据影响分析工具。Yang文件不兼容分析工具。独立的离线工具,compare工具,场景1:在简单不兼容的情况下,用户可以直接使用AOC的预置规则,编辑迁移包中的XML配置文件进行升级。简单不兼容的场景包括Yang文件内部值的变更、节点名称和类型变更、节点的增加和删除等。场景2: 在复杂不兼容的情况下,用户则可以通过编写迁移包中的Python迁移逻辑,进行自定义升级。五、网元的变化在业务层能感知,网络间的变化在业务间联动重部署对于【网元级】的网络配置全联动网元配置变更溯源对应的业务,指的是网元配置的变化,能自动通知对应的业务,告知业务存在不一致,方便运维人员做进一步的还原或者下发。传统业务场景下,由于业务层不感知网元级变化,多头管理网元数据变更,导致用户无法判断对网络业务的影响,更难掌握业务意图在网运行时的偏差。而现在的AOC,会进行网元级变化的影响性通知。这是因为在AOC中,保存了数据源,也就是网元数据和网络数据的关联关系。这个关联关系,可以让控制器感知到网元数据变更对网络数据的影响,使客户实时感知,就可以更精准的掌握业务意图在网运行的状态了。再看看【网络级】的网络配置全联动网络业务间的联动,指的是业务A发生变化,能自动触发业务B的重部署。通过开放可编程的方式,业务A的变化,能实时影响业务B,实现业务间的自动关联触发。举个例子,之前客户先建立一个企业的VPN网络,并对接入站点限制带宽;接着,客户在不同地域的两个站点设备上,各建立100M带宽的接入端口;当客户需要将100M扩容至200M时,就需要修改VPN业务,同时对关联的接入端口重新下发;这时,就需要通过人工查询,来判断VPN业务中有哪些分支和站点,需要配置哪些接入端口,在人工识别后,再通过手工逐一操作,来进行业务的修改,从100M改到200M。在这种场景下,业务之间存在依赖关系,当发生变更,就需要人工去识别和更新受影响的业务,容易遗漏和出错。而现在,AOC提供了联动式网络业务变更,还是上面这个例子,客户想要从100M扩容到200M,华为AOC能够自动识别要配置的接入端口,并且自动联动修改业务配置和设备配置。这样的方式,可以在业务变化的时候,由系统自动识别依赖关系,并自动联动修改相关业务,确保变更稳定不出错。六、超大网络管理背景:之前的网络管理,是烟囱式隔离网络管理。一个大区域内,每个分区域都有一套独立的网络管理控制器,这样的管理方式无法做到端到端可视、硬件资源自用率不高、数据难同步、技能难复用,人员组织和运维系统的投资成本高。效果:AOC采用水平扩展架构,在华为NCE系统的配合下,目标可以演进成整个大区域一套,做到端到端可视。从过去完全隔离开的虚拟机部署,优化为当前的集中私有云部署。数据可以做到融合拉通,充分利用了硬件资源,减少了硬件投资的成本。技术:水平扩展架构,是一个包含网元控制系统和网络控制系统的分层架构网络控制系统,支持用户通过界面或者北向接口,对网络业务进行发布,并将网元管理器中的数据统一汇聚呈现。在水平扩展架构中,它具有如下能力:网络1:发业务。路由管理能力,将不同网元的数据定向发送到对应的网元管理分区。网络2:收业务。网元分区数据的同步能力,将各分区的网元管理器数据汇聚到网络管理系统。网络3:一致性。支持分布式的事务框架,保证网络层和网元层数据的一致性。网络4:多语言。插件包的分类路由管理能力,可以访问不同运行环境中的插件包,支持的语言环境包括Python和Java。网元控制系统,用于管理网元设备,支持网元管理分区的水平扩展。网元1:厂商独立。每个网元管理器,作为一个独立的分区,可以管理同一类型的网元,不同的网元管理分区来管理不同的厂商的网元设备。网元2:数据独立。各分区的网元管理器,对管理的网元进行网元配置分解,处理网元配置漂移(即控制器配置和设备配置不一致的问题),数据只在分区内流转,各分区内的数据相互隔离。网元3:分类管理。根据管理的网元类型,可以水平扩展多个分区,实现网元设备分类管理。网元4:负载分担:根据部署的网元数量,在分区内创建集群,多节点处理网元数据,实现分区内负载分担,满足大数据量传输要求,同时保证数据的可靠性。网元5:连接设备。网元控制器和设备之间的连接采用Netconf协议,它支持短连接池化管理和按需建连。短连接的优势在于:长连接的方式会持久占据连接通道,占用控制器侧的端口;而短连接则是用的时候再建,保证虚拟机端口不被长期占用。有力支撑AOC分区的水平扩展。结语说了这么多,欢迎大家来华为开放可编程平台使用、体验AOC!AOC中文首页 和 AOC英文首页 给大家附上啦。在文章的最后,我想引用《华为数字化转型》中的一段话作为结尾:“我们要坚信,不应该以企业内部应用了多少种新技术来衡量企业数字化转型的成功与否,而应该以数字化给业务和管理带来多少价值作为准绳。 因为从技术发展角度来看,正如摩尔定律‘计算机的性能每18个月翻一番’的预言,数字化技术的发展一日千里,今年业界热捧的领先技术,明年就可能过时了;如果不是从业务价值出发,知识基于某些新技术定义数字化转型目标,或者讨论数字化转型方法论取舍,恐怕只是赶时髦、追风口,难以持久。所以,讨论数字化转型的目的不是介绍新技术、新系统,而是探讨如何建立基于数字化技术的企业管理模式,讨论的重点是技术背后的方法和实践中的经验与教训,本质是管理体系的构建。”