• [问题求助] 【HCS产品】【资源分析功能】接口返回资源池CPU使用率与运维面系统中使用率不一致
    1.首先获取SYS_ResourcePool对应的ID2.得到资源池对应的使用率3.3.对比系统界面中的使用率是6.9接口与返回的使用率不一致,接口中对应系统是使用率在哪个界面可以看到运维面是否有接口可以按时间点获取对应资源池级别的使用率
  • [公告] 喜讯!使用因联iPHM设备健康智能运维产品“上云上平台”,可享专项资金补贴!
    “设备智能何为径,因联赋能云作舟”喜讯!! !因联科技iPHM设备健康智能运维云平台成功入选陕西省2022年上云上平台服务平台目录2022年3月,为推动陕西省中小企业上云上平台,引导企业运用工业互联网提升制造能力和管理水平,增强数字化升级意识,陕西省工信厅、陕西省财务厅发布了《关于做好2022年省级中小企业发展专项资金中小企业上云上平台项目申报工作的通知》(下称“通知”),旨在支持中小企业通过使用公有云平台实施数字化、网络化、智能化升级。图1 陕西省2022年上云上平台申报活动开展图2 因联科技入选陕西省2022年上云上平台服务平台按照《通知》规定,即日起,凡购买因联科技“iPHM设备健康智能运维云平台”产品及服务的陕西省工业类中小企业,可按合同金额的一定比例享受一次性补贴,补贴金额以中小企业与平台服务提供商所签订书面合同金额为准。因联科技入选平台目录产品介绍iPHM设备健康智能维护云平台是由因联科技自主研发的涵盖底层传感器的感知端、智能网关的边缘端和云平台端的一体式工业物联网整体解决方案,集成了公司十多年设备预测性维护技术的积累和产业实践,通过利用AI+IoT技术让工业设备更加智能化,基于数据驱动,以机理+数据模型能够帮助企业实现工业设备的实时在线监测,提供智能预警、智能诊断和云服务,帮助工业中小企业提升生产效率、保障安全生产、优化生产决策,助力企业数字化智能化升级转型。图3 因联iPHM设备健康智能维护云平台至此,因联科技将重点聚焦煤矿、水泥、化工、钢铁等重点行业,厚积薄发力求为陕西省中小企业数字化、网络化、智能化转型升级贡献一份力量。
  • [经验交流] 数字化转型“蜀道”之难:网不配云,此事何解?【华为技术】
    云计算“三大件”包括计算、存储和网络,相较于计算虚拟化和存储虚拟化,网络虚拟化要来得更晚一些,相对而言,云时代的网络技术发展稍显落后。随着云计算越来越接近成熟形态,网络能力以一种“补课”的姿态,逐渐被企业客户和相关厂商所重视。云计算,直白理解其重点在于计算,即将大型任务通过分布式计算分而治之,数据如何高效传输与共享,算力如何通过网络到达最合适的地方,智能如何飞跃数据中心深入企业的生产场景,均依赖于灵活且健壮的云网络。在偌大的云计算变革中,首当其冲的并不是网络,当更大维度的数字化转型浪潮来袭,云网已成为企业面临的核心资源层难题。数字化误区:重云而轻网云网络的发展迟滞有迹可循。起初,业界对于云计算的定义是——计算资源完全能够像水、电、煤这类公共产品一样通过网络交付,用户主导、需求驱动、按需服务、即用即付,鉴于云厂商们更关注于打造灵活的计算资源,导致网络的支撑能力落后于市场需求。而这与云厂商群体天然的资源禀赋不无关系,云计算的概念最早由谷歌提出,云计算行业的领先企业AWS也可以算作IT厂商,由于计算及存储虚拟化的成熟依赖于IT技术,导致了当云计算作为一种ICT融合形态出现时,计算和存储发展得更快,而网络则只是堪堪可用。正如互联网行业将电信运营商管道化一般,云计算依然延续了这种趋势,企业应用云服务的高阶弹性需求,遭遇管道化的云网络,二者间的矛盾自然发生。举一个简单的例子,一家西北地区的工业企业,在进行工业4.0转型过程中,首先考虑要上云,200公里之外的云数据中心到工厂的业务延时是5毫秒,仅这一个硬性条件就足以拦住大部分云厂商,数据中心受地理空间限制,网络如果达不到低时延标准,数字化转型就失去了先决条件。目前,大部分云厂商提供的是传统专线及VPN等云网络服务,经常会被诟病网络质量差、时延和带宽无保证,或成本高、链路开通和控制僵化,如果云服务的灵活性受制于网络,这本身就不符合云计算的本质。比起基础设施之间的互联互通,如何将云计算的能力输送给数字化转型企业,做到网络即服务,实现云、网、边端的一体化显然更有价值。云网一体的背后是计算与网络融合的大趋势,当数据在云上云下自由流动,计算是发生在云端还是在边端完全取决于企业自身的需求时,无论是用计算来解决通信的难题,还是用通信技术来解决计算的难题,都将促进云网二者走向融合。综上所述,今天的云厂商更关注云网一体,既基于现实的需求,也是技术创新驱动之下的自然结果。不可忽视的是,网络已经成为企业上云乃至数字化转型的掣肘。数字化锚点:智能云网云网一体,是数字化转型企业将蜀道变为通途的不二法门。网络成为云时代新的难题,主要体现在四方面:云快而网慢、体验难保障、网络难运维及安全难防护。例如,当企业上云走向混合云与多云时,如果专线开通的速度仍以周甚至月计算,显然难以满足企业上云的诉求;再如,企业的核心生产系统上云迁移,将对SLA提出更高的要求,不仅需要云网提供端到端的SLA保障,为用户提供一致性体验,更要提供智能网络运维及至关重要的安全防护,可以说,网络层的变革牵一发而动全身。电网将电力输送至千家万户,使能了第二次工业革命。与之类似,如果未来算力也是一种全社会的基础资源,那么当算力及智能源源不断地输送给千行百业的算力网络时,也应如电网一样可即取即用、随手可得,但从目前的情况看,云网显然还有很长的路要走,首先是要满足企业数字化转型的诉求。网络数字化、网络智能化及网络服务化是新时代智能云网应具备的三大特征,如此才能使企业的生产效率再次获得飞跃,为数字经济的发展提供新动能。网络数字化:即通过数字化的方式感知网络状态,将整网状态在数字世界中进行抽象建模,并统一传送到云端,从而实现整个网络的云端统一管理及网络状态的实时可视。网络智能化:网络数字化后,通过人工智能、大数据等新技术的采用,进一步将智能引入到云网之中,在实现网络资源、云资源智能均衡调度及网络智能运维的同时,大幅提升排障效率,实现安全智能防御,全面提升网络的安全防护能力。网络服务化:可实现网络服务的一键式订购,提升了网络的响应效率及云的敏捷性;实现了网络的开放编程,能更加灵活地对接云内业务,满足业务需求;实现了云网安一体,可提供更加安全的云网服务。云网可以联接云、使能云,云网一体的实质即网络可以按照云的要求提供网络资源,云则可根据应用的需要调用网络资源。随着这一认知成为业界共识,云网的发展也迈入了高速增长和深入业务场景应用的新阶段。在智慧城市中,华为提出了面向行业智能升级的参考架构——智能体,其聚焦“城市一朵云、算力一张网”建设,用“一张网”就可聚合原有的物联、政务、交通等多张物理网,实现了城市治理数据、行业数据、人口数据等不同数据之间的逻辑隔离,构建了城市智慧化的根基。在金融行业数字化场景中,华为通过分布式架构改造、资源统一纳管、平台化服务能力等系统的构建,将传统专线升级为扁平化、高品质的专网,实现了金融业务的敏捷创新。数字化必然:云网基建一个不争的事实是,基础技术的发展总是螺旋上升的。上世纪60年代,封闭网络及巨型应用开创了集中式架构的大型机时代;80年代,互联网的快速发展,催生了个人电脑应用的分布式架构;2000年之后,云计算再度将算力集中,计算与网络的分分合合,构建了一代又一代的基建能力。随之而来的是时代主角的变化,在计算能力从由集中到分散再到集中的过程中,也遵循着否定之否定的钟摆定理,大型机时代是IT厂商牢牢占据主动,而后电信运营商带来了无处不在的联接,当下是云计算厂商扛鼎了行业的发展。数字时代的底层规律,埋伏着巨大的发展机遇,也是所有厂商希望解答的时代命题。随着智能云网逐渐成为数字时代的基础设施,市场上的主要玩家可分为三大类。第一类是电信运营商,他们通过自建下沉到地市区域的云骨干网络,利用网络虚拟化技术,为租户构建了一张云广域网络,可提供云间高速互联、SD-WAN 分支上云、专线上云等多种产品及服务,这类企业拥有天然的网络优势。第二类是互联网厂商,他们作为云计算最早的实践者,携经验积累带来的先发优势,抢占了第一批上云客户,综观国内与国外皆是如此。但是随着云计算行业的发展进入下半场,互联网的成功经验并不能完全适用于其他行业,尤其是传统行业有着固有的产业壁垒,使得互联网企业不得不提升自身的服务能力,以求未来的发展。第三类玩家出现在千行百业的数字化转型过程中,市场上需要既懂云,又懂网的数字化转型服务商,而华为的产品及服务恰好可满足这一需求。Gartner的数据显示,2020年,华为云在主流云厂商中的增速最快,在全球公有云IaaS市场中的排名为:中国前二、全球前五,目前,华为云上线的云服务已超过220个、解决方案超过210个。同时,华为作为ICT领域的的实践者,其在通信行业积累的网络能力,在云时代得到了充分释放,不仅补足了当下云计算行业所缺失的云网能力,也促使云计算底层的基础设施日趋完善。从更广的维度来观察,过去数十年,计算与网络的分立谱写了数字经济时代的前奏,而计算与网络的真正融合,将实现千行百业的数字化转型。计算资源在云上迁移,数据在业务场景中迁徙,网络将算力输送至每个节点,当更多的企业享受到数字化转型的红利时,数字经济的时代才算是真正到来。
  • [热门活动] 云管平台提供的功能一般包括哪些?采购需求主要是什么?
    越来越多企业实现了上云,但如何更好的管理云,已经成为另一个难题。这个时候就需要云管平台了,那到底云管平台提供的功能一般包括哪些?采购的需求主要是什么?云管平台提供的功能一般包括哪些?1、具备跨云、混合云管理能力;2、具备异构资源管理能力;3、具备资源全生命周期管理能力;4、具备资源监控、安全告警能力;5、具备资源成本分析、统计、优化能力;6、全面的DevOps支持能力。采购云管平台的主要需求是什么?企业在采购云管平台的时候,需要考虑是公司真正的诉求。一般大型企业对云管平台的诉求有两点,第一就是“多云管理”;第二就是对云资源进行全生命周期管理。而对中小企业而言,成本考量以及需要一个“以运维提效为目的、一体化的云计算管理工具”是比较重要的。[温馨提示]:采购云管平台就选行云管家!采购云管平台就选行云管家。行云管家云管平台,一站式管理公有云、私有云、本地/IDC物理设备等主机、网络、存储等资源。<行云管家SaaS版>更是开箱即用,通过AccessKey、API、局域网等一键导入各类主机资源,完全不需要给一个个主机安装什么远程控制软件。不管是云服务器还是本地服务器,需要的功能应有尽有:支持运维主流管理协议、集成运维主流管理工具、自动化运维、主机使用状态监控与告警功能、协同在线会诊、文件传输等等功能,当然了,还有更多功能哦!
  • [热门活动] 云平台是什么?知名云平台有哪些?
    生活中我们经常可以听到云服务,云平台,比如阿里云等等。但到底云平台是什么意思呢?想想还有很多人不清楚,今天我们就来告诉大家云平台是什么?知名云平台有哪些?云平台与云管平台有哪些区别?云平台是什么?云平台是指基于硬件的服务,提供计算、网络和存储能力。顾名思义,这种平台允许开发者们或是将写好的程序放在“云”里运行,或是使用“云”里提供的服务,或二者皆是。简单来说云平台是指可以提供IaaS、PaaS、SaaS等各种云服务的平台。知名云平台有哪些?1、阿里云2、腾讯云3、小鸟云4、华为云5、百度云6、盛大云7、微软云8、新浪云9、新睿云云平台与云管平台有哪些区别?1、定义不同云平台:是指可以提供IaaS、PaaS、SaaS等各种云服务的平台。云管平台:云管平台是一种管理公有云、私有云和混合云的产品,为企业提供管理跨多个云基础设施的服务。2、架构不同云平台从底层向上分别包括基础架构、资源管理、服务交付和用户的接入和管理这个组成部分;除了最底层的基础架构之外,上面的三层统称为云管平台。3、用途不同云平台主要提供的云服务;而云管平台主要对云资源的管理,例如保障云安全,降低云成本,提高自动化运维能力等等。知识补充:多云管理就用行云管家!多云管理就用行云管家!行云管家云管平台,一站式管理公有云、私有云、本地/IDC物理设备等主机、网络、存储等资源。<行云管家SaaS版>更是开箱即用,通过AccessKey、API、局域网等一键导入各类主机资源,完全不需要给一个个主机安装什么远程控制软件。不管是云服务器还是本地服务器,需要的功能应有尽有:支持运维主流管理协议、集成运维主流管理工具、自动化运维、主机使用状态监控与告警功能、协同在线会诊、文件传输等等功能,当然了,还有更多功能哦!本文地址:https://www.cloudbility.com/club/14264.html
  • [技术干货] 智慧园区FusionCube线下运维监控总览
    监控总览监控总览页面可以看到应用App、数字平台、容器、虚拟机的告警汇总情况。登录Cube线下运维台Portal。选择“运维中心>监控中心>监控总览”,查看应用App、数字平台、容器、虚拟机的告警汇总数量。图1 监控总览单击告警数值,打开对应的告警查询页面,可进一步查看告警详情。图2 告警列表单击可以查看告警详细信息,根据详细信息中的处理步骤完成告警的处理。图3 告警详细信息
  • [技术干货] 智慧园区FusionCube线下运维概述
    智慧园区解决方案以Cube形态部署时,会在Cube中部署Ops本地运维台,实现对数字平台、园区资产等的健康检测。当前Cube线下运营台提供的检测能力如表1所示。表1 监控能力概述能力说明告警监控汇总展示对Cube中产生的告警进行汇总展示,包括监控总览和应用监控两个页面。当前Ops可接入并告警的内容如图1所示。Ops通过调用交换机、服务器和Fusion Computer的接口,获取设备运行信息;当前相关接口调用失败时,会产生物理层告警。Ops未实现对同步交换机和Fusion Computer自身告警的集成同步;如果查看对应告警,需要登录交换机、FCC的监控页面去查看。容器的告警中不包含对IVS纳管容器的告警统计;IVS容器的告警监控在CSP中。数字平台的告警中不包含GIS(超图和中地)、IVS、iVAS等的告警统计;如果需要查看对应告警,需要登录到各系统自己的告警系统中。Ops业务层告警中默认包含对BO、IO和DO的状态检测;如果选装了部分基线APP,需要手工修改监控配置文件;默认IO监控检查关闭状态,项目更加实际对接的南向系统,通过配置ROMA的环境参数,开启的告警;对于DO监控,datatool启动后会自动产生告警;原生BO通过SDK发送告警;以及检测License过期状态发送告警。虚机资源监控展示Cube中所有虚机的分布,可查看每个虚机的资源状态。同时,该界面提供虚机和容器管理portal的跳转链接。当前仅支持跳转到CCE敏捷版的WEB界面和青云KS的WEB界面。设备监控展示交换机、服务器的运行状态,并提供设备管理portal的跳转链接。暂没有实现对IVS所在服务器(TaiShan 5280 V2)的CPU和MEM使用率的采集。图1 Cube线下运维台的告警监控范围表2 告警监控查看方法运维对象维度在OPS运维台上的操作路径服务器基本信息和状态查询监控中心>设备监控告警查询监控中心>监控总览:单击物理设备告警统计数字,跳转到告警列表查询详情。交换机基本信息和状态查询监控中心>设备监控告警查询监控中心>设备监控:单击设备管理中的链接,跳转到交换机管理web界面,需要二次登录。虚拟机虚拟机分布图和基本信息查询监控中心>资源监控虚拟机告警查询监控中心>监控总览:单击虚拟机告警统计数字,跳转到告警列表查询详情。虚拟机管理监控中心>资源监控:单击“虚拟机管理”链接,跳转到FCC的界面,需要二次登录。容器容器告警查询监控中心>监控总览:单击容器告警统计数字,跳转到告警列表查询详情。容器的管理监控中心>资源监控:单击“容器管理”链接,跳转到K8S的界面,需要二次登录。数字平台(ABC/ROMA/Ops/AppCube的MySQL/DataTool/DataTool的GaussDB/GIS-伟岸/IOT/奥看)告警查询监控中心>应用监控:在“数字平台”页签中单击平台的告警统计数字,跳转到告警列表查询详情。数字平台(IVS)告警查询在Ops中没有入口,直接登录IVS的网管CSP查询,参阅IVS产品手册。数字平台(GIS-超图、中地)告警查询在Ops中没有入口,需要参考对应产品手册进行运维操作。数字平台(IAM/iVAS/VDCP)告警查询暂不在范围中。业务应用告警查询监控中心>应用监控:在“App应用”页签中单击告警统计数字,跳转到告警列表查询详情。
  • [优秀实践] 容器云领域首个!谐云容器云平台获华为鲲鹏Validated认证
    近日,谐云容器云平台(观云台)获得鲲鹏Validated认证。此次谐云联合浙江鲲鹏生态创新中心基于鲲鹏硬件、银河麒麟操作系统 V10、鲲鹏应用使能套件BoostKit对谐云容器云平台解决方案(观云台)进行了深度调优,实现MySQL性能提升96%。降低运营成本和风险的同时,获得更高的运维效率,保障业务稳定运行和高效迭代 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093629692539499.png) 此次通过鲲鹏Validated认证的容器云平台,是一款基于Docker和Kubernetes技术构建的一套完整IT标准化和自动化框架,链接底层IT硬件设备设施和上层业务应用,为企业面向业务的敏捷开发和高效运维平台提供平台化支持,在通信、能源、金融等多个行业都有广泛应用。 早在2018年下半年,谐云就携手某在线服务公司启动了数据库、中间件基于ARM服务器的容器化投产方案研究,由于数据库、中间件容器化对存储性能、网络性能要求较高,具有以下几个层面的技术要求: ❖ 低延迟:中间件服务,尤其以数据库类、消息类为主,这两类中间件对延迟要求非常高,在一些呼叫、响应、坐席接入等场景要求更高,而这一挑战对于容器化中间件是最难的地方; ❖ 高带宽:大多中间件均具有高IO特征,因此,对于其系统带宽也有较高的要求; ❖ 无抖动:对网络抖动要求较高,需要网络基本无抖动。 因此,谐云结合其业务场景,经过三年多的技术沉淀,采用了基于MacVLAN的二层高性能网络方案,在社区版本基础上进行深度定制,性能几乎零损耗,达到了和物理网卡相近的性能。并最终创新性的在ARM服务器之上支撑了MySQL数据库、Redis缓存、RocketMQ消息和Elasticsearch搜索引擎的容器化集群部署上线。目前中移投产规模已达500+物理服务器,基本覆盖现有业务对于中间件的开箱即用需求。 #### 性能优势 此次联合浙江鲲鹏生态创新中心深度优化后的谐云容器云平台解决方案(观云台),实现MySQL性能提升96%,Elasticsearch组件在8C32G3实例场景下性能提升48%,业务数据的读写等混合场景性能提升21.53%,拥有低成本、低风险、高运维效率、高资源利用率等性能优势。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093655446389180.png) ##### 1 MySQL性能 基于Kubernetes部署MySQL,用Sysbench测试工具对MySQL数据库进行性能测试,衡量指标每秒事务数。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093733585843052.png) ##### 2 Elastcsearch组件性能 基于Kubernetes上部署Elasticsearch,通过Elasticsearch官方提供的Benchmarkrally脚本,模拟在8C32G3实例的场景下,衡量指标ES的写入性能,使用鲲鹏服务器后,经过测试对比,性能提高48%。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093745601418284.png) ##### 3 业务场景查询性能 基于Kubernetes上,对MySQL使用华为鲲鹏SSD锁优化后,基于Jmeter 测试工具,针对银行卡挂失的登记业务模拟测试数据进行测试,MySQL的QPS和TPS对业务数据的读写等混合场景性能提升21.53%。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/12/1647093771959346965.png) 谐云作为鲲鹏计算重要的优质伙伴,与鲲鹏携手积极打造技术生态。此前已通过鲲鹏TaiShan服务器认证,实现了与鲲鹏生态系统的良好融合,实现信创云产业全方位布局。 未来,双方将进一步实现在业务和技术等多方面的合作,为客户提供更多的联合解决方案,共同推进我国各行各业数字化转型。 关于谐云 谐云作为国内为数不多掌握底层核心技术的容器云产品及解决方案提供商,以“底层核心技术 + 超前发展理念”致力于为企业数字化转型提供最佳解决方案,拥有丰富的行业落地经验和实施经验。目前已服务百余家客户,覆盖通信、金融、能源、化工等多个行业,为众多行业头部客户企业提供包含建云、上云、用云和管云的全生命周期一站式云原生整体解决方案服务支撑。
  • [热门活动] 业务驱动、数字赋能——华春建设咨询集团借力泛微搭建数字管控平台
    作为建筑行业的智慧中枢,华春以造价咨询为立业之本,随之拓展招标代理、工程监理、司法鉴定等业务,之后由点及面,辐射全国,分公司遍布大江南北。现已发展成集团公司和建设咨询行业孵化平台。拥有6家控股公司、2家参股公司、4家协作公司,涵盖投资咨询、招标代理、规划设计、造价咨询、工程咨询、工程监理、项目管理、众创空间、会计审计、税务筹划、资产评估、造价司法鉴定等工程全生命周期咨询服务。当前,随着社会经济结构的变革和信息革命的深度融合,正深刻重构传统产业的业务模式和组织形态,工程建设领域也不断催生新产业、新模式、新业态。在此风云变幻之际,华春建设咨询集团也敏锐观云之变、积极乘风而动,在行业领域内积极加快数字化转型步伐。为了贯彻落实华春2025战略执行,华春建设咨询集团通过落地信息化基础平台和专业执业平台,深化集团在工程咨询行业业务管控,建立健全集团信息管控体系,从而为生产力赋能。此次合作,华春建设咨询集团选择泛微OA,通过搭建“数字管控平台”,以工程建设咨询行业信息化技术的发展变化为基础,面向全过程工程咨询模式构建集基础应用、流程管控、业务协同、数据分析、智能应用为一体的数字化应用平台。实现多级组织灵活管理、扁平化业务驱动管理和全过程一体化管理。以业务来驱动产业聚集,以数据赋能增强企业竞争力,融合发展加速华春建设咨询集团新业态、新形态的转型升级。(数字管控平台项目架构)目前项目已经验收。系统在运行过程中,累计发起流程30000+,文档30000+,登录100000+次。系统将持续进行业务的拓展开发,满足华春建设咨询集团不同业务的特色需求。华春“数字管控平台”建设成果一、分支机构管理通过数字管控平台,项目管理公司等分支机构能在线申请业务,通过电子签章平台,在线审批、盖章签字、归档,减少跑腿和来回快递费用。(分支机构管理流程)业务在线申请:分支机构相关业务一版展示,不需要进入平台后过多操作,提高系统易用性。(业务一版展示)分支机构信息、业务查询:首先,按照承包合同及登记基础信息形成各分支机构“电子信息档案”,分支机构能够方便查询本机构产生的业务数据,及时跟踪,动态展示。同时,各分支机构能够快速通过专门的流程模板发起流程,内容智能填写,效率高又规范。(分支机构信息查询)运维管理:在系统中增加了管理员联系渠道,避免操作无人跟踪,问题无法反馈的困境,做到有问题及时联系,第一时间响应的运维模式。二、证照、业绩数字化管理“证照”是企业身份的重要法律依据,确保存管安全、提高使用效率是企业实现协同办公的重要需求之一。(证照、业绩数字化管理架构)泛微协助华春建设咨询集团搭建了证照、业绩管理系统,以电子化流程为基础,让集团各类证照实现信息智能维护、借用线上审批、全程跟踪、查询便捷的智能化管理模式。信息维护:首先,需要对企业及个人信息进行维护,从而后续能够绑定证照。接下来,对证照进行类型维护,更方便检索、归类。(基本信息维护)证照管理:按照组织信息进行录入及更新。为了保证企业证照信息安全,证照电子件只有管理员可见,若是需要借用电子件,通过流程进行水印加载。(证照管理)业绩管理:业绩上报审核通过之后,完成业绩的入库,后续通过流程节点后操作,将业绩信息同步到中间库,更新到当前构建业绩库中,证照电子件只有管理员可见,若是需要借用电子件,通过流程进行水印加载。(业绩管理)水印加载、在途借用沟通:在借用电子件时,系统自动显示是否可借;如果存在借用证照正在借用未归还,触发沟通反馈流程至当前借用人,是否可借出,反馈至主流程。三、项目全过程管理(项目数字化管理架构)华春建设咨询集团按照项目执行情况分为售前阶段、执业阶段、结算阶段、项目售后阶段,泛微协助华春集团通过低代码构建了全程数字化的项目管理应用,全方位、全过程把控集团项目管理,效率、风险可控。1、售前阶段通过为华春建设咨询集团搭建客户管理、商机管理、投标管理、合同管理等应用,按照客户来源及代理方式不同进行归类,方便查询。客户管理:通过在系统中搭建数字化客户管理库,客户信息电子化录入,并可随时建立跟进状态。(客户管理)项目立项:按照项目情况进行项目立项,立项后同项目不能再次立项,领导审批后更新到项目库中。(项目立项)投标管理:按照项目来源进行项目投标或直接代理,投标发起后可以进行投标使用证件及用印申请,后续反馈中标情况,资料完整归档。(投标管理)合同签订:按照项目情况进行合同签署的审批,审批后可进行资料的登记,进行项目执业。(合同审批)2、执业阶段按照项目类型进行项目资料的移交,接收单位按照项目要求进行执业,具体按照类型进行项目执业。执业完成后移交成果物。业务执业:按照移交情况,项目类型到达不同公司及部门进行业务执业,按照类型分为不同阶段,进行登记,审批最后进行成果物的输出。(资料接收)成果移交:执业完成后进行成果输出,市场移交后登记移交情况,移交后执业完成。(成果接收)3、售后阶段成果移交后,进行结算单的填报,以及财务开票环节,到款后进行资料归档,业绩上报,客户满意度调查,维保工单的执行。财务结算:按照移交情况,按照合同签订情况进行款项结算,开票后进行款项支付。(项目结算)满意度调查:客户按照服务情况进行满意度调查,为后续机构评分做出支撑。(满意度调查)4、数据分析报表按照项目执行情况进行报表信息展示,动态显示项目情况,为高层决策提供助手。(分析报表)价值总结此次项目,华春建设咨询集团借力泛微搭建了“数字管控平台”,建立了规范、科学的管理流程和业务流程,将以数字化助力企业生产经营,实现了:· 全过程管理:对项目全过程进行管理,记录业务,实现成果物记录;· 对比分析:将可用数据提取、对比、分析,为项目管理提供依据;· 自动化流转:加强自动化流转,规范业务环节,提高效率,减少沟通成本;· 整合资源,加强管控:整合资质、业绩,以信息流驱动业务审批的有效管控手段;· 管理结构化:项目管理结构化,流程管理组件化、审批自定义,提升系统通用性;· 业绩管理智能化:中标信息与项目信息自动采集、相互佐证、相互校核,提升分公司业绩管理。
  • [技术干货] 【IT运维】多台海外主机运维用什么工具好?
    最近在网上看到很多运维人员再问,多台海外主机运维用什么工具好?谁能介绍一下?咨询电话多少?多台海外主机运维用什么工具好?多台海外主机运维我给推荐行云管家。行云管家云计算管理平台,实现了对多家云厂商多种云计算资源的集中管理,从多云纳管、云资源全生命周期管理、运维安全合规审计(云堡垒机)、自动化运维、主机监控与告警、租户隔离式工单管理、成本分析等多个维度提供统一运维管控,对企业而言,只需一个控制台,即可整合操作多个公有云、多个私有云 、混合云以及各种异构资源,从而进行灵活的资源管理与运维。咨询电话4008825683!其主要功能如下:1、多云纳管,混合式管理支持业界主流的公有云厂商和OpenStack、VMware等私有云设施,同时物理服务器、虚拟机、网络设备、存储设备等,提供多种主机导入方式,以便用户在一个平台上同时管理多来源的、异构的IT资源;2、安全运维,合规审计提供各类运维功能,譬如主机登录审批、双因子认证、敏感指令审批、录像审计等,做到对云资源管理和运维的“事前授权、事中监控,事后审计”,保障云资源安全;3、自动化运维面对众多云资源,提供指令/脚本的批量执行、文件的批量分发与采集等特性,实现对云主机的批量运维操作;4、成本分析与优化支持多维度分析云资源的成本结构,并通过对应用负载进行数据挖掘分析,提供云资源的增减配优化建议,提效率、降成本。知识拓展:海外主机与国内主机的五大区别区别1、备案根据规定,使用国内空间需要向国家信息产业部提交网站相关信息,也就是说国内主机需要备案。一般备案审核时间是20个工作日左右,而且有时备案过程也比较繁琐;而国外主机是不需要备案的,而且审核也比较松。区别2、速度国内主机国内访问快,海外主机海外访问快。所以建议做外贸的客户,可以根据地域选择主机。这里必须说明两点,第一海外主机包含香港主机;第二香港主机跟国内主机访问速度相差无几,国内业务也是可以考虑的。区别3、价格由于国外空间在技术方面领先国内很多,所以国外空间的价格相对国内空间要低一些,性价比高。区别4、空间一般而言,国内主机与国外主机之间空间大小简直相差巨大。国外主机的空间几乎没有M型,从几十G到几百G不等,完全不用担心不够容量。但如果不在乎费用,可以购买内存的国内主机。区别5、售后售后方便,国内主机是更胜一筹的。如果购买海外主机,就要考虑沟通和时差的问题,国内用户使用起来会比较困难,从而国内主机在售后服务方面得到好评。国内主机支持中文客服,中间交流毫无障碍,提供7*24小时服务,第一时间解决用户在使用空间中遇到的问题。
  • [干货汇总] 华为云大数据轻模式体验:忘掉底层烦恼,专注数据开发
    本文分享自华为云社区《[华为云大数据轻模式体验:忘掉底层烦恼,专注数据开发](https://bbs.huaweicloud.com/blogs/336310?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=other&utm_content=content)》,作者: 技术火炬手。 现阶段我们国家从政府到企业都在进行数字化转型,数字化转型的核心是数据,对于有着开发实力和基础的大公司来讲,他们可以有着完备的数据处理体系和开发人员储备,可以高效地利用手中的资源对数据进行再加工,让数据成为企业的生产要素。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963881364553062.png) 我们知道,“二八定律”作为一个经济学原理揭示了任何一组事物最重要的构成只占其中的一小部分,其余的大部分多数构成的很小比例在经济学上被称为“长尾效应”。企业也是一样,处于中长尾的企业想要数字化转型,数据技术、人才、资金的高门槛往往让他们望而却步。他们亟需大数据行业的领导者,能做出企业的通用模式,节约数字化成本,降低用数门槛。不少企业虽然选择将业务上云作为数字化的一个方向,但对上云后产生的数据不管理、不加工、不分析,这让这些数据上云失去了意义。 华为云基于华为IT流程数据治理方法论推出华为云大数据轻量级解决方案,配合华为云资产可以轻资源、轻开发、轻部署、轻运维地快速构建数据治理体系,全Serverless方案对中长尾企业来讲使用灵活,企业无需关注底层技术栈、云资源性能,可按需使用降低运营成本。 华为云大数据相关服务提供数据全生命周期的一站式管理和开发,帮助中长尾企业大幅简化数据治理的流程,在这种轻模式的支持下,中长尾企业可以快速高效地应对大量数据的分析,降低用数门槛,加快企业数据变现,完成企业的数字化转型。 接下来,我们就通过具体的实例来对华为云数据湖治理中心DGC进行全方位的认识和了解,透过华为理念下形成的轻量级通用解决方案探讨中长尾企业如何应对数据治理上的难题。 # 华为云大数据轻量级解决方案介绍 针对中长尾企业的数据治理需求,华为云推出了大数据轻量级解决方案帮助企业进行高效的数据治理。我们都知道Serverless本质是将复杂留给自己,将便利提供给客户,加速用户的敏捷创新,这也是华为云大数据轻量级解决方案的核心思想。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963932861246481.png) 华为云这套轻量级的解决方案区别于企业自建自管自运营的模式,全Serverless方案对于企业来讲不需要额外考虑资源管理、部署、运维,云上模式让企业大大降低了用于硬件管理与扩容、跨AZ可靠调度、Bug修复、软件安全、AI引擎调优等问题,只需专注业务开发即可,业务的使用与运营更加灵活。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963942401680720.png) 华为云大数据轻量级解决方案作为一项通用的大数据治理解决方案为企业提供了丰富的拓展能力,支持对象存储、NoSQL、OLTP、OLAP等数据库类型,支持跨云数据治理、自建数据中心数据治理。企业不需要变更自己的底层数据技术栈就能实现大数据的治理和分析。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646963959423288030.png) 针对中长尾企业的数据治理场景,华为云DGC、DLI、CDM、RDS等服务提供轻量化、灵活的技术栈,通过将华为云服务串联,打造数据治理轻量化模式。涉及到以下核心服务: - CDM:高效、易用的数据迁移服务,支持批量和增量数据迁移,提供超过40种数据源到数据湖仓迁移能力; - DRS:基于事物日志(如MySQL、Oracle)的数据库复制进行增量同步; - DGC:数据标准和数据模型的规范设计,可进行在线开发和编排调度,数据质量稽核等一站式数据管理; - DLI:完全兼容Apache Spark、Apache Flink、Presto生态,提供批、流、交互式一体的Serverless融合处理分析,完全兼容SQL语法,开发难度低; - BI:通过华为云DLV数据可视化服务或专业BI软件实现2D或3D数据展示,通过拖拉拽式布局,帮助企业快速进行大屏数据可视化呈现。 对于企业来讲,华为云大数据轻量级解决方案通过一站式的大数据分析服务,实现了企业多端数据采集,并在统一框架下进行数据采集、分析、归纳。 通过全栈式技术能力,依托DLI数据湖探索服务以及配套的数据同步方案,可以满足企业海量数据分析的需求,完成快速数据分析,释放数据的价值。 由于DGC提供高度可视化的ETL任务开发、管理、调度的能力,同时DLI等数据服务支持通用SQL语法,这些对于企业来讲可以的大幅的降低开发过程中的门槛,实现简单易用、灵活高效的数据开发模式。另外通过专业的BI厂商,可以很好的满足企业对可视化BI工具的需求,数据生产到最后直观的可视化呈现,为运营分析降低门槛。 这DGC提供一站式的数据全生命周期的运营管理,配合华为云其他大数据产品, DGC作为华为云轻量级大数据解决方案的核心,它可对接多种数据湖引擎,帮助进行统一开发,并提供统一的数据资产管理。方便企业进行全链路数据治理管控。数据运营全场景可视,统一调度和运维带来全方位的安全保障。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964000525852292.png) 开发人员无需复杂配置就可以完成对数据的导入, DGC提供数据管理、数据集成、脚本开发、作业开发、作业调度、运维监控、全场景可视化等功能。方便企业不同部门的打破相互隔离,以此建设统一的数据平台,统一技术规范、数据标准和访问接口。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964009021672514.png) DGC提供丰富的大数据平台组件,方便多种数据和分析需求,降低数据治理的人工工作量,以此提升数据管理效率。DGC提供一套完整的数据治理方法论落地,通过这套方法论实现业务上下游数据的快速传递和共享,以此指导实际业务的运作。通过数据质量持续为企业提供预警,以此减少纠错成本,降低运营风险,提升服务质量。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964017500688591.png) 在分析处理上, DLI数据探索服务则成为华为云轻量级大数据治理方案的重要组成。这套方案中, 通过DLI等基础云服务实现数据探查、数据监控、数据标准化,形成有指导意义的集市层数据。DLI它支持结构化和无结构化的数据处理,并支持丰富的编程语言接口,同时成本也非常低。DLI完全兼容Apache Spark、Apache Flink、HetuEngine(基于Presto)。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964026584830367.png) DLI采用批流交互式一体架构,兼容标准 JDBC 协议,可以直接对接第三方 BI 软件,完成一站式大数据分析、用数的闭环场景。 由于DLI兼容标准的SQL语法且均基于Serverless进行分析计算服务,因此用户无需关心底层的计算架构,只需要通过连接服务即可进行数据分析,大大降低了开发的难度和门槛。DLI还支持免搬迁全域数据联合查询,过滤条件支持只能下压到数据源,减少传输数据量。由于DLI支持Kubernetes,因此DLI还支持资源按需分配,自动弹性伸缩。 接下来我们进入实例场景,通过对门店坪效的全流程设计来了解华为云大数据轻量级解决方案的各项服务能力,并快速的进行业务指标的模拟输出。 # 华为云大数据轻量级解决方案坪效实例场景体验 坪效作为零售行业的典型指标,是这次实例场景所要计算的一个指标,这样的数据分析模型是华为云大数据轻量化解决方案主要的运用场景,在进行坪效实例场景的演示操作前,我们首先了解下什么是坪效。坪效是衡量一个地区或门店某一时间段单位面积产出情况,即每坪经营面积可以产出多少营业额。 坪效计算公式如下: ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964045917359672.png) 坪效越高,店铺整体的经营效率也就越高,一般计算都以年为周期。华为云大数据轻量级解决方案的指导及下,我们以过去一年门店坪效指标和地区坪效指标作为目标,进行项目的设计和规划,其中涉及华为云大数据及其他云服务,包括VPS、OBS、RDS、CDM、DGC、DLI、DLV等。 零售业店铺在获取到坪效数据后,可以针对性的对门店业务、门店规模、人员结构进行调整。这一案例中涉及到DGC开发的数据集成、规范设计、数据开发、数据质量、数据资产、数据服务模块以及华为云大数据其他关联服务工具。 通过这些模块的体验,我们得以实现对华为云大数据轻量级解决方案的全面了解,对中长尾的大数据治理进行整体的设计、开发、分析、运营,在这种轻模式下,企业可以对数据进行敏捷开发。 # 轻资产:按需使用,无需担心底层技术栈及安全问题 在对于中长尾企业而言轻量化的资产管理体系可以省去大量云服务建设成本,华为云大数据轻量级解决方案绝大部分资源都建设在云上,对企业而言,可按需购买,购买即用,不需要额外关注底层的硬件性能和技术实现,并且不需要考虑相关工具软件的迭代和安全问题。 这里我们通过华为云CDM云数据迁移服务,集成RDS MySQL数据库模拟数据元门店系统及订单系统数据,利用华为云DLI数据湖探索服务的计算能力实现数据清理、指标计算和汇总,并最终使用华为云RDS MySQL作为集市层数据展现,最终通过DGC作业开发将上述操作串联,形成完整的流水线,并通过DGC数据服务能力将数据API接口输出,以此将数据输出到BI报表分析工具或通过华为云DLV数据可视化服务对数据进行直观的屏幕输出。上述CDM、RDS、OBS等服务均支持按需购买,大幅降低企业的资产购置压力。 其中OBS负责存储DGC的日志和脏数据;DLI作为贴源层的存储和计算技术栈,DLI由于存储量大且价格便宜,并采用分布式计算模型,因此进行大量数据运算的时候速度较、支持高并发;通过DLI生成主题库和专题库后,将这些数据仓库存储在RDS MySQL数据库中,这一服务可以进行专业的BI分析;DGC作为整个项目的数据运营技术栈,继承了数据集成、规范设计、数据开发、数据质量、数据资产、数据服务功能,也是华为云大数据轻量化解决方案的核心技术模块,作为数据湖运营平台,DGC提供了数据的全生命周期管理,在此案例中我们通过上述功能模块完成了一整条数据治理流水线的建设;在所以数据分析归纳后,再通过DLV数据可视化服务对指标进行结果展示。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964068571724381.png) 华为云大数据轻量级解决方案对于企业而言不需要变动其底层的数据源,这套方案在数据集成上已经有很好的支持,无论是华为云数据库、第三方云数据库还是企业自建数据中心,都支持数据迁移。这里我们通过RDS作为模拟数据源导入并最终汇总生成集市层数据,在进行配置前,我们首先要购买对应资源才能实现一整套的数据治理流程,具体需购买和提前创建的资源如下: - 创建VPC、子网、安全组 - 创建OBS桶,创建存储作业日志和脏数据目录 - 购买DGC实例,并配置默认工作空间 - 购买CDM集群,正式项目可考虑使用ROMA - 购买RDS实例 - 购买DLI队列实例 在购买完对应资源后,需对原始数据进行导入,即将数据SQL文件导入到RDS MySQL数据库中,这一操作只需进入RDS数据管理页面,上传脚本即可快速完成数据导入。数据源包含两张表,分别是门店表(t_user_store_info)和订单表(t_trade_order)。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964098747620982.png) RDS MySQL原始数据导入后,我们需要在DLI中建立相同的表结构进行贴源层数据导入。进入DLI库表管理新建一个DLI库,以此作为项目表存放DLI数据库。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964106946541782.png) 随后在DLI的SQL编辑器中将建表脚本导入建表,表结构和表名称最好与RDS MySQL中原表一致。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964127211516330.png) 数据导入后,在OBS服务中完成DGC日志数据和脏数据文件夹建立,以便后续DGC正常使用。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964138534998600.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964146819997698.png) 接下来就需要对数据进行入湖处理,这里采用DGC的数据集成模块,DGC批量数据迁移CDM提供同构或异构数据元之间批量数据迁移服务,可以帮助企业实现数据的自由流动,支持关系型数据库、数据仓库、NoSQL、大数据云服务、对象存储等数据源。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964162898332663.png) 这些数据源涵盖华为云DWS、华为云DLI、FusionInsight LibrA、Hadoop、OBS、阿里云OSS、FTP、SFTP、NAS、MySQL、HWSQL、PostgreSQL、SQL Server、DDM、Oracle、Db2、Redis、MongoDB、CSS、Apache Kafka等30多种数据源。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964174886402902.png) 这些数据源可以作为源也可以作为迁移目的,租户可以按需付费,控制和租户之间是完全分离的,数据始终是在原始位置,后续的作业、对数据的操作都是与原始数据隔离,通过CDM可以更加安全的保护原始数据。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964183148756163.png) 之前我们导入的RDS MySQL云数据库服务作为源数据,另外一个则是数据湖探索DLI的连接,通过CDM服务我们快速生成DLI内贴源数据导入。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964191868430525.png) 这里,CDM提供自动化的字段映射,对于不同数据源数据类型不同这样的情况,CDM支持数据类型一键转换。在CDM迁移之前,我们已经提前将对应的表在DLI中建好,分别是t_trade_order和t_user_store。这样CDM就可以进行快速匹配。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964200905586218.png) 通过CDM我们就快速实现了源数据导入贴源数据的数据迁移工作,由于原始数据可能存在不断生成的问题,这里CDM也提供周期作业以此对数据进行导入。接下里,我们再进行具体的业务场景设计和相关脚本的开发。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964209790734780.png) # 轻开发:开发高度可视化,SQL脚本通用简单 华为云大数据轻量级解决方案最重要的特点是全流程的高度可视化,没有复杂的代码编写过程,对开发人员的技术要求不高,可以从业务层面需求出发进行系统化的建模,再通过建模实现对应开发脚本的生成。整个过程非常的快速高效,由于华为云大数据解决方案中的DLI、DWS等服务均支持标准SQL语句,因此各类脚本编写上难度不大。在本例中首先需要对业务进行建模,在形成对应的业务指标对贴源数据进行清洗加工并输出有实际指导意义的参数。 华为云大数据轻量级解决方案将业务实体与实现细节紧密结合让需求方无需了解太多编程相关的细节,让开发方不必考虑业务实现的逻辑。通过这套解决方案的DGC规范设计模块就能初步实现各类业务的需求指标设计并对数据进行标准化,包含主题设计、数据标准设计、数据模型设计、数据指标设计,通过规范设计可以根据客户的业务需求,进行统一的数据分类、数据标准化、指标定义和数据模型体系建设。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964225345825381.png) 通过上述四个步骤,将业务数据化需求进行抽象化,就可以输出企业标准化数据中台设计。完成数据模型体系的建设,对于未来同行业的解决方案建设也有了参考价值。通过主题设计可以很快的完成信息架构的设计,针对不同类型的信息,还可以指定数据类型。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964234758819415.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964242449299192.png) 在主题设计完成后,就可进行数据建模。首先根据之前的主题设计进行建模,这里提供关系建模和维度建模两种建模方式,关系建模符合3NF,主要是去除数据冗余,使数据标准化,当存在多个数据描述同一个情况时,需要使用关系建模进行合并。维度建模则采用数据结构化的方法进行建模,针对需求和指标对数据源进行维度、事实建模,相比于关系建模,维度建模紧紧围绕业务指标,非常直观显示出业务模型中的业务问题。维度建模包括维度、维度表、事实表、汇总表。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964254210728287.png) 维度表多为业务指标的环境信息,比如时间、空间信息等,这里我们建模对门店和地区维度进行建模,这就是典型的空间信息。维度表是用户用来分析数据的窗口,一个维度表可以对一组数据进行分类,且分组后的数据可以用来分析。我们以门店维度表为例,门店包括门店编码、店铺类型、营业状态、门店名称属性。我们如果要计算坪效指标,可以进行门店坪效指标的计算、某一类型门店坪效指标的计算、营业中门店坪考指标计算等,通过这些指标可以定义一组数据。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964267446747767.png) 事实表内容主要分为三类,分别是维度表外键、事实属性和度量属性。比如门店事实表包含地区外键、门店编码外键、经营面积、开业时间等信息。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964274693943541.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964281509618299.png) 汇总表则可以对上述维度和事实进行归纳总结,得出相应的技术指标,我们以地区坪效指标的设计为例。可以看到对应属性和相关内容的汇总信息,地区坪效指标可以通过技术指标进行确定。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964323227239266.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964330630230621.png) DGC将指标分为业务指标和技术指标两类,业务指标模块主要是以文字的形式定义某一指标,并以此为参考指导技术指标实现,我们以坪效为例,坪效位于进销存管理中,根据坪效的定义,坪效就是门店销售额与门店面积的比例。通过这一文字定义,我们来到技术指标中,完成坪效这一指标的技术定义。我们也可以对员工的销售额与绩效关系进行统一的界定,对于需求调研层面的人员来讲,这些只需要文字描述就可以快速完成各种指标和属性的确定。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964359702256251.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964367179919224.png) 通过以上的需求建设和管理,需求方很快的就将自己的业务需求确定好,整个过程都是可视化的,接下里再进一步的对指标进行运算分析,最终形成有实际意义的指导数据,这里则通过技术指标完成对业务指标的具体实现,包含原子指标、衍生指标、复合指标。原子指标是最基础的算子,是纬度在模型中某一个属性或属性的简单运算,在坪效计算中,主要用于坪效计算的就是门店的经营面积以及实际门店产生的销售额。这两个指标构成了坪效计算的原子指标。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964379875691261.png) 衍生指标则是对原子指标添加了一个纬度,对原子指标进行限定,使得这些原子指标更具参考价值,在坪效指标计算中,我们可以按照时间原子指标进行限定,从而衍生出新的指标。比如过去一年的某一地区的销售额、过去一年某一门店的销售额、过去一年某地区的经营见面等,这些衍生指标还可以进一步运算,得到复合指标。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964389208365543.png) 复合指标则是多个衍生指标的聚合,用于输出最终的汇总数据,比如某地区过去一年的坪效或某门店过去一年的坪效。到这里坪效指标的规范设计就已经完成了,实体定义与技术指标紧密结合,并且符合标准化的设计规则。在各种技术指标的计算中,DGC还提供一键式的SQL脚本,方便后续流程自动化的开发,帮助开发人员进行快速高效的编程脚本实现。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964399096545804.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964405622919763.png) 在信息架构中,我们也可以通过DGC自动汇总的关系图了解到不同维度表、事实表、技术指标、汇总表的关系图谱,这里也方便运维人员快速定位问题,以此进行高效运维。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964418181329647.png) 如何高效的通过脚本和代码实现业务需求并实现一整条业务的流水开发,这对业务不熟悉的开发人员来讲往往是个非常大的难题,但华为云大数据轻量级解决方案提供了一整套高效的开发流程,在需求放完成相关业务定义和指标设定后,开发人员则可以对需求进一步实现,在低代码量的基础上完成业务需求,真正实现编程“轻模式”。这里通过DGC数据开发模块完成脚本开发、作业调度、运维监控等功能实现业务流水,它支持业务流自动化、BI报表生产线、云上仓库建设、日志分析挖掘等工具,实现从数据接入、数据存储、数据分析和计算到业务应用全流程的一站式IDE平台服务。通过数据开发模块,可以帮助用户对入湖后的数据进行快速的加工、清洗,各种聚合运算,数据转换等。在作业开发页面,DGC也为开发人员提供了完整的开发流程介绍。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964426759541540.png) DGC的脚本开发支持在线的主流数据库脚本开发调试,支持DWS脚本、DLI脚本、Hive脚本等;另外数据开发模块还提供了强大的ETL算子,通过ETL算子可以在数据清洗转换的时候省去开发人员大量的SQL脚本开发,直接通过图形化配置快速实现大量的清洗整合工作;DGC的数据开发模块还整合了主流的数据开发能力和所见即所得图形化ETL工具的能力,最终整合成拖拉拽式的批流结合全链路开发运维,数据管道在运行后可以实施进行监控,方便运维人员快速定位开发中所遇到的问题。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964437791601414.png) 数据开发模块下的脚本开发提供了DWS、DLI、Hive、Spark、Flink、RDS、Shell、Python等多种脚本开发,支持代码补全、语法高亮、错误提示、执行历史记录等功能,可以帮助开发者正确高效的编写。这里我们构建了多个脚本,完成贴源层和明细层数据的清洗,数据汇总,并最终导入到数据库中。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964445938198472.png) # 轻部署:可视化流水线构建,快速定位问题 华为云大数据轻量化解决方案在业务部署上支持拖拉拽式的流水线业务部署,整个过程开发人员不需要进行专门的环境搭建,只需关注业务是否能完成即可,部署后,开发人员也可对业务运行过程中出现的问题层层分离,快速定位。业务在执行上支持单次调度和周期调度,调度如出现问题还可以进行实时通知。整个过程没有复杂的报警提示,并可生成运维日报,方便运维人员对整体业务有所把控。 这里通过DGC的作业开发实现业务部署,它支持多种云服务任务混合编排,通过一系列节点构成一个有效的工作流。支持图形拖拉拽式的编辑作业页面,快速实现自动化流水部署,并验证作业是否存在问题。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964462294758509.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964469290613314.png) 数据开发中的作业监控功能提供短信、邮件等提醒方式,方便开发人员第一时间了解作业运行过程中可能出现的异常状况。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964481891301935.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964491727275308.png) # 轻运维:数据实时监控,封装服务开放 针对各类指标的监控,华为云大数据轻量级解决方案为提供专业的数据质量监控,方便运维人员对数据的动态进行实时的监控,并也可根据实际业务情况设定对应监控指标,帮助企业产出更有价值的数据服务体系。同时企业也可将数据形成的集市层数据封装成服务,对外输出到BI软件或其他应用中,实现数据的最大化利用。对于运维人员来讲,无论是数据质量监控,还是大数据资产管理,抑或是数据服务的开放,这些完全都是在高度可视化的模式下进行,无需复杂代码即可完成数据产品的输出和监控。 这里华为云大数据轻量级解决方案中的DGC数据质量模块可以将业务系统的指标和数据质量进行监控,可以根据业务指标校验规则对数据的完整性、有效性、及时性、一致性、准确性、唯一性这六个维度进行单列、跨列、跨行或者跨表分析,包括存在约束、非空约束、主键唯一性约束、实体唯一性约束、取值范围约束、长度约束、内容规范约束等。通过上述指标校验,我们可以对数据的质量进行评估,如果有些数据存在明显的质量问题,就可以向开发者发送邮件、短信进行告警。同时也可以对数据进行分析和统计,之后将数据推送到客户的相应部门。最终提升数据湖里整体数据的质量。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964511223702739.png) DGC数据质量模块提供业务指标监控和数据质量监控两种监控方式,我们可以根据之前设计的技术指标对指标进行业务指标监控,我们以之前的坪效指标为例,首先在指标管理中选择需要运算汇总的指标,并以此生成SQL脚本。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964521290917937.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964528490754237.png) 然后我们就可以设定具体规则对指标进行监控,比如当全国平均坪效低于20万,就出发年平均坪效较低通知。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964539885806458.png) 在随后的业务场景管理中,我们就可以启动这一指标的业务指标监控。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964548044381983.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964554133694527.png) 数据质量监控则可设定规则模版对数据质量进行校验,某人提供了多种数据校验模版方便运维人员快速对数据进行校验。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964572511907100.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964580693374859.png) 数据质量监控的质量作业则可设定质量监控的内容,并对关联质量作业进行启停操作。启动后质量作业监控就会生成质量报告,以此帮助运维人员对整体数据进行监控。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964590987190716.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964597631468406.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964604740186792.png) 为了解各类数据资产的详细情况,华为云大数据轻量化解决方案提供一站式的数据资产归纳,业务资产、技术资产和指标资产三大部分,业务资产包含业务对象、逻辑实体、业务属性三大部分,技术资产则包含数据库、数据表和数据量。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964615552433270.png) 这里通过配置数据元,可以创建数据链接,实现数据集中管理,并提供自定义策略采集任务,以此实现形成资产目录。帮助企业一站式,完成数据报表整理。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964625559635177.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964633140206943.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964642002976195.png) 在数据目录下,企业可以看到所有的业务资产、技术资产和指标资产,业务资产是逻辑实体,通过逻辑实体我们定义多样化的数据,以此指导形成技术资产和指标资产。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964655742784019.png) 针对不同的技术资产,企业可以看到所有的表结构,同时血缘分析功能方便回溯数据源或作业。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964665604927125.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964672931203376.png) 对数据清洗加工并分析生成的集市层数据后,这些数据就可以以服务的形式开放给第三方,华为云大数据轻量化解决方案可以从DWS、DLI、RDS等华为云数据库中获取数据,并通过鉴权等手段向第三方输出数据接口,无需复杂的代码编写,就可以通过Serverless的形式对数据产品进行开放,进而实现零编码的API生成能力,这种零编码的数据开放能力对于企业而言有着更加灵活的数据开放和管理能力,便于企业生成更加丰富的数据产品。 华为云大数据轻量化解决方案中的DGC数据服务支持在线调试、一键发布,通过Web页面编排,可以快速发布基于Serverless的API发布。支持多种数据源对外发布,这项功能基于Nginx和容器化技术,实现单容器50ms内耗时和200次/秒的API逻辑解析和转发速度,另外数据服务还基于WAF行为全方位检测,可准确的进行恶意请求识别,过滤攻击流量。自动化监控和流量预警也方便开发人员快速了解对外输出接口的情况。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964684634774978.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964691300201075.png) 开发人员可以对不同的API进行流量控制、使用时长、API名称等信息,方便监控API调用状态。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964705489127077.png) ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964711793590991.png) DGC数据服务还提供App调试,App调试需要调用SDK进行访问,数据服务提供基于Java、C#、Python、Go、JavaScript、PHP、C++、C、Android等多种主流语言的SDK包。一键下载,轻量化开发。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964721452308684.png) 通过实际的体验我们看到,华为云大数据轻量级解决方案的一系列服务,非常直观和高效的帮助企业实现数据清洗、数据加工、数据运算、数据分析等操作,企业重要的是关注业务本身,而不用关注实现的底层技术栈,不需要大量代码编写,也不需要技术人员吃透需求,需求方和开发人员都可以独立高效的完成业务定义和数据产品的开发。 在输出数据产品后,企业可以对这些数据进行可视化输出以便数据治理人员根据这些数据做出决策。 华为云大数据轻量化解决方案还支持多BI平台的可视化图形输出,帮助企业实现更好的数据展示,无论是第三方的BI工具还是华为云自家的DLV数据可视化服务都可以很好的调用接口实现数据的展示分析。 ![image.png](https://bbs-img.huaweicloud.com/data/forums/attachment/forum/20223/11/1646964728801339961.png) 通过这些数据接入,企业可以通过拖拉拽的方式快速构建专属的企业智慧数据大屏幕,形成丰富多样的数据图表,方便进行及时的分析决策。 # 总结 华为云提供的大数据轻量级解决方案,让企业实现了轻资产、轻开发、轻部署、轻运维的大数据治理模式,这样的“轻模式”让广大的中长尾企业也拥有了更加敏捷的大数据治理能力,完备的数据治理流程提供了一站式便利的数据治理体验,企业无需从头再来搭建平台、单独进行人员的开发和架构设计。基于Serverless的平台开发,让企业无需关注业务实现的技术栈,直观精简的开发过程,只需要掌握SQL代码即可快速完成开发。大幅节省了企业的平台建设成本和人才成本。 全流程可视化的界面设计,即便是对没有数据开发经验的非技术人员,也可以友好快速的进行数据规范设计、数据质量监控、数据指标定义等工作。 DGC、CDM、DLI、RDS等服务组成的一整套华为云大数据轻量级解决方案为企业的综合数据治理带来了强大的内生力,大大释放了大数据底层运维管理的压力,让企业能更好的利用数据专注服务质量提升、产品优化等。华为云大数据治理轻量级解决方案未来也将会很好的为中长尾企业赋能,帮助他们实现更高层次的数字化转型。
  • [技术干货] 如何快速简单的把电脑本地文件传到远端服务器?
    对于运维小伙伴而言,在家办公是经常有的事情。所以一定要学会快速简单的把电脑本地文件传到远端服务器,那具体怎么操作呢?用什么工具好?这里,我们小伙伴悄悄告诉您,这种情况就用行云管家。使用行云管家进行内网服务器运维,无需在内网服务器上安装任何远程软件,而你家里的电脑上也仅需使用浏览器即可。注意,无需安装任何插件,简单好使,具体操作流程如下:1、首先,我们在<行云管家>上注册一个账号,然后创建一个团队,并根据需求导入你所需要的局域网主机的资源,当然,行云管家更是支持公有云主机、私有云主机等云计算资源的管理。【在线注册】2、其次,安装Proxy并创建局域网。在行云管家中管理内网服务器时,首先要建立一个内网局域网与行云管家之间的数据通讯链路。在行云管家中,我们通过在内网局域网中部署一个Proxy来实现这个链路,这个Proxy负责内网服务器和行云管家之间的的通信代理。a、在“基础运维”-“主机管理”栏目中,点击“导入主机”-“导入局域网主机”菜单;b、“选择主机导入方式”里选择“通过Proxy接入局域网”;c、点击下一步,并给你的局域网设置一个名称,完成之后此时即可以开始安装Proxy了,这里以您公司内网里的某台Windows主机为例,把Proxy安装脚本复制到要安装Proxy的主机上。注意:要安装Proxy的主机必须要能上外网,并且该主机必须处于内网中,这样才能通过该主机去连接您公司里的内网服务器;d、这里以Win10为例,右键点击“命令提示符(CMD)”选择“以管理员身份运行”, 把刚复制的脚本粘贴上去进行安装即可;e、此时可以看到该局域网已接入完成,点击“导入主机”-“导入局域网主机”菜单,选择已有的网络,如图刚创建的“内网服务器运维”,点击确定;f、我们以“手工输入主机IP”为例,在“内网IP”这里填入内网服务器的IP地址,在“主机名称”里给内网服务器命名,“操作系统”请选择对应的操作系统,点击“添加”。此时可以在“主机”列表中看到已导入的内网服务器;g、导入内网服务器后,用户即可访问内网服务器,通过点击如图中的“接入方式”,输入“用户名”、“密码”并点击“打开会话”即可登录内网服务器,登录内网服务器后如图,即可对内网服务器进行运维操作。【温馨提示】:此外在行云管家管理控制台,还为运维工程师提供了Web桌面访问、C/S本地工具、公有云厂商管理终端3种远程访问工具,并支持新建各类自定义Shell/Python/PowerShell/CMD脚本,批量对主机执行脚本、命令操作,实现将文件批量分发至目标主机、批量从多台主机采集文件等。
  • [分享交流] 回帖领取华为云2.2G资料包 !运维+DevOps+容器 三大热门技术一包打尽!
    回帖领取华为云2.2G资料包运维+DEVOPS+容器三大热门技术一包打尽!扫码即可领取!
  • [技术干货] 简单说明一下数据库审计能带来的价值
    数据库是按照数据结构来组织、存储和管理数据的仓库;是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。简单来说,数据库就是一个存储数据的地方,所以保障数据库安全,做好数据库审计是非常必要的。今天我们就简单来了解了解数据库审计能带来的价值。简单说明一下数据库审计能带来的价值-行云管家数据库审计价值一:满足合规需求助力企业顺利通过等保合规审计,提供合规审计依据,可以根据需求形成不同的审计报表,例如:综合报表、合规性报表、专项报表、自定义报表等。数据库审计价值二:实施风险告警数据库审计系统还可以对于针对数据库的攻击和风险操作等进行实时告警,以便管理人员及时作出应对措施,从而避免数据被破坏或者窃取。例如智能解析SQL语句,判断操作风险,有效拦截高危操作,辅以操作告警及审批等等。数据库审计价值三:安全事件追溯与定责数据库审计的核心价值是在发生数据库安全事件后,为追责、定责提供依据,与此同时也可以对数据库的攻击和非法操作等行为起到震慑的作用。例如行云管家数据库审计系统就可以记录SQL语句执行日志,为运维回溯提供依据,通过详尽的运维报表分析并总结数据库运维行为。数据库审计价值四:保障数据安全通过数据清洗,在开放数据的同时保护敏感数据,使数据资源在受监管基础上健康、有序、安全地流动起来。知识拓展1、:数据库发展趋势-顺应市场需求,行业持续进化1、随着大数据时代的到来,数据规模和逻辑关系复杂度进一步提升,其中非结构化数据的激增使得非关系型数据库迅速发展;2、随着5G下的云计算、物联网等快速发展,对于数据分析的需求、响应速度、存储容量扩展、算力提升等均提出更高的要求, 使得分布式数据库得到快速发展;3、信息化水平快速提升下,企业业务规模快速扩张,数据库的运维和管理成为新的难题,数据库云部署模式与借助AI自治成为重要发展方向。知识拓展2:数据库审计是什么意思?数据库审计(简称DBAudit)以安全事件为中心,以全面审计和精确审计为基础,实时记录网络上的数据库活动,对数据库操作进行细粒度审计的合规性管理,对数据库遭受到的风险行为进行实时告警。数据库审计是数据库安全技术之一,数据库安全技术主要包括:数据库漏洞扫描、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。知识拓展3:数据库审计就用行云管家!行云管家数据库审计可以帮助企业监视并记录对数据库服务器的各类操作行为,通过对数据的分析,实时地、智能地解析对数据库服务器的各种操作,并记入审计数据库中以便日后进行查询、分析、过滤,实现对目标数据库系统的用户操作的监控和审计。现在即可免费试用,直到您满意!咨询电话4008825683!在线试用:https://www.cloudbility.com/databaseAudit.html
  • [行业资讯] 2022年数据库审计厂家就选行云管家!功能强大!
    随着大家的网络安全意识加大,企业对数据安全也是更加重视。2022年不少企业在问,做数据库审计选择哪家好?咨询电话多少?这里我们小编告诉您,2022年数据库审计厂家就选行云管家!2022年数据库审计厂家就选行云管家!功能强大!行云管家数据库审计可以帮助企业监视并记录对数据库服务器的各类操作行为,通过对数据的分析,实时地、智能地解析对数据库服务器的各种操作,并记入审计数据库中以便日后进行查询、分析、过滤,实现对目标数据库系统的用户操作的监控和审计。其核心功能如下:1、全面支持主流数据库、支持本地数据库与云厂商RDS支持Oracle、MySQL、SQLServer等主流数据库的审计和保护功能,同时适用于本地数据库与云厂商RDS。2、旁路部署,不影响核心业务运行对现有网络结构零影响,无需改动用户网络结构和配置,即可监控审计数据库操作行为。3、协议层支持,不受限于客户端工具访问协议层感知,适用于对数据库的所有访问请求,实现跨客户端的数据库访问审计。4、支持对SQL误操作,非法操作的拦截、告警、阻断与审批智能解析SQL语句,判断操作风险,有效拦截高危操作,辅以操作告警及审批,实现安全、灵活的数据库运维。5、支持数据清洗,避免泄露核心数据通过数据清洗,在开放数据的同时保护敏感数据,使数据资源在受监管基础上健康、有序、安全地流动起来。6、详尽的SQL语句执行日志、数据库运维报表记录SQL语句执行日志,为运维回溯提供依据,通过详尽的运维报表分析并总结数据库运维行为。7、对数据库账户进行统一的管理与授权数据库账户与运维策略从原有数据库方案中剥离,即通过“账户凭证”对数据库账户进行统一的管理与授权。名词解释:1、什么是数据库审计?数据库审计是对数据库访问行为进行监管的系统,一般采用旁路部署的方式,通过镜像或探针的方式采集所有数据库的访问流量,并基于SQL语法、语义的解析技术,记录下数据库的所有访问和操作行为。数据库审计系统主要价值有两点,一是在发生数据库安全事件(例如数据篡改、泄露)后为事件的追责定责提供依据;二是针对数据库操作的风险行为进行时时告警。2、数据库粒度是什么意思?粒度就是同一维度下,数据统计的粗细程度,计算机领域中粒度指系统内存扩展增量的最小值。数据库粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。
总条数:502 到第
上滑加载中