2021年6月18日，华为云TechWave全球技术峰会（人工智能&数据）在上海举行，以“创新普惠”为主题，分享技术创新与行业实践。华为云大力投入数据、人工智能领域，发布数据和AI系列新品，加速千行百业智能升级。华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳发表主题演讲       华为Cloud BU副总裁、全球Marketing与销售服务总裁石冀琳出席并发表了《创新普惠，加速千行百业智能升级》的主题演讲。石冀琳表示：“企业实现全面云化、全栈智能的三大关键是：首先是全面拥抱云原生，加速云上创新，打造企业数字化转型、智能升级的底座；其次是围绕数据全生命周期技术创新，激发数据潜能，让数据成为新的生产要素；最后是释放AI生产力，使能全业务、全流程创新，打造企业智能升级的核心能力。”华为云架构与技术规划部部长朱海培发表主题演讲       华为云架构与技术规划部部长朱海培出席并发表了《云原生2.0，让云无处不在，让智能无所不及》的主题演讲。朱海培表示：“华为云FusionInsight智能数据湖解决方案提供湖仓一体的统一数据平台，包含MRS云原生数据湖、DWS数据仓库、DGC数据湖治理中心、DLI数据湖探索、ModelArts推理平台、TICS可信智能计算等云服务。通过底层统一数据存储，实现全局一份数据，通过对象存储物理数据，全局一份数据无需搬迁数据；分析计算，多引擎弹性计算，一个平台多引擎支持批处理、流处理、交互式查询等；统一元数据管理，全局一个视图，实现全局统一元数据管理，像管理代码一样管理数据。       在峰会上由太平洋保险客户发表《数字化提升保险风险治理能力》主题演讲，云计算、大数据等技术支撑风险生态建设，推动保险业务产品的转型和重塑，全面实现数字化和数智化的运营模式。太平洋保险在大数据平台的创新实践       中国太平洋财产保险基于华为云FusionInsight大数据平台，整合客户信息、运营服务资源和气象数据，搭建起气象灾害的风控信息化平台，并逐步深化大数据应用，延伸到其他风险领域打造了风险管理的数字化产品“风险雷达”，不断提升非车险业务风险评估、灾害预防和客户全生命周期风险管理、风险大数据等风险管理能力；在个客风控平台方面，打通承保理赔数据，形成客户的风控画像，结合经营风险，及时的进行干预，避免经营风险的发生。华为云FusionInsight MRS解决方案架构师发表主题演讲       华为云FusionInsight MRS解决方案架构师在数据使能分论坛上发表《MRS云原生数据湖，推动大数据分析从离线走向实时》的主题演讲。当前，大数据云化部署是主流趋势，政企客户需要充分利用云技术使得大数据所需资源弹性、灵活的使用。MRS云原生数据湖可让客户在一个架构实现离线数据湖、实时数据湖、逻辑数据湖三种数据湖，用于离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入治理、图计算等海量数据分析场景，助力政企客户实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！离线数据湖使客户在一个平台下实现AI、BI、交互式查询等多场景分析；实时数据湖使大数据分析从离线走向实时，通过Hudi实现数据增量更新，从传统Append 到 Upsert，数据实时更新，数据价值释放从T+1转变为T+0；通过Clickhouse毫秒级的OLAP分析能力，实现数据分析不出湖，解决了传统数据来回搬迁、数据冗余的问题；逻辑数据湖通过HetuEngine实现跨湖、跨仓、跨云协同分析，突破地理限制，打破数据“墙”；       同时，MRS云原生数据湖还提供IoTDB时序数据库、DGC数据湖治理中心等能力。IoTDB实现一份数据兼容全场景，一套引擎打通云边端、一套框架集成云边端；DGC实现数据统一入湖、统一数据服务，让开发者轻松驾驭数据集成、规范、开发、质量、资产、安全、开放服务全流程。       在2020年IDC MarketScape评估中，FusionInsight处于市场份额和技术实力双领先，在2021年Frost&Sullivan评估中，FusionInsight在创新、成长及基础能力全面领先国内大数据厂商。华为云FusionInsight持续投入10年+，坚持与世界同行，在开源社区先后开放CarbonData和openLooKeng等组件，携手800+合作伙伴，服务于全球60+国家和地区3000+政企客户，已广泛应用于政府、金融、运营商、大企业等行业。更多精彩文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 

吉佳通达作为专业的定制软件开发商，一直秉承为政府和企业信息化建设提供先进技术、成熟产品和优质服务为目标。凭借多年来为行业客户提供定制、开发、维护服务的经验，建立了一套完整的软件定制开发服务规范及流程。吉佳通达软件定制化开发遵循的项目开发管理流程：根据用户的要求进行需求调研、进行软件设计，提供新建系统的方案设想，并进行可行性分析；在开发过程严格遵循开发管理规范：在程序编码前进行系统的概要设计和详细设计；在程序编制结束后进行软件测试、项目交付、对用户有关人员进行操作培训，并提供软件正常运行后常规维护。公司根据定制软件开发项目特点，建立了符合CMMI2.0三级的标准化软件开发规范，使项目开发过程更加具有稳定性和可控性；通过建立项目管理流程，形成一个有机的整体，实现软件开发时间、成本和功能可跟踪和可控制，保证产品的质量。成熟的软件开发框架软件开发框架就如同是软件开发系统的地基, 属于软件开发系统核心因素，对于一个系统所存在的基本功能、宏观特性、主体结构起到决定性的作用。当定制项目实施的时候，如果没有一个完整架构，会导致接口不统一、业务逻辑接口多样、代码混乱，整体开发效率也会相应降低，后期维护相对繁琐。吉佳通达软件定制开发采用基于VUE的先进的、成熟的软件开发框架。基于此框架创建可维护性和可测试性更强的代码库，为客户带来更加丰富的交互体验；为企业和客户降低成本，提高项目质量；改善客户满意程度、控制开发进度等。同时采用基于VUE的开发框架可将相关技术以代码、文档、模型等方式固化下来，便于项目二次开发及升级。专业的技术团队公司核心团队由具备10年以上资深高级系统分析师、高级软件架构师、软件设计师等人员组成，根据业务的需求合理调配人员,保障开发效率最大化,提高客户满意度。技术开发团队包括：前端开发、后台开发、算法分析与建模，JAVA开发组、C++开发组、Python开发组、移动开发组、VUE框架、测试组和系统集成组，团队人员分工明确；设计、产品和运营构成后端支撑，对接客户的需要,进行前期的业务沟通、项目跟进、后期的运营指导和维护。14年行业定制开发典型案例 吉佳通达凭借完善、成熟的管理和开发流程，确保为客户提供高质量的服务和专业定制化产品；遵循严格的安全标准，实施严密的安全措施，以保护客户的信息安全；公司的综合实力是帮助客户建立成熟可靠、切实可用的定制应用的基础、是提供最专业定制开发服务的坚实保障。

11月30日，华为云发布云原生产业白皮书、云原生2.0全景图和行动计划，华为云CTO张宇昕表示：“新云原生企业既需要让新生能力生于云、长于云，把AI、大数据、边缘计算、视频等新生能力用于企业，同时也需要继承和发展既有能力，并与新生能力立而不破、有机协同。云原生2.0，让每一个企业都能成为新云原生企业。”华为云产品副总裁方国伟介绍了华为云云原生2.0全景图，为赋能新云原生企业智能升级，实现“资源高效、应用敏捷、业务智能、安全可信”，华为云原生基础设施全面升级，让云原生成为企业应用内生的能力。在业务智能方面，华为云通过FusionInsight云原生智能数据湖构建数据使能的坚实技术底座，助力企业把数据资源加工为数据资产，结合AI能力加速企业智能升级。随着大数据、5G、AI、物联网的飞速发展，数据的规模及种类急速激增，使得产业不断的变革，给业务带来机遇的同时，也在技术上提出了更高的要求，如数据的采集、存储、交互式查询、批流处理、融合分析等。而传统大数据平台在应对这些变化时，将面临如下问题：l  传统大数据通过虚机进行部署，但虚机的性能存在一定比例的损耗，当物理机资源的使用率越高，虚机的性能损耗则越大，性能损耗最高超过30%；l  传统存算一体解决方案在进行数据备份时，均采用1:3副本，使得存储资源的利用率仅为33%，造成存储成本居高不下；l  传统大数据平台虽有Hive MetaStore进行元数据的管理，但其缺乏统一的数据视图，数据在湖内分布散，管理复杂，流动性差，造成找数难的问题；l  传统大数据平台采用T+1批量入湖的方式，在进行数据分析时需频繁搬迁数据，且分析链路长，均以事后报表为主，造成数据分析慢的问题；l  传统大数据平台中各业务系统自建，数据分布散，易形成数据孤岛；伴随业务的增长，数据类型激增，存在组件多，数据格式不统一等问题，当进行协同分析计算时，数据需频繁搬迁，产生大量数据冗余，且各计算引擎开发语言不同，进行二次开发的技术门槛高。针对以上问题，华为云FusionInsight云原生智能数据湖为政企客户提供湖仓一体、云原生的大数据解决方案，主要包含MRS大数据、DWS数据仓库、CSS云搜索、GES图引擎、DLI数据湖探索等云服务，一站式解决分析域数据问题，让企业新生云原生能力生于云、长于云，并能和既有能力有机协同、立而不破，释放海量数据价值，助力政企客户实现一企一湖、一城一湖！具体来看，华为云FusionInsight智能数据湖具备五大云原生能力：l  针对虚机部署的问题，华为云FusionInsight采用裸金属部署方式，实现资源弹性，做到分钟级的裸金属服务器发放。同时，华为云FusionInsight具备独家的SDI技术，拥有超低时延；基于擎天加速卡，可做到100%释放完整算力，实现性能零损耗，高性能表现持续在线；l  针对传统存算一体化方案，华为云FusionInsight提供OBS云存储的存算分离方案，计算与存储资源按需灵活扩容，避免资源浪费，采用企业级EC替换3副本的备份机制，最低1.2副本，存储利用率从33%提升至80%+，使得整体TCO降低20%+，让每比特数据价值更优；l  通过DLC（Data Lake Catalog）统一全局数据视图，让元数据全局可见，同时，DLC还兼容Hive MetaStore但性能超越其3~5倍，在保持高性能的前提下，实现数据的全局可视可用；l  通过实时数仓，可T+0实时增量更新同步，批流合一分析；实现贴源数据实时多维分析，缩短分析链路，提高分析效率，实现PB级数据毫秒级响应；l  通过HetuEngine实现跨源跨域分析，打破MRS与DWS间的数据墙，协同计算，消除数据孤岛，免数据搬迁，让协同分析由数天降至数分钟；同时，HetuEngine支持多引擎融合，传统大数据在进行多引擎组件开发时，需涉及到不同组件的开发语言， HetuEngine统一SQL接口访问大数据，降低用数门槛，让华为云FusionInsight的云服务（MRS、DWS、GES、CSS、AI）使用更高效，让大数据越用越简单。基于存算分离架构构建的华为云FusionInsight云原生智能数据湖除了上述五大云原生能力外，还支持与AI的对接，基于统一的元数据，数据全局可视，大数据的工程师、科学家等角色可通过SQL的脚本，把数据通过AI的算法获取自己想要的结果，感受极致的智能体验。目前，华为云FusionInsight云原生智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业，携手800+合作伙伴，服务于全球60+国家和地区3000+政企客户。更多内容，华为云FusionInsight系列文章：https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 

 Ranger的几个特性• 基于策略(Policy-based)的访问权限模型• 通用的策略同步与决策逻辑，方便控制插件的扩展接入• 内置常见系统(如HDFS、YARN、HBase等12个)的控制插件，且可扩展• 内置基于LDAP、File、Unix的用户同步机制，且可扩展权限模型权限模型访问权限定义了”用户-资源-权限“这三者间的关系，Ranger基于策略来抽象这种关系，进而延伸出自己的权限模型。”用户-资源-权限”的含义详解：• 用户：由User或Group来表达，User代表访问资源的用户，Group代表用户所属的用户组。• 资源：由Resource来表达，不同的组件对应的业务资源是不一样的，比如HDFS的File Path，HBase的Table。• 权限：由(AllowACL, DenyACL)来表达，类似白名单和黑名单机制，AllowACL用来描述允许访问的情况，DenyACL用来描述拒绝访问的情况。不同的组件对应的权限也是不一样的。Ranger中的访问权限模型可以用下面的表达式来描述，从而抽象出了”用户-资源-权限“这三者间的关系：Service = List<‘Policy’>Policy = List<‘Resource’> + AllowACL + DenyACLAllowACL = List<‘AccessItem’> allow + List<‘AccssItem’> allowExceptionDenyACL = List<‘AccessItem’> deny + List<‘AccssItem’> denyExceptionAccessItem = List<‘User/Group’> + List<‘AccessType’>说明：Resource 这里指组件的实际资源，比如hdfs的path，hive的database、table、column等AccessType 这里指访问权限的类型，比如read，write，excute等操作AccessItem 这里是访问项，包含用户和访问权限两部分优先级别denyException > deny > allowException > allow下表列出了Ranger支持的部分系统的模型实体枚举值(即访问权限类型):ServiceResourceAccess TypeHDFSPathRead,Write,ExecuteHBaseTable,Column-family,ColumnRead,Write,Create,AdminHiveDatabase,Table,UDF,Column,URLSelect,Update,Create,Drop,Alter,Index,Lock,Write,Read,ALL系统插件（AgentPlugin）系统插件主要负责三件事：• 定期从RangerAdmin拉取策略• 根据策略执行访问决策树• 实时记录访问审计下表列出了Ranger插件对部分支持的系统的扩展接口：ServiceExtensible InterfaceRanger Implement ClassHDFSorg.apache.hadoop.hdfs.server.namenode.INodeAttributeProviderorg.apache.ranger.authorization.hadoop.RangerHdfsAuthorizerHBaseorg.apache.hadoop.hbase.protobuf.generated.AccessControlProtos.AccessControlService.Interfaceorg.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessorHiveorg.apache.hadoop.hive.ql.security.authorization.plugin.HiveAuthorizerFactoryorg.apache.ranger.authorization.hive.authorizer.RangerHiveAuthorizerFactory

什么是元数据？元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是关于数据的数据。元数据包括元数据实体和元数据元素。元数据元素是元数据的基本单元，若干个相关的元数据元素构成了元数据实体。元数据的分类：1) 业务元数据：包括了主题域分组、主题域、业务对象、逻辑实体、属性及数据标准的业务名称和业务定义、属性的数据类型和其他特性，范围描述和业务规则，以及有效值域及其定义。企业所拥有的业务元数据即为企业的业务资产。2) 技术元数据：为开发人员或技术用户提供系统信息，包括物理表名和字段名，字段属性，其他数据库对象的属性和数据存储特性。企业所拥有的技术元数据即为企业的技术资产。3) 操作元数据：主要用于满足IT运维用户的需求，它包括了数据迁移信息、数据源和目标系统信息、批处理程序、任务频率、调度异常处理、备份与恢复信息、归档规则和使用等信息。 DAYU中的数据资产管理通过DAYU数据资产模块，用户可以查看数据地图，还可以对数据资产进行数据权限管理和数据安全管理。数据地图包含业务资产和技术资产：业务资产包含指逻辑实体和业务对象；技术资产包含数据连接、数据库对象等。在数据资产-任务管理中，配置元数据采集任务，可以将迁移到云上的原始数据层的技术元数据采集到技术资产之中。 通过规范设计-关系建模管理数据资产：进入配置中心，根据用户业务需求，确认模型设计业务流程步骤中“同步技术资产”、“同步业务资产”以及“资产关联”的选项是否勾选：进入主题设计模块，用户可以构建统一的数据分类体系，用于目录化管理所有业务数据，便于数据的归类，查找，评价，使用。通过分层架构对数据的分类和定义，可帮助用户厘清数据资产，明确业务领域和业务对象的关联关系。主题域分组：基于业务场景对主题域进行分组；主题域：互不重叠数据的高层面的数据分类，用于管理其下一级的业务对象；业务对象：指企业运作和管理中不可缺少的重要人、事、物信息。进入关系建模模块，如果当前未创建过关系模型，系统会弹出提示框，单击“确认”创建一个关系模型。对于之前步骤中，已经在DAYU数据资产中完成采集的技术元数据，可以通过逆向数据库功能，将技术元数据逆向至关系建模中进行管理：业务元数据可以通过“更多”中的“导入”功能，使用Excel模板批量导入：除此之外，在关系建模中也可以通过新建业务表来新建业务元数据：以上步骤所创建的表在完成设计与编辑后，将需要提交审核人审核。审核发布之后，会根据配置，将在规范设计中模型的业务元数据同步至数据资产。若模型为物理模型，则可以通过数据源信息，在数据资产模块中将业务元数据与技术元数据互相关联：以上便是简单的基于关系建模的数据资产管理流程，具体的模型设计步骤，请参考https://support.huaweicloud.com/qs-dayu/dayu_04_0004.html。

智能数据网关 CESC/SDG联接生态伙伴，构建智慧水务监测体系【产品简介】智能数据网关兼容目前主流的有线数据接入方式，通过PLC 的串口或485口、以太网口等进行通信，实现PLC的远程查询、控制 、变量告警等功能，同时具有软、硬件开门狗，能使设备长期稳定运行。通过智能数据网关，适配各种生态伙伴成熟的前端监测产品，构建完整的水务物联感知一张网体系。【详细参数】（1）支持 PLC 的以太网口的通信，还支持通过 PLC 的串口或485口进行通信；（2）支持远程查询、控制 PLC，变量告警功能，实现设备的远程管理和协作；（3）兼容了目前所有主流有线数据接入方式，提供1路RJ45网络接口，1路标准RS232和1路标准RS485接口（可选择性扩展为2路RS232或2路RS485接口），及1路的模拟量、2路开关量接口，1路常开常闭输出接口；（4）采用了可插拔式模块化设计，可针对使用要求及环境任意更换通信模组而不影响设备正常使用，配置NB-IoT通讯模块；（5）设备具有远程监控功能，能监控设备通讯状态、设备电源状态等。（6）具有数据本地存储功能，容量达128M bit，支持数据断网续传功能。（7）支持数据中心动态域名和IP地址访问。（8）支持自动心跳，保持设备永久在线。（9）支持参数本地及远程配置，修改后的参数将永久保存。（10）设备具有软、硬件开门狗，能使设备长期稳定运行。【产品截图】【应用场景】应用于智慧水务行业中其他生态伙伴的前端感知设备如：水质、流量、雨量等的数据集成接入后台管理。【产品亮点】（1）采用物联网设备操作系统—LiteOS、国际物联网最新通讯技术--NB-IoT、eLTE-IoT窄带物联网通讯技术；（2）可插拔式模块化设计，可针对使用要求及环境任意更换通信模组而不影响设备正常使用，配置NB-IoT通讯模块，兼容了目前所有主流有线数据接入方式。【能力调用】LiteOS操作系统，NB-IOT/eLTE-IoT通讯，华为OceanConnect IoT平台。【使用指南】使用步骤：（1）将前端设备暗盒内部的电线接入本产品，并固定（2）打开cesc-mwl配置软件（3）填写好串口参数，点击连接进入配置界面（4）修改相应参数，如NB-IoT平台IP等（5）重启设备，设备将会自动连接NB-IoT平台欲知更多智慧水务解决方案可点击：http://www.cescit.com/