• [问题求助] DGC产品连接DLI,MRS,DWS这几种情况分别适用于什么业务场景?
    请问,以下这几种组合分别应用于什么业务场景,只用DGC+DLI 难道不能解决所有业务场景的问题吗。1. DGC + DLI2. DGC + MRS(Hive)3. DGC + DWS
  • [问题求助] 【DGC产品】【规范设计】规范设计是否支持MySQL
    【功能模块】规范设计是否支持MySQL?从支持的数据源看: DGC支持的数据源_数据湖治理中心 DGC_用户指南_管理中心_华为云 (huaweicloud.com) DGC的规范设计不支持MySQL。如果使用MySQL数据库,没有规范设计,如何完成后续的数据资产,数据质量,数据服务等治理功能?【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [技术专区] 灰度wap发帖测试
    灰度wap发帖测试 452575
  • [技术专区] wap灰度发帖验证
    wap灰度发帖验证
  • [公告] 华为云数据湖探索服务DLI Flink 边缘作业于2020年12月22日00:00(北京时间)计费通知
    尊敬的华为云客户:华为云计划于2020/12/22 00:00(北京时间)对数据湖探索服务DLI的Flink边缘作业(Flink Edge SQL)正式开始收费,中国站计费标准为20000元/年/节点,目前仅支持按1年购买,计费周期从购买成功的时间点开始计算。华为云在此提醒您,若您在2020/12/22 00:00(北京时间)后仍需继续使用DLI Flink边缘作业任务,请及时购买边缘鉴权码,否则将无法正常使用该任务。更多关于Flink边缘作业的介绍,请您点击了解。如您有任何问题,可随时通过工单或者服务热线(4000-955-988或950808)与我们联系。感谢您对华为云的支持!
  • [行业动态] 云原生2.0,华为云FusionInsight智能数据湖构建坚实数据底座
    11月30日,华为云发布云原生产业白皮书、云原生2.0全景图和行动计划,华为云CTO张宇昕表示:“新云原生企业既需要让新生能力生于云、长于云,把AI、大数据、边缘计算、视频等新生能力用于企业,同时也需要继承和发展既有能力,并与新生能力立而不破、有机协同。云原生2.0,让每一个企业都能成为新云原生企业。”华为云产品副总裁方国伟介绍了华为云云原生2.0全景图,为赋能新云原生企业智能升级,实现“资源高效、应用敏捷、业务智能、安全可信”,华为云原生基础设施全面升级,让云原生成为企业应用内生的能力。在业务智能方面,华为云通过FusionInsight云原生智能数据湖构建数据使能的坚实技术底座,助力企业把数据资源加工为数据资产,结合AI能力加速企业智能升级。随着大数据、5G、AI、物联网的飞速发展,数据的规模及种类急速激增,使得产业不断的变革,给业务带来机遇的同时,也在技术上提出了更高的要求,如数据的采集、存储、交互式查询、批流处理、融合分析等。而传统大数据平台在应对这些变化时,将面临如下问题:l  传统大数据通过虚机进行部署,但虚机的性能存在一定比例的损耗,当物理机资源的使用率越高,虚机的性能损耗则越大,性能损耗最高超过30%;l  传统存算一体解决方案在进行数据备份时,均采用1:3副本,使得存储资源的利用率仅为33%,造成存储成本居高不下;l  传统大数据平台虽有Hive MetaStore进行元数据的管理,但其缺乏统一的数据视图,数据在湖内分布散,管理复杂,流动性差,造成找数难的问题;l  传统大数据平台采用T+1批量入湖的方式,在进行数据分析时需频繁搬迁数据,且分析链路长,均以事后报表为主,造成数据分析慢的问题;l  传统大数据平台中各业务系统自建,数据分布散,易形成数据孤岛;伴随业务的增长,数据类型激增,存在组件多,数据格式不统一等问题,当进行协同分析计算时,数据需频繁搬迁,产生大量数据冗余,且各计算引擎开发语言不同,进行二次开发的技术门槛高。针对以上问题,华为云FusionInsight云原生智能数据湖为政企客户提供湖仓一体、云原生的大数据解决方案,主要包含MRS大数据、DWS数据仓库、CSS云搜索、GES图引擎、DLI数据湖探索等云服务,一站式解决分析域数据问题,让企业新生云原生能力生于云、长于云,并能和既有能力有机协同、立而不破,释放海量数据价值,助力政企客户实现一企一湖、一城一湖!具体来看,华为云FusionInsight智能数据湖具备五大云原生能力:l  针对虚机部署的问题,华为云FusionInsight采用裸金属部署方式,实现资源弹性,做到分钟级的裸金属服务器发放。同时,华为云FusionInsight具备独家的SDI技术,拥有超低时延;基于擎天加速卡,可做到100%释放完整算力,实现性能零损耗,高性能表现持续在线;l  针对传统存算一体化方案,华为云FusionInsight提供OBS云存储的存算分离方案,计算与存储资源按需灵活扩容,避免资源浪费,采用企业级EC替换3副本的备份机制,最低1.2副本,存储利用率从33%提升至80%+,使得整体TCO降低20%+,让每比特数据价值更优;l  通过DLC(Data Lake Catalog)统一全局数据视图,让元数据全局可见,同时,DLC还兼容Hive MetaStore但性能超越其3~5倍,在保持高性能的前提下,实现数据的全局可视可用;l  通过实时数仓,可T+0实时增量更新同步,批流合一分析;实现贴源数据实时多维分析,缩短分析链路,提高分析效率,实现PB级数据毫秒级响应;l  通过HetuEngine实现跨源跨域分析,打破MRS与DWS间的数据墙,协同计算,消除数据孤岛,免数据搬迁,让协同分析由数天降至数分钟;同时,HetuEngine支持多引擎融合,传统大数据在进行多引擎组件开发时,需涉及到不同组件的开发语言, HetuEngine统一SQL接口访问大数据,降低用数门槛,让华为云FusionInsight的云服务(MRS、DWS、GES、CSS、AI)使用更高效,让大数据越用越简单。基于存算分离架构构建的华为云FusionInsight云原生智能数据湖除了上述五大云原生能力外,还支持与AI的对接,基于统一的元数据,数据全局可视,大数据的工程师、科学家等角色可通过SQL的脚本,把数据通过AI的算法获取自己想要的结果,感受极致的智能体验。目前,华为云FusionInsight云原生智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业,携手800+合作伙伴,服务于全球60+国家和地区3000+政企客户。更多内容,华为云FusionInsight系列文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 
  • [技术干货] Ranger总体架构
     Ranger的几个特性• 基于策略(Policy-based)的访问权限模型• 通用的策略同步与决策逻辑,方便控制插件的扩展接入• 内置常见系统(如HDFS、YARN、HBase等12个)的控制插件,且可扩展• 内置基于LDAP、File、Unix的用户同步机制,且可扩展权限模型权限模型访问权限定义了”用户-资源-权限“这三者间的关系,Ranger基于策略来抽象这种关系,进而延伸出自己的权限模型。”用户-资源-权限”的含义详解:• 用户:由User或Group来表达,User代表访问资源的用户,Group代表用户所属的用户组。• 资源:由Resource来表达,不同的组件对应的业务资源是不一样的,比如HDFS的File Path,HBase的Table。• 权限:由(AllowACL, DenyACL)来表达,类似白名单和黑名单机制,AllowACL用来描述允许访问的情况,DenyACL用来描述拒绝访问的情况。不同的组件对应的权限也是不一样的。Ranger中的访问权限模型可以用下面的表达式来描述,从而抽象出了”用户-资源-权限“这三者间的关系:Service = List<‘Policy’>Policy = List<‘Resource’> + AllowACL + DenyACLAllowACL = List<‘AccessItem’> allow + List<‘AccssItem’> allowExceptionDenyACL = List<‘AccessItem’> deny + List<‘AccssItem’> denyExceptionAccessItem = List<‘User/Group’> + List<‘AccessType’>说明:Resource 这里指组件的实际资源,比如hdfs的path,hive的database、table、column等AccessType 这里指访问权限的类型,比如read,write,excute等操作AccessItem 这里是访问项,包含用户和访问权限两部分优先级别denyException > deny > allowException > allow下表列出了Ranger支持的部分系统的模型实体枚举值(即访问权限类型):ServiceResourceAccess TypeHDFSPathRead,Write,ExecuteHBaseTable,Column-family,ColumnRead,Write,Create,AdminHiveDatabase,Table,UDF,Column,URLSelect,Update,Create,Drop,Alter,Index,Lock,Write,Read,ALL系统插件(AgentPlugin)系统插件主要负责三件事:• 定期从RangerAdmin拉取策略• 根据策略执行访问决策树• 实时记录访问审计下表列出了Ranger插件对部分支持的系统的扩展接口:ServiceExtensible InterfaceRanger Implement ClassHDFSorg.apache.hadoop.hdfs.server.namenode.INodeAttributeProviderorg.apache.ranger.authorization.hadoop.RangerHdfsAuthorizerHBaseorg.apache.hadoop.hbase.protobuf.generated.AccessControlProtos.AccessControlService.Interfaceorg.apache.ranger.authorization.hbase.RangerAuthorizationCoprocessorHiveorg.apache.hadoop.hive.ql.security.authorization.plugin.HiveAuthorizerFactoryorg.apache.ranger.authorization.hive.authorizer.RangerHiveAuthorizerFactory
  • [技术干货] 基于关系建模的数据资产管理
    什么是元数据?元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是关于数据的数据。元数据包括元数据实体和元数据元素。元数据元素是元数据的基本单元,若干个相关的元数据元素构成了元数据实体。元数据的分类:1) 业务元数据:包括了主题域分组、主题域、业务对象、逻辑实体、属性及数据标准的业务名称和业务定义、属性的数据类型和其他特性,范围描述和业务规则,以及有效值域及其定义。企业所拥有的业务元数据即为企业的业务资产。2) 技术元数据:为开发人员或技术用户提供系统信息,包括物理表名和字段名,字段属性,其他数据库对象的属性和数据存储特性。企业所拥有的技术元数据即为企业的技术资产。3) 操作元数据:主要用于满足IT运维用户的需求,它包括了数据迁移信息、数据源和目标系统信息、批处理程序、任务频率、调度异常处理、备份与恢复信息、归档规则和使用等信息。 DAYU中的数据资产管理通过DAYU数据资产模块,用户可以查看数据地图,还可以对数据资产进行数据权限管理和数据安全管理。数据地图包含业务资产和技术资产:业务资产包含指逻辑实体和业务对象;技术资产包含数据连接、数据库对象等。在数据资产-任务管理中,配置元数据采集任务,可以将迁移到云上的原始数据层的技术元数据采集到技术资产之中。 通过规范设计-关系建模管理数据资产:进入配置中心,根据用户业务需求,确认模型设计业务流程步骤中“同步技术资产”、“同步业务资产”以及“资产关联”的选项是否勾选:进入主题设计模块,用户可以构建统一的数据分类体系,用于目录化管理所有业务数据,便于数据的归类,查找,评价,使用。通过分层架构对数据的分类和定义,可帮助用户厘清数据资产,明确业务领域和业务对象的关联关系。主题域分组:基于业务场景对主题域进行分组;主题域:互不重叠数据的高层面的数据分类,用于管理其下一级的业务对象;业务对象:指企业运作和管理中不可缺少的重要人、事、物信息。进入关系建模模块,如果当前未创建过关系模型,系统会弹出提示框,单击“确认”创建一个关系模型。对于之前步骤中,已经在DAYU数据资产中完成采集的技术元数据,可以通过逆向数据库功能,将技术元数据逆向至关系建模中进行管理:业务元数据可以通过“更多”中的“导入”功能,使用Excel模板批量导入:除此之外,在关系建模中也可以通过新建业务表来新建业务元数据:以上步骤所创建的表在完成设计与编辑后,将需要提交审核人审核。审核发布之后,会根据配置,将在规范设计中模型的业务元数据同步至数据资产。若模型为物理模型,则可以通过数据源信息,在数据资产模块中将业务元数据与技术元数据互相关联:以上便是简单的基于关系建模的数据资产管理流程,具体的模型设计步骤,请参考https://support.huaweicloud.com/qs-dayu/dayu_04_0004.html。