• [云商店直播] 【直播资讯】大数据如何让供热管控更智能?
    城镇集中供热是国家重要的民生保障事业,是落实我国能源生产和消费革命战略的重要阵地,是打好城市“蓝天保卫战”的主战场。长期以来,由于受到企业盈利能力差、技术条件落后、管网及设施老旧、系统改造投入不足等多种因素影响,我国北方城市供热系统普遍存在供热安全、环境污染、供热投诉和能耗偏高等问题。其中,重大供热事故不仅严重影响市民的正常生活,而且成为影响社会安定的隐患;供热排放已经成为北方城市冬季雾霾加重的主要叠加成因;市民对供热质量和服务要求的不断提高,供热不平衡造成的投诉率居高不下;供热生产系统老旧、控制方法落后、控制手段受限,造成供热企业能耗超标、经营亏损等问题。因此,引入创新技术、改善设备设施、优化全面管理以加强供热安全、降低污染排放、提升供热质量是供热企业面临的重要课题。信息技术的发展为供热行业破解发展难题提供了手段和路径。过去二十年,供热行业经历了自动化、网络化、智能化的发展过程,正在迎来以大数据、云计算、人工智能和物联网技术为代表的智慧供热阶段。 2019年,在黑龙江省政府的推动和支持下,北明天时与华为公司联合在哈尔滨市成功实施了智慧供热管控云平台试点项目。该项目采用华为云和华为人工智能技术成果,全面应用了云计算、大数据、人工智能、物联网等新技术,通过供热一次网平衡改造、二次网平衡系统建设、用户室温采样监测系统和政府供热监管平台建设,为供热城市提供了一个涵盖政府-企业-用户、融合政府监管、企业生产和管理、提升用户服务等职能的统一服务平台。智慧供热管控云平台将大数据、云计算、物联网和人工智能技术与供热生产管理系统深度融合,消除原有平台的发展瓶颈,打通供热系统源-网-站-户全流程数据;通过多维度数据挖掘和大数据分析,提供基于气候模型的精准负荷预测;通过人工智能实现高效准确的全网平衡控制;建设供热二次网和用户末端的监控系统,通过二次网平衡控制,为用户提供更加优质的供热服务;满足把握全局、精准调控、按需供热的要求,实现供热系统的深度节能和整体优化。 智慧供热管控云平台实现了供热系统服务 “政府可管、企业可省、用户可感”的建设目标。政府借助智慧供热监管平台可监督供热企业的运行状态和供热服务质量;企业应用智慧供热生产管理系统打破信息孤岛,采用人工智能优化控制策略,实施高效率的源-网-站-户全流程联动控制;用户直接感受到更加优质的供热服务,服务满意度得到大幅提升。经过2019-2020年采暖季的运行,项目取得了良好的运行效果。根据2020年8月哈尔滨市住建局组织有关专家对试点项目进行的评审报告:人工智能投运阶段节热率约为6.8%,人工智能投运二次网节热率约为10%。项目已初步实现了惠民、提质增效、节能环保、安全供热的目标。报告指出智慧供热必将提升企业核心竞争力,成为供热行业革新推动力,建议在推广过程中统一规划、分布实施、不断创新、合理推进。从今年开始,北明软件与华为公司联合计划在全国推广建设智慧供热管控云平台项目。将哈尔滨市智慧供热建设的成功经验在广大北方城市供热企业推广落地,推动我国集中供热企业实现深度节能减排、提升服务和管理升级。我国城市集中供热面积近140亿平米,且每年以超过5%的速度增长,全面实施智慧供热将为行业每年节约能源支出超过200亿元。同时,将拉动能源电力、网络通讯、信息服务和机电设备制造等多个产业和领域的协同发展,有效推动“新基建”工程在供热行业的应用。智慧供热管控云平台积极探索运用大数据、人工智能技术与供热系统融合创新、并在精准负荷预测及系统调控、保障用户按需供热等多方面进行了有益的探索和应用实践。从控制稳定性和控制周期等技术指标上看,采用人工智能控制的实际效果超出了传统控制方式,初步实现了“源网站户”的联动闭环调节,是人工智能在传统应用场景的成功实践。未来将加强与机理仿真模型的结合,使系统信息数据真正完备、做到数据孪生,更好地进行大数据学习与挖掘,提供更加优化的解决方案。10月22日,北明天时董事长韩向明在华为云直播间为大家带来一场精彩的主题分享——《基于大数据的智慧供热管控云平台》,点击下方直播观看地址,即可查看。直播观看地址:https://bbs.huaweicloud.com/webinar/100023(选择智慧城市·科技惠民新高度)【华为云云市场,助您上云无忧】
  • [热门活动] 听说!华为HDZ在1024程序员节~开解忧咖啡馆!
    马上要到1024程序员节了对于程序员来说1024是一个举足轻重的日子1024不仅仅是2的10次方更是程序员自己的节日程序员就像是一个个1024以最低调、踏实、核心的功能模块搭建起这个科技世界平日里都是他们搞定难题,解决Bug这一次华为HDZ将要在1024程序员节当天开启线下“解忧咖啡馆”“说出你的烦恼”大家一起解忧愁、疗困惑、治痛苦~~~参与线下游戏互动如”你画我猜“充当灵魂画手,画出程序猿的烦恼~~~还有机会获得解忧饮品、解忧书,还能抽盲盒、抽礼品! 用技术改变世界的你们值得更多的美好啦~~提前解密开启解忧咖啡馆活动的城市:深圳!!!!合肥!!!!!具体活动时间及地点将在1023直播盛典当天公布!添加小助手微信号:回复【1024+城市名】,预报名点击了解更多#华为云1024程序员节·向云而生#点击预约#狂欢直播日#HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织       HDZ是Huawei Developer Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。      致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。      对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。      HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。
  • [技术干货] 【9月29日 14:30】特邀MRS架构师亮哥,谈谈云上大数据平台MRS,人人争当MRS体验师
    为什么很多公司的大数据业务都基于Hadoop方案?Hadoop有成熟的生态圈,开源、免费并可以解决问题成为众多公司的首选方案。Hadoop生态圈中的明星计算引擎MapReduce,是解决大数据的最直接的方案之一,他的工作原理是把大块的任务切分为若干份小任务,由集群的每台服务器来计算,最后把结果合并。那你了解MapReduce吗?本期体验师活动联合华为云大数据计算明星产品——MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,带你快速玩转大数据!参与大数据体验师活动,精彩好礼等你拿!一、参与流程:1. 参与直播互动,送100元京东卡/华为云定制背包等精美好礼本次直播已结束,期待下次的精彩直播~欢迎进入直播交流群,若无法入群可添加小助手微信号(speakerHTJ)2. 参与Demo实践+技术博客分享,赢音响、手环等众多好礼本次活动共2个基础demo和1个场景demo,将自己实践的过程和心得记录在华为云博客,优秀的博客我们会同步推送到华为云的其他内容平台,累积阅读量最高的用户,将依次获得音响(1个)、手环(3个)及专业书籍(5本)。从零开始使用Hadoop:https://support.huaweicloud.com/usermanual-mrs/mrs_01_0365.html从零开始使用Spark SQL:https://support.huaweicloud.com/usermanual-mrs/mrs_01_0367.html使用Spark实现车联网车主驾驶行为分析:https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0001.html发布博客链接:https://bbs.huaweicloud.com/blogs/article(在留言区回复文章链接即可)在活动期间,如果有任何数据处理的使用和技术问题,都可以来论坛咨询讨论,我们都将为您解答。活动结束时间:2020年10月10日优惠购买链接:大数据域1元购活动页:https://activity.huaweicloud.com/bigdata-developer.html?0911价值1246.6元MRS包周期1元购优惠直达:https://console.huaweicloud.com/mrs/?activityURL=https%3A%2F%2Factivity.huaweicloud.com%2Fbigdata-developer.html&service=https%3A%2F%2Factivity.huaweicloud.com%2Fbigdata-developer.html&region=cn-east-3&actId=P20082008043549415QWS0G0MBJ9WL&pkgId=PPP2008200804354071WD7N2O1W4AGAH&pkgPeriodNum=1#/promotion
  • [热门活动] 【用户案例】协调办公从无到有,政务云如何能落地开花?
    一、业务背景数据已成为国家基础性战略资源。武汉市早在2015年就启动政务云(数据)中心建设,通过统一政务数据资源门户、统一数据资源管理平台、四大数据资源服务、数据标准、支撑多项应用(简称“1141+”)的建设,推动政府信息系统和公共数据互联共享。近年来,新洲区在智慧城市建设中已取得一些成效, 但在政务信息资源整合共享方面,仍然与国家、省、市的相关要求存在一定的差距。各部门信息化建设水平参差不齐,无法满足委办局间异构系统多元信息融合需求,无法支撑多行业、多领域信息共享需求,对城市管理、科学决策无法形成科学有效的数据支撑。具体表现为:(1)基础信息网络和信息采集网络尚不健全;(2)智慧应用建设缺乏顶层架构和统筹整合;(3) 数据资源和共享体系尚不完备;(4) 跨部门协同联动机制缺失;(5) 信息化支撑应急响应与协调指挥能力不足;(6) 智慧新洲建设资金和人才支持薄弱。 二、客户诉求在此背景下,武汉市新型城区新洲区积极响应,在“智慧新洲”规划中就明确:1. 要有效整合部门信息,加强与上级有关部门网络数据的衔接,实现跨行业、跨部门、跨区域的数据共享和业务应用;2. 要加快公共信息服务平台建设,及时将信息资源向社会开放;要加强信息安全管理,健全和完善安全保障体系,切实保障大数据安全;3. 要发挥政府引导和市场主体两个作用,充分调动社会资源参与建设,构建多元驱动发展的良好格局。 三、解决方案华为云与心通达结合,协助武汉市新洲区人民政府建设新洲区大数据综合服务平台,以满足新洲区政务服务工作和业务管理的需要,为政府更好的提供个性化服务。项目立足智慧新洲大数据的应用与服务,通过建设大数据标准规范体系、信息资源库、数据综合管理平台、空间地理应用平台、政务协同办公平台、政府门户网站与掌上新洲APP等内容,汇聚、管理、分析、展示新洲政务及各行业数据资源,创造政务服务资源共享条件,逐步实现基于大数据的市场化运营服务。心通达OA智能网络办公平台使用了华为云弹性云服务器 ECS,存储方面应用了内容分发网络 CDN以及云硬盘EVS,帮助用户管理存储数据;数据库方面,为了保障性能使用了云数据库 MySQL版以及分布式缓存服务 Redis。根据新洲区政府的项目要求,主要对心通达OA 实施以下几大功能模块:个人办公、公文管理、事务审批、信息发布、知识管理、门户管理等。1. 主页面为门户展示,分为个人工作门户或领导门户,支持将待办工作、公告通知、新闻等直观展现在首页。 2. 通过公共文件柜实现各单位、部门之后的数据资源共享,增强部门间的联动。 3. 将线下审批流程实现线上流转,通过工作流模块可一键创建流程,不同的流程在相应的分类下进行查找。进入工作办理界面,可以选定工作优先级,便于用户办理工作时区分哪些工作需要立即处理。 4. 沟通上,包括IM聊天功能和组织架构模块。组织架构模块展示了该公司包含的人数,各个部门以及部门中每个员工的信息,也可点击右上角的搜索按钮搜索想要查找的员工。点击人员信息可以查看名片信息、聊天、发邮件、打电话。 四、改变与提升1. 通过搭建心通达智慧政务平台,新洲区人民政府各部门之间的协作等效率大幅度提升,时间成本节省约50%;2. 审批效率提升。政府部门有大量的收发文及各种审批流程,流程流转可视化后,效率提供一倍以上;3.  节省的大量纸质耗费,避免了近一倍的资源浪费;4. 通过对接市政务云(数据)中心建设成果,构建跨部门、跨系统、跨领域的业务协同,为新洲打造政府治理科学化、公共服务便利化、数据资源市场化、产业发展体系化的大数据应用先行区,实现经济社会转型升级、跨越发展提供有力支撑,促进了全区政府部门信息化基础设施整合和资源共享。文中提到的商品:心通达OA(严选商城在售)【华为云云市场,助您上云无忧】
  • [行业动态] 华为云大数据创新普惠,释放海量数据价值,获2020中国大数据最佳解决方案奖
            8月26日,2020(第五届)大数据产业生态大会在北京举行。在这场中国大数据产业最盛大、最具专业性的行业聚会上,组委会权威揭晓"2020中国大数据企业50强"榜单,华为大数据连续四年位于榜首。        同时,华为云FusionInsight智能数据湖获得“2020中国大数据·最佳解决方案”,DWS获得“2020中国大数据·数据仓库领域最佳产品”,华为云智能数据湖运营平台DAYU获得“2020中国大数据·数据治理领域最佳产品”,这是业界对华为在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。        华为云大数据开放兼容,引领中国大数据技术与产业的发展        华为发言嘉宾在大会报告中介绍,华为云大数据团队持续耕耘, 拥有10年+丰富经验,深度理解客户业务场景;拥有500+专利,掌握大数据核心技术;践行平台+生态战略,为社区贡献了CarbonData和openLooKeng等优秀产品, 贡献度在Hadoop社区达Top-2,Spark社区达Top-4。        IDC数据显示,华为大数据在市场地位中国区TOP1,华为数仓已成为数据分析领域的顶级厂商。        华为云FusionInsight智能数据湖,释放海量数据价值        针对多样性业务&系统&数据带来的挑战,华为云围绕政企大数据全生命周期,提供领先的“智能数据湖”解决方案FusionInsight。线上线下统一架构,充分利用了云原生领先技术,如K8S、鲲鹏多核、存算分离等。基于统一数据存储底座,包括了MRS大数据、DWS数据仓库、DAYU数据湖运营等云服务,释放海量数据价值。        统一数据存储:把语音视频、图形图像、文本和时序等多种类型的数据统一用OBS存储服务,采用领先的CarbonData存储引擎,提供多种索引技术实现快速详单查询;利用独有的存算分离架构,将原先1:3备份,缩减到最低1:1.09,资源利用率由33%提升至91%,极大降低存储成本。        多元计算重点介绍以下两个服务: 企业级大数据平台MRS,作为企业数据湖底座,拥有超2万节点大集群管理能力,业界最佳,当前生产上最大集群规模1万+节点;企业级多租户能力,让一个企业一个湖成为现实。        企业级能力让大数据运维无忧,拥有成熟的在线升级能力,升级过程业务零中断,业务永远在线,经金融、政府等客户实践得到行业高度认可。        让传统大数据走向实时分析,支持数据湖事务ACID,实现企业数据实时增量入湖,让大数据分析从T+1到T+0,让业务创新更敏捷。        支持高性能交互式查询引擎秒级供数,实现湖仓一体,数据不出湖,直接对接BI类业务,自助分析,数据供应链路短,效率提升2倍+。        支持跨源跨域的数据分析,打破地域数据墙,使得企业跨域分析效率从周提升到分钟级。 企业级数据仓库DWS为全球500+大客户的规模商用所验证,又汲取了云原生的技术优势。一套数仓集群支持多类型业务分析,跨源跨域跨集群,协同分析简单高效。        采用无中心节点的全对称分布式架构,设计集群规格可达4096节点,客户期初可从少数节点搭建,一键扩容线性提升性能和容量。        基于多层级、全并行计算引擎,充分现代CPU多核优势,在PB级海量数据场景下提供高性能SQL分析。        云原生支持分布式事务ACID,能保证全场景数据的强一致性。全组件采用主备或多活的设计理念,无单节点故障,保障客户业务不间断平稳运行。        兼容标准SQL 2003,学习成本极低,简单易用。 数据湖运营DAYU: 提供了包括数据集成、数据开发(含建模)、数据治理、数据服务的一站式可视化数据运营能力,帮助企业快速构建自己的数据使能平台,加速数据价值发现。        全域数据统一视图,让用户对数据资产深度“认知”。以数据目录为中心一站式数据运营,快速找到最合适的数据源,更易数据消费;源头在哪,目的地在哪,数据血缘一目了然;拖拽式开发,E2E数据链路编排管理,行业模型算子使治理更高效。        据介绍,华为云智能数据湖FusionInsight 已广泛用于政务,金融、运营商、大企业、互联网等领域,是60+国家,3000+客户数字化转型的共同选择。
  • [行业动态] 华为云FusionInsight大数据技术普惠创新,释放千行百业数据价值
            8月31日,华为云举办TechWave大数据专题日,围绕“大数据技术普惠创新,释放千行百业数据价值!” 主题,从金融、运营商等行业在大数据创新的实践,顶级高校的大数据顶尖人才培养和科学研究,以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面,以产学研深度融合的方式展开分享和探讨。专题日上,还重磅发布实时数仓新品。大会的精彩内容,让我们一起来看下吧!大数据技术普惠创新,释放千行百业数据价值        上世纪90年代至今,人们经历了PC时代、互联网时代、移动互联网时代,当前正在迈入智能数据时代。随着技术的演进,数据也发生了巨大变化。数据规模越来越大、数据种类呈现多样性、数据处理时效性要求越来越高,同时,对数据融合分析要求越来越强烈。        华为云人工智能领域总裁贾永利表示,“为了应对企业应用大数据面临的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在采存算管用等数据全生命周期提供整体解决方案。“方案包含了MRS大数据、DWS数仓、DAYU数据运营等产品,并由华为云博士天团进行详细解读。        同时,为了响应政企客户在数据仓库方面对时效性的需求,专题日还重磅发布了DWS实时数仓新品,其具备快、易、简、省四大特点,具体如下:快:实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库,并可线性扩展。易:支持基于SQL完成复杂流式计算语义定义,简化开发。以Druid监控的一个场景为例,仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。简:实现了1 = N。在一个平台内,同时实现Flink/Spark Streaming(流数据处理)+Druid(流数据预聚合)+InfluxDB(时序数据处理),简化了开发和运维工作。省:时序数据经过实时数仓的自适应压缩算法,最高可达40:1的压缩比,将多维度行列存储优化,数据冷热温自动分区,极大地减少存储空间,节省用户成本。        华为云DWS实时数仓,适用于IoT和运维监控场景,已经在华为流程IT运维大数据平台上线使用。工商银行、广东移动分享大数据创新实践        大数据专题日中,工商银行、广东移动作为行业的领军者,分别分享了基于华为云FusionInsight的大数据创新实践。        工商银行软件开发中心总经理刘承岩表示:“在智能化阶段,我们引入了华为云FusionInsight、GaussDB等产品,搭建了自主可控的大数据云平台,解决了大数据全场景生态化应用的存储、算力和算法挑战,支撑了我行企业级数据湖、数据仓库、集团信息库的一湖两库建设,数据智能服务由事后快速演进到事前、事中的阶段;在生态化阶段,我行进一步深化和华为云的合作,实现大数据云平台和华为云Stack云基础设施的融合,进一步提升大数据云平台的高可用和弹性灵活扩展能力,全面支撑金融数据湖的生态化建设,更好的服务于我行数字工行转型!”        同时,中国移动通信集团广东有限公司信息系统总经理谭丽丽表示:“为更好释放运营商大数据的强大生产力,用好数据、技术等资源,提高广东移动大数据平台的能力,广东移动基于华为云FusionInsight构建智慧大数据平台,积极创新面向个人客户的应用服务,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用,全力推动5G+大数据,服务百姓、融入百业,更好地满足广大客户对美好数字生活的需要!”清华大学:产学研深度融合,培养大数据领军人才        清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民分享了他对大数据顶尖人才培养的看法。他认为,大数据作为一种新型战略资源,其运用将改变人们的传统认知,对大数据开展持续深入的研究,不仅将引发学科建设、科学研究等方面的深刻变革,还将极大的推动人才培养和教师队伍建设。未来,清华大学将持续不断的培养大数据领域的专门人才,在数字中国、数字经济、新基建等重大领域,让大数据人才“学以致其道,算以致其用”。同时,依托大数据研究中心,持续与华为等企业一起,创新合作机制。持续探索与兄弟院系、学校开展跨学科、跨领域的深度融合, 打造顶尖的大数据科学研究团队,突破大数据关键领域与技术,培养一批有水平,有远见,有担当的大数据领军人才,为社会繁荣发展做出贡献!华为云FusionInsight引领全球大数据技术发展        华为云FusionInsight解决方案首席架构师洪福成为我们解读了华为云FusionInsight整体架构解决方案。        华为云FusionInsight智能数据湖为政企客户提供了一站式大数据分析平台,其主要有以下四个特点:大集群:支持单集群2万节点。华为自研Superior超级调度器,可以调度2万+节点规模;单跨机房部署,解决空间不足;业务自动感知;支持滚动升级,业务运行0中断,用户体验无感知。湖仓一体:批处理和交互式查询融合, “0”数据搬移。基于HetuEngine组件实现交互式查询,数据“0”搬迁;资源基于YARN进行统一调度,资源利用率高 、成本更低;支持多租户,多部门业务任务并行处理。实时数据湖:数据T+0实时入库、消费、分析。数据增量更新入库:基于行级Delta文件,IO小,面向实时更新优化,T+0时效;支持ACID事务,确保数据一致性,多方并发读写数据;Carbon支持索引,精确点查比Parquet性能提升100倍,1PB数据精确点查30内响应。一个企业一个湖:集约高效、易管理。资源利用率高:湖内全量数据批、流、交互式多引擎融合,多租户权限隔离,统一资源调度,资源利用率提升至90%;分析效率高:数据在统一数据湖内,数据流转链路短,分析效率高;易管理、易维护:统一集群,一个版本;滚动升级,业务“0”中断。CarbonData释放海量数据价值 尽显数据湖之美        华为云大数据高级架构师郝行军博士为我们解读了华为自研的CarbonData数据存储引擎。        其面对复杂业务场景可实现全局一份数据到处使用,免去数据搬迁的困扰;面对海量数据的查询使用,针对性优化了查询加速,可实现PB级数据30秒内响应;在时间就是金钱的信息时代,时效性的突出优势被企业所看好,同时CarbonData支持大数据更新,可实现数据T+0实时入湖,优化了传统T+1、T+2的可见时延。    DWS新一代、全场景、云数据仓库    华为云DWS总经理叶涛分享了数据仓库的大、快、稳等特性。大: 分布式架构、高扩展,容纳海量数据和业务DWS从架构源头上采用了Share-Nothing无共享的分布式架构,单集群PB级以上的数据容量,最大可扩展至2048个节点。随着节点数增加,集群的性能和容量线性增长,线性加速比>0.9。快:聚合海量算力、最优效率,导入和分析快如闪电采用了全并行计算的架构。支持多个物理节点并行计算。同时,实现了新一代智能优化器技术、高效的算子算法、动态编译等核心技术,带来了高效的指令效率。稳:多层备份、多级保护,实现数据无忧、持续可用在GaussDB(DWS)的系统部署中,关键硬件都有冗余备份。 所有的软件组件都能实现实例多活或者Active-Standby的互备。同时,实现了全方位的软硬件故障检测,一旦出现了硬件和软件的故障,集群都可以快速的检测和响应,自动的故障切换,实现数据无忧,业务持续可用。DAYU一站式数据运营,管好数,用好数       华为云大数据产品总监杨兴华分享了一站式数据运营平台DAYU,协同伙伴,使能“从比特到信息”的价值发现,释放数据之美,助力企业管好数,用好数。        其核心特点如下:全域联邦数据资产管理:支持超过30+的数据源对接,形成数据融合协同,同时也不破坏原有的IT系统建设,支撑达到“立而不破”的效果。开放的架构体系:DAYU围绕数据使用,今年重构了整体架构,重心面向伙伴协同,打造开放体系,提供分层API接口供伙伴调用,包括基础的集成开发,元数据管理、安全管理,数据开放,以及高级的质量管理,数据模型,资产运营等,伙伴可以根据自身系统和业务特点按需集成;共享型行业资产模型:在资产运营管理框架基础上,采用模型驱动的理念实现资产的一键注入、导出、自动化管理,数据资产化效率实现3倍提升,支撑伙伴快速构筑行业数据资产生态。        此外,DAYU围绕数据目录,资产地图,数据血缘,打造了进阶式的数据资产管理体系。在数据安全方面,DAYU从最开始就围绕数据规划了完善的安全管理能力,包括权限管控、合规审计、敏感发现、隐私保护和风险管理,让用户放心用数。        DAYU推出一年多以来,其端到端全流程数据可视管理,一键式资产沉淀能力,加速了企业数字化转型的进程,受到行业伙伴和客户的欢迎。未来将继续围绕数据价值使能,坚持架构开放,持续丰富各层级的API,进一步普惠伙伴,助力沉淀行业数据资产。        目前,华为云FusionInsight智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业,已为全球60多个国家和地区的3000多家政企客户提供服务。未来,华为云FusionInsight将与800多家合作伙伴一起,携手客户创新应用实践,基于FusionInsight智能数据湖构建领先的数据基础平台,实现一企一湖,业务洞见更准,价值兑现更快。让政企用户更方便快捷高效地用好数据,加速数字化转型升级。        8月31日,华为云TechWave大数据专题日成功举办。让我们看金融、运营商等行业趋势,听顶级高校人才培养之道,学华为大数据领先技术,各路领军人物“华山论数”,精彩内容更能回看!大数据专题日地址:https://www.huaweicloud.com/about/techwave_bigdata.html    华为云大数据调查问卷:    有奖观影活动:
  • [行业动态] 华为云FusionInsight助力广东移动利用大数据技术应对5G数据浪涌,释放海量数据价值
        “2020年疫情突发,广东移动通过用户注册提交信息,快速组装业务逻辑,注册大数据标准服务OPENAPI,以100个通道同时向外发布数据查询能力。结合大数据平台的快速能力,24小时内组装出‘健康码’的应用,查询返回时间小于1秒钟,每天响应200万的并发查询量,峰值达400万,高效助力疫情防控。”8月31日,华为云TechWave大数据专题日在线上举行,中国移动通信集团广东有限公司信息系统部总经理谭丽丽分享了运营商大数据创新应用实践。 广东移动信息系统部总经理谭丽丽数据价值日益显现,广东移动积极拓展大数据应用        近年来,在云计算、大数据、人工智能等ICT技术的推动下,数字化转型方兴未艾,数据的作用越来越重要。据GIV@2025预测,到2025年,全球97%的大企业将采用AI,90%的人口将拥有个人智能终端助理,58%的人口将享有5G服务。与此同时,企业的数据利用率将达86%,全球年存储数据量高达180ZB。这意味着,数据已成为至关重要的生产要素,蕴藏着巨大的价值和潜能。        据悉,作为运营商领域的创新排头兵,中国移动通信集团广东有限公司信息系统部总经理(以下简称“广东移动”)一直致力于拓展大数据应用,早在2015年10月便启动了大数据平台建设工作,并在2016年建立子公司统一的大数据生态,依托大数据平台来实现内部业务效率提升和外部用户服务。经过近五年的建设,广东移动大数据集群规模已超2500节点,存储容量达到80PB,覆盖移动用户数超1.3亿,是全国运营商领域覆盖用户数量最多,规模最大以及技术领先的大数据平台。        随着5G商用进程的深化,5G 技术将推动移动互联网、物联网、大视频、大数据、云计算、人工智能等关联领域裂变式发展,数据进一步迎来爆发式增长。为满足中国移动公司“5G+”战略布局及业务发展的需求,更好释放运营商大数据的强大生产力,用好数据、技术等资源,提高广东移动大数据平台的能力,广东移动基于华为云智能数据湖解决方案FusionInsight构建大数据智慧平台,积极创新面向个人客户的应用服务,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用。华为云提供数字底座,助力广东移动构建大数据智慧平台        为全面释放数据价值,广东移动大数据智慧平台分为基础设施资源层、技术平台层、数据平台层和应用层。其中,技术平台以华为云智能数据湖FusionInsight为数字底座,为上层大数据平台和应用提供数据采集和分发、Hadoop大数据处理、高性能资源调度器、增强实时计算和数仓等服务,通过数据虚拟化的统一SQL查询、分布式计算、高速传输优化及Redis内存优化、Flink内存管理优化等技术,大幅提升大数据处理效率。        在构建大数据智慧平台的过程中,广东移动还积极进行技术创新,包括自主搭建运营商数据平台,提供安全的、高并发、快速组装应用服务能力:引进无感知滚动升级,实现在线扩容而不中断业务;自主研发超级资源调度引擎Superior,提升系统资源调度效率4倍以上;自主研发跨集群协同技术,为5G高速发展提供技术储备等。广东移动大数据智慧平台        得益于华为云FusionInsight智能数据湖提供的数字底座,及上述多方面的技术创新,广东移动基于大数据智慧平台打通了数据全生命周期链路,实现了对内业务支撑、对外应用赋能。而依托数据平台高可靠、高并发、快速组装应用服务的能力,广东移动为各行各业研发了多个行业解决方案,全面支撑了包括疫情防控在内的各类政务、民生等工程的应用服务。在政务应用方面:广东移动智慧平台面对政府机关、事业单位的公共服务和公益类服务提供的精准短信推送能力,可依托大数据的标签洞察及客户触达能力,精准筛选用户,进行短信的精准投放。在旅游应用方面:通过数据平台组装大数据旅游应用,可圈定旅游地区,实时解析旅游区内的数据,定期生成景区热力图,并发布数据给大数据旅游系统。在精准扶贫方面:数据平台组装成大数据精准扶贫应用“岭南优品”,打造全国首个电商扶贫平台,为大数据精准扶贫提供智慧化平台。目前该平台用户规模达到670万,完成交易订单723万,交易额达2.2亿元。在防诈骗监控方面:通过数据平台提供的分析模型,组装防诈应用,对于异常外呼用户,优化过滤算法,识别出异常群体,及时阻断、回溯诈骗行为,减少人民群众损失。在保障春运安全方面:数据平台提供基础能力,组装大数据交通应用,定期生成交通枢纽热力图,并发布数据给大数据交通系统。        数字化大潮浩浩荡荡,大数据价值亟待释放。未来,华为云将持续助力广东移动大数据技术创新,携手广东移动及全国各地运营商伙伴,全力推动5G服务百姓、融入百业,更好地满足广大客户对美好数字生活的向往。十多年来FusionInsight 致力于为全球60+国家地区、3000+政企客户构建企业级智能数据湖,结合平台+生态战略,与800+商业合作伙伴 ,广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业,在政企数字化转型中,释放数据价值,助力政企客户业务高速增长。MRS源于开放的大数据生态,叠加了企业级的关键能力,既保持了开放性,又给客户提供了企业级融合大数据平台,帮助客户实现T+0数据入湖,一站式融合分析,让数据“慧”说话。相关文章:华为云TechWave大数据专题日,解密金融业为何“偏爱”华为云?2020中国大数据企业50强重磅发布,华为云大数据连续四年荣登榜首0业务中断!全国首个1000+大数据集群成功升级!再获殊荣!华为云Fusioninsight智能数据湖、GaussDB(DWS)数据仓库斩获业界两项大奖FusionInsight亮相华为云与计算城市峰会深圳站FusionInsight MRS 技术解读:单集群如何做到2万+规模华为云FusionInsight MRS融合大数据平台进阶之路华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模重磅发布!华为云EI智能数据湖FusionInsight 8.0 MRS 6月30日发布新特性,更快更安全,小伙伴们快来GET√+CarbonData,华为云EI智能数据湖FusionInsight让数据处理飞起来!华为云EI智能数据湖FusionInsight携手Kyligence助力保险业数字化转型!华为云EI智能数据湖FusionInsight MRS大数据在银行业的应用探索与典型案例直击痛点!华为云EI智能数据湖FusionInsight助力政企客户释放数据价值!
  • [行业动态] 亮点抢先看,华为云 TechWave 大数据专题日有啥料?
            随着5G、互联网、人工智能等技术加速应用,目前数据量年均增速已经超过50%,社会正在全速进入数字经济时代。过去数据仅仅作为一种资产,而今,数据将成为继土地、资本、技术之后最强有力的生产要素。如何激发数据这一生产要素的价值,加快推进大数据技术与千行百业应用的深度融合,助力企业数字化转型和数字产业发展?        8月31日,华为云TechWave大数据专题日与您相邀线上。届时,华为云大数据将与工商银行、广东移动、清华大学及华为云大数据“博士天团”,围绕大数据产学研深度融合,结合华为云FusionInsight智能数据湖技术创新实践,解读大数据领先技术,对大数据产业、人才、技术的现状与趋势进行交流探讨,并重磅发布华为云大数据新品。干货满满,让我们一起先睹为快! 亮点一:数据之道        华为云大数据技术普惠创新        华为云TechWave大数据专题日,由华为云人工智能领域总裁贾永利围绕“大数据技术普惠创新,释放千行百业数据价值”主题做开场演讲,并发布华为云DWS实时数仓新品。        近年来,无论是TO B领域,还是TO C领域,随着技术的发展和需求的增长,企业、个人及设备都在无时无刻产生数据,数据的体积越来越大。随着数据规模的与日俱增,数据的种类也日渐增多,数据逐步走向多样性。除了熟悉的结构化数据,更多的非结构化数据已然出现,需要多样性的算力去处理,这无疑带来了更加复杂的挑战。与此同时,数据处理的时效性与融合分析要求也越来越高。面对海量数据的挑战,华为云大数据的解决之道是什么?即将重磅发布的新品有何独到之处?如何发掘数据价值,加速政企数字化转型?从贾永利的演讲中,也许可以找到答案。亮点二:行业领军人物与顶级高校        “华山论数”        本次专题日活动,工商银行软件开发中心总经理助理刘承岩、中国移动通信集团广东有限公司信息系统总经理谭丽丽,将分享基于华为云FusionInsight在大数据领域的创新实践。清华大学软件学院院长、信息学院副院长、大数据研发中心执行主任王建民,将基于多年与华为云大数据的合作,分享大数据领军人才的培养之道。1、工商银行“数字工行”        随着金融业数字化进程,数据要素资产越来越丰富,数据要素应用创新越来越简单高效,催生了大量金融服务新模式,经营决策正由以人主导的数据辅助经营决策阶段,结合大数据、AI、云计算、区块链、IoT等技术向数据驱动决策的数字金融演进。         工商银行作为国有四大银行之一,在大数据应用创新上一直不断引领行业发展。早期从Oracle、SAS等分析软件,Teradata、Exadata分布式数据仓库技术,到华为云FusionInsight智能数据湖助力工行实现了从自动化到生态化的演进。那么华为云大数据将如何助力工商银行打造服务经济高质量发展的“数字工行”?2、广东移动智慧大数据平台        据预测,随着5G的大量应用,数据量会增涨8倍。为更好释放运营商大数据的强大生产力,提高广东移动大数据平台的能力,广东移动基于华为云大数据平台构建智慧大数据平台,全面支撑政务、民生、扶贫、大旅游、疫情防控的场景应用。那么5G来了,通过与华为云FusionInsight持续合作,如何用大数据技术轻松应对数据浪涌?3、清华大学顶尖大数据人才培养        信息技术与经济社会的交汇融合引发了数据迅猛增长,催生各种大数据应用,大数据正在不知不觉中改变着人们的生活和思维方式。大数据越来越重要,而大数据的领军人才在业界仍处于紧缺状态。为培养大数据关键领域的领军人才,清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民将分享围绕大数据系统软件国家工程实验室与华为在科研、人才等方面的合作。不妨关注大数据专题日,了解更多有关清华大学如何为打造大数据技术人才高地攻坚克难?亮点三:“博士天团”解密一个方案        三大“数据秘籍”        随着海量数据指数级增长,预计到2025年全球数据量将达180ZB,数据已是重要的生产要素,驱动企业业务创新增长。为响应政企客户迫切多样化的需求,华为云如何通过大集群、湖仓一体、实时数据湖等关键技术实现一企一湖?如何秒级用数,T+0实时入湖,实现一份数据到处使用的智能数据湖?如何驾驭海量数据,打造企业数仓新标杆?如何打造端到端智能数据运营,实现高效用数,使能”从比特到信息“的数据价值发现?        在专题日,将由华为云大数据资深架构师,分享华为云FusionInsight智能数据湖 “一湖一仓”解决方案,“博士天团”还将带来三大“数据秘籍”——CarbonData、DWS、DAYU,让企业轻松应对数据浪涌,助力政企客户释放数据价值,加速企业数字化转型。让你分分钟就能获悉有关华为大数据的独家“秘籍”,了解大数据前沿技术,精彩不容错过,敬请关注。         8月31日,看金融、运营商等行业趋势,听顶级高校人才培养之道,学博士天团解读华为大数据“秘籍”,各路领军人物“华山论数”,尽在华为云TechWave大数据专题日。
  • [技术干货] 【转载】技术揭秘:华为云DLI背后的核心计算引擎
    本文主要给大家介绍隐藏在华为云数据湖探索服务(后文简称DLI)背后的核心计算引擎——Spark。DLI团队在Spark之上做了大量的性能优化与服务化改造,但其本质还是脱离不了Spark的核心概念与思想,因此笔者从以下几点阐述,让读者快速对Spark有一个直观的认识,玩转DLI。Spark的诞生及优势     2009年,Spark诞生于伯克利大学AMPLab,诞生之初是属于伯克利大学的研究性项目。于2010年开源,2013年成为Apache开源项目,经过几年的发展逐渐取代了Hadoop,成为了开源社区炙手可热的大数据处理平台。Spark官方的解释:“Spark是用于大规模数据处理的统一分析引擎”,把关键词拆开来看,“大规模数据”指的是Spark的使用场景是大数据场景;“统一”主要体现在将大数据的编程模型进行了归一化,同时满足多种类型的大数据处理场景(批处理、流处理、机器学习等),降低学习和维护不同大数据引擎的成本;“分析引擎”表明Spark聚焦在计算分析,对标的是Hadoop中的MapReduce,对其模型进行优化与扩展。Spark为了解决MapReduce模型的优化和扩展,那么我们先探讨一下MapReduce存在的问题,然后分析Spark在MapReduce之上的改进。(1)MapReduce中间结果落盘,计算效率低下随着业务数据不断增多,业务逻辑不断多样化,很多ETL和数据预处理的工作需要多个MapReduce作业才能完成,但是MapReduce作业之间的数据交换需要通过写入外部存储才能完成,这样会导致频繁地磁盘读写,降低作业执行效率。Spark设计之初,就想要解决频繁落盘问题。Spark只在需要交换数据的Shuffle阶段(Shuffle中文翻译为“洗牌”,需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算)才会写磁盘,其它阶段,数据都是按流式的方式进行并行处理。(2)编程模型单一,场景表达能力有限MapReduce模型只有Map和Reduce两个算子,计算场景的表达能力有限,这会导致用户在编写复杂的逻辑(例如join)时,需要自己写关联的逻辑,如果逻辑写得不够高效,还会影响性能。与MapReduce不同,Spark将所有的逻辑业务流程都抽象成是对数据集合的操作,并提供了丰富的操作算子,如:join、sortBy、groupByKey等,用户只需要像编写单机程序一样去编写分布式程序,而不用关心底层Spark是如何将对数据集合的操作转换成分布式并行计算任务,极大的简化了编程模型Spark的核心概念:RDD     Spark中最核心的概念是RDD(Resilient Distributed Dataset)——弹性分布式数据集,顾名思义,它是一个逻辑上统一、物理上分布的数据集合,Spark通过对RDD的一系列转换操作来表达业务逻辑流程,就像数学中对一个向量的一系列函数转换。Spark通过RDD的转换依赖关系生成对任务的调度执行的有向无环图,并通过任务调度器将任务提交到计算节点上执行,任务的划分与调度是对业务逻辑透明的,极大的简化了分布式编程模型,RDD也丰富了分布式并行计算的表达能力。RDD上的操作分为Transformation算子和Action算子。Transformation算子用于编写数据的变换过程,是指逻辑上组成变换过程。Action算子放在程序的最后一步,用于对结果进行操作,例如:将结果汇总到Driver端(collect)、将结果输出到HDFS(saveAsTextFile)等,这一步会真正地触发执行。常见的Transformation算子包括:map、filter、groupByKey、join等,这里面又可以分为Shuffle算子和非Shuffle算子,Shuffle算子是指处理过程需要对数据进行重新分布的算子,如:groupByKey、join、sortBy等。常见的Action算子如:count、collect、saveAsTextFile等如下是使用Spark编程模型编写经典的WordCount程序:该程序通过RDD的算子对文本进行拆分、统计、汇总与输出。Spark程序中涉及到几个概念,Application、Job、Stage、Task。每一个用户写的程序对应于一个Application,每一个Action生成一个Job(默认包含一个Stage),每一个Shuffle算子生成一个新的Stage,每一个Stage中会有N个Task(N取决于数据量或用户指定值)。Spark的架构设计    前面讲述了Spark 核心逻辑概念,那么Spark的任务是如何运行在分布式计算环境的呢?接下来我们来看看开源框架Spark的架构设计。(注:涂色表示进程)Spark是典型的主从(Master- Worker)架构,Master 节点上常驻 Master守护进程,负责管理全部的 Worker 节点。Worker 节点上常驻 Worker 守护进程,负责与 Master 节点通信并管理 Executor。(注:橙色和绿色表示进程)Spark程序在客户端提交时,会在Application的进程中启动一个Driver。看一下官方对Driver的解释“The process running the main() function of the application and creating the SparkContext”。我们可以把Master和Worker看成是生产部总部老大(负责全局统一调度资源、协调生产任务)和生产部分部部长(负责分配、上报分部的资源,接收总部的命令,协调员工执行任务),把Driver和Executor看成是项目经理(负责分配任务和管理任务进度)和普通员工(负责执行任务、向项目经理汇报任务执行进度)。项目经理D to 总部老大M:Hi,老大,我刚接了一个大项目,需要你通知下面的分部部长W安排一些员工组成联合工作小组。总部老大M to 分部部长W:最近项目经理D接了一个大项目,你们几个部长都安排几个员工,跟项目经理D一起组成一个联合工作小组。分部部长W to 员工E:今天把大家叫到一起,是有个大项目需要各位配合项目经理D去一起完成,稍后会成立联合工作小组,任务的分配和进度都直接汇报给项目经理D。项目经理D to 员工E:从今天开始,我们会一起在这个联合工作小组工作一段时间,希望我们好好配合,把项目做好。好,现在开始分配任务…员工E to 项目经理D:你分配的xxx任务已完成,请分配其它任务。项目所有任务都完成后,项目经理D to 总部老大M:Hi,老大,项目所有的任务都已经完成了,联合工作小组可以解散了,感谢老大的支持。以上就是Spark的基本框架,基于Apache Spark/Flink生态,DLI提供了完全托管的大数据处理分析服务。借助DLI服务,你只需要关注应用的处理逻辑,提供构建好的应用程序包,就可以轻松完成你的大规模数据处理分析任务,即开即用,按需计费。华为云828企业上云节期间,购买数据湖探索DLI优惠更多。点击这里→了解更多精彩内容
  • [技术干货] 【转载】数据隔离、访问授权,用好大数据为什么这么难?
    如今,企业大数据资产在企业辅助决策、用户画像、推荐系统等诸多业务流程中扮演着越来越重要的作用,如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。笔者结合在华为云数据湖探索服务中的技术沉淀与丰富的企业数据安全管理经验,从以下几点来探讨如何精细化保障企业大数据安全。1、企业大数据的安全挑战2、数据资产权限管理的通用做法3、以华为云DLI为例,对数据资产管理的实践&案例分析4、未来展望数据隔离、分层访问、授权,难题多多企业大数据的日积月累,自然面临着大数据安全的挑战:数据来源广泛,来源于不同的业务单元,又要服务于各种业务单元,还需要对不同层级的员工设置不一样的权限。如何防范企业数据不被未经授权的用户访问,管理数据在不同业务单元的共享,隔离企业敏感数据……企业可能面临着以下的挑战:1.1 数据隔离不同的项目业务数据需要隔离,如游戏运营数据,企业在设计大数据分析平台时可能期望A游戏产生的业务数据用来支撑A游戏运营分析,B游戏产生的业务数据是支撑B游戏运营分析,那么需要对业务数据按项目进行隔离,A游戏运营部门员工只可访问A游戏运营数据,B游戏运营部门员工只可访问B游戏运营数据1.2 数据分层访问不同层级业务部门对数据具备不同的访问权限,高层级部门可以访问底层级部门的数据,而低层级部门不可访问高层级部门的数据。如省级部门可以访问地市级数据,而地市级部门只可访问本地市数据,不可访问跨区数据,也不可访问省级部门数据。这就要求对数据的权限管理需要具备分层管理能力,能够分层级授予不同的权限。1.3 列级数据授权不同业务部门对同一份数据的访问权限要求不同,所以要求能够对数据进行精细化授权。如银行系统中,用户表中的身份证号信息是敏感信息,柜台系统可以查询用户的身份证号,但推荐系统就不需要身份证信息,只需要用户ID就可以了。这种场景下需要对用户表能够分列授权,对不同的业务单元不同的权限。1.4 批量授权随着企业规模的增大,企业员工可能非常庞大,分部门授权,批量授权也是很常见的业务场景。例如销售部门下面员工很多,如果单个单个的给销售人员授权,会非常麻烦,人员流动时取消授权也很复杂,这时就需要能够批量授权或者基本角色的授权模型,来实现一次授权,部门内员工均可使用的目的。四种权限模型,孰优孰劣?目前比较流行的大数据分析平台的有Hadoop,Hive,Spark等,它们使用的权限模型有POSIX模型、ACL模型、SQL Standard模型和RBAC模型。其中Hadoop大数据平台使用了POSIX和ACL权限模型来管理数据,HIVE和Spark使用了ACL和RBAC权限模型来管理数据。POSIX权限模型是基于文件的权限模型,与Linux系统的文件系统权限类似。即一个文件有相应的OWNER和GROUP,只能支持设置OWNER,、GROUP和其他用户的权限,可授权限也只有读写执行权限。这种模型不适用于企业用户,有一个明显的缺点就是它只有一个GROUP,不能实现不同的GROUP有不同的权限,也无法实现精细化的权限管理,只能在文件级授权,所授权限也只有读写与执行权限。ACL即Access Control List,ACL权限模型可以弥补POSIX权限模型的不足,可以实现比较精细化的权限管理。通过设置访问控制列表,我们可以授予某一个用户多个权限,也可以授予不同用户不同的权限。但ACL也有明显的缺点,当用户数较大时,ACL列表会变得庞大而难以维护,这在大企业中问题尤其明显。RBAC(Role-Based Access Control)模型也是业界常用的一种权限模型。是基于用户角色的权限管理模型,其首先将一个或多个权限授权某一个角色,再把角色与用户绑定,也实现了对用户的授权。一个用户可以绑定一个或多个角色,用户具备的权限为所绑定角色权限的并集。RBAC可以实现批量授权,可以灵活维护用户的权限,是当前比较流行的权限管理模型。SQL Standard模型是Hive/Spark使用权限模型之一,本质是使用SQL方式的授权语法来管理权限。Hive中的权限模型也是基于ACL和RBAC模型,即可以给单独的用户直接授权,也可能通过角色进行授权。数据湖探索怎么做数据资产管理?华为云DLI结合了ACL和RBAC两种权限模型来管理用户权限。DLI中涉及到的概念有:DLI用户:DLI用户为IAM账号及其下的子用户,下面访问权限说明的用户均指IAM账号及其下的子用户。DLI资源:DLI的资源分为数据库(Database)、表(table)、视图(View)、作业(Job)和队列(Queue)。资源是按项目隔离的,不同项目的资源不可互相访问。表和视图是数据库(Database)下的子资源。DLI权限:DLI权限为执行DLI相关操作所需要的权限。DLI中的权限比较细,每项操作对应的权限都不一样,如创建表对应CREATE_TABLE权限,删除表对应DROP_TABLE权限, 查询对应SELECT权限等等。DLI使用统一身份认证(IAM)的策略和DLI的访问控制列表(ACL)来管理资源的访问权限。其中统一身份认证(IAM)的策略控制项目级资源的隔离,和定义用户为项目的管理员还是普通用户。访问控制列表(ACL)控制队列,数据库,表,视图,列的访问权限和授权管理。DLI使用统一身份认证来完成用户认证和用户角色管理。DLI在IAM中预定义了几个角色:Tenant Administrator(租户管理员),DLI Service Admin(DLI管理员),DLI Service User(DLI普通用户)。其中具备租户管理员或DLI管理员角色的用户在DLI内是管理员,可以操作该项目的所有资源,包括创建数据库,创建队列,操作项目下的数据库,表,视图,队列,作业。普通用户不可创建数据库,不可创建队列,依赖管理员的授权,可以执行创建表,查询表等操作。DLI使用ACL和RBAC两种模型来管理用户权限。管理员或资源的所有者可以授予另外一个用户单个或多个权限,也可能创建角色,授予权限给创建好的角色,然后绑定角色和用户。DLI提供了API和SQL语句两种方式来实现以上权限管理,方便用户灵活授权。具体使用方式可以参考DLI的权限管理。案例分析拿银行的大数据实践来分析下如何利用DLI来管理数据的权限。众所周知,银行积累了大量的用户数据,包括用户信息,交易信息,账户信息等等数以亿计的数据。而银行业务也是非常的复杂,涉及到柜员系统,监管部门,运营部门,营销部门等等各个业务线,各业务线对数据的要求不同,访问的权限不同。我们拿反洗钱业务与画像业务来简单介绍下如何利用DLI平台实现大数分析和数据资产权限管理。典型的反洗钱业务一般是大额预警和黑名单机制,需要从海量的交易数据中筛选出大额交易或者是黑名单人员交易数据,将这些数据反馈给监管人员进行进一步分析,涉及到的数据是交易数据,账户信息和黑名单信息。画像一般会分析用户的交易类型与交易数据,推断出用户的兴趣爱好,给用户画像,标记用户的兴趣点在哪些地方。涉及交易信息中的交易类型和账号信息。这两项业务中在DLI中,由数据管理员生成生成用户信息表,交易数据表,账户信息表,黑名单信息表,并导入相应的数据。在反省钱业务,授予反洗钱业务部门或人员账户信息表的查询权限,交易数据表的查询权限,黑名单信息的查询权限,通过对账户信息表和交易数据表和黑名单表的联合查询,可以查找出异常交易信息及相关交易人员,反馈给反洗钱监管人员。在画像业务中,由数据管理员授予画像业务部门或人员用户信息表的查询权限,交易数据表中交易金额和交易类型,交易商户等列的查询权限,账户信息表中的账户ID和用户ID列的查询权限,经过这几张表的联合与聚合查询,找出用户常用交易信息,包含交易类型,金额,及相关地点等信息,描绘出用户画像信息。未来展望传统企业数据资产面临着几个难题。各业务部门均会产生数据,数据标准不一致,维护复杂。各业务部门数据存在在不同的系统中,数据容易形成孤岛,无法有效挖掘利用。部门间数据共享复杂,容易形成网状授权网络,维护成本巨大。数据湖DLI方案可以解决这样的难题,使用统一的数据管理平台、数据存储、数据标准,进行统一的数据资产管理、授权管理。华为云828企业上云节期间,数据湖探索DLI也在活动产品之列,有数据分析需求的企业赶紧趁着促销入手试试。转自:https://blog.csdn.net/devcloud/article/details/108256178
  • [热门活动] “码”上开学,云帆起航:新学期,秀出你的flag
    转眼暑假已经结束结束了西瓜空调刷剧的颓(xing)废(fu)生活打起精神迎接新学期一个新学期flag是必不可少秀出你的flag活动时间:20200909-20201010活动参与方式: 在本帖回复你的新学期flag,参与幸运抽奖活动。回帖要求:以#新学期flag#开头立下新学期的flag,例如“#新学期flag#考取华为微认证”。抽奖规则:1、每个工作日从所有flag楼层中随机抽取2个楼层,对应的同学随机获得华为云水杯一个或华为云三合一数据线一条。每个华为云ID只能中奖一次哦。2、 先打卡flag的获奖几率更高,每一个华为云ID每天只能刷一次,不能连续刷楼,否则取消抽奖资格。3、如果当天参与抽奖的楼层不足2层,则奖品累加到第二天进行抽取。4、回帖必须有意义,不能是毫无意义的发言。5、所有奖品活动结束后统一发出。6、获奖名单每个工作日10点将在本帖、QQ群、微信群里同步发放,请关注哦。QQ群(1106597822)微信:扫码发送“开学季”添加小助手微信(HorizonDPService)温馨提示:关注DevCloud社区,年底活动中打卡贴出自己的完成情况,还有机会再次获取更大的奖励哦。所有奖品会在活动结束获奖名单公布后15天内发出,如因商城缺货或其他不可抗力导致的延迟,会提前和获奖用户沟通。                                                                                             报名参加码上开学,云帆起航,有机会获得P40 5G手机哦>>>抽奖日期抽奖结果(论坛昵称)奖品9月10日lyz0699citrus_pluslyz0699-华为云水杯一个citrus_plus-华为云三合一数据线一条9月11日hw46018172弈hw46018172-华为云水杯一个弈-华为云三合一数据线一条9月14日__y__蜡笔不辣__y__-华为云水杯一个蜡笔不辣-华为云三合一数据线一条9月15日JazzupVizarKingstonJazzup-华为云水杯一个VizarKingston-华为云三合一数据线一条9月16日DUT_ws开心上学了DUT_ws-华为云水杯一个开心上学了-华为云三合一数据线一条9月17日学学学习Pineapple99学学学习-华为云水杯一个Pineapple99-华为云三合一数据线一条9月18日不吃喜羊羊说是不吃喜羊羊-华为云水杯一个说是-华为云三合一数据线一条9月21日实柏AIphone实柏-华为云水杯一个AIphone-华为云三合一数据线一条9月22日ad123445另类请路过ad123445-华为云水杯一个另类请路过-华为云三合一数据线一条9月23日王亦臻队长别开枪王亦臻-华为云水杯一个队长别开枪-华为云三合一数据线一条9月24日Mr.Leo啊酒哥哥Mr.Leo-华为云水杯一个啊酒哥哥-华为云三合一数据线一条9月25日小民同学谭涟漪小民同学-华为云水杯一个谭涟漪-华为云三合一数据线一条9月27日孙小北大师哥孙小北-华为云水杯一个大师哥-华为云三合一数据线一条9月28日khg305387543海棠木khg305387543-华为云水杯一个海棠木-华为云三合一数据线一条9月29日A1ice_Coo虚荣VaingloryA1ice_Coo-华为云水杯一个虚荣Vainglory-华为云三合一数据线一条9月30日喇叭斯基扶摇直上喇叭斯基-华为云水杯一个扶摇直上-华为云三合一数据线一条10月9日dongdong123建木dongdong123-华为云水杯一个建木-华为云三合一数据线一条获奖地址请反馈在 获奖地址收集贴>>>,活动结束后我们统一发出礼品哦。
  • [技术干货] 【转载】3.7亿条保单数据怎么分析?这个大数据平台有绝招
    3.7亿条保单数据怎么分析?这个大数据平台有绝招受到新冠疫情影响,全球经济面临冲击,国内经济已进入复工复产有序发展的新常态阶段,企业想要实现持续增长需另寻突破点,越来越多的企业把视线转向了企业内部,希望通过推进精细化管理来实现降本增效。在企业精细化管理过程中,财务管理作为核心组成部分,是企业实现全面价值管理和风险管理的重要前提。因此,越来越多的企业开始引入新的管理形式和数字化系统,通过搭建业财一体化平台,将集团总部、各事业部、各业务条线的业务和财务数据进行统一的处理和加工,形成集团级数据资产,深化数据服务能力,推进集团数字化转型。大型集团的业财一体化大数据平台,对平台的性能、扩展性要求高,还要考虑到技术的快速迭代和数据量的指数级增长。华为云EI 智能数据湖FusionInsight为企业提供离线分析、交互查询、实时检索、实时流处理、融合分析、数据仓库等数据全生命周期组件。叠加在FusionInsight之上的Kyligence,为上层应用提供易用的数据模型服务,帮助分析师和数据工程师轻松从本地到云架构上构建数据服务。当前,FusionInsight联合Kyligence已在多个大型金融机构进行深度合作,并在诸多场景获得突破,业财一体化就是其中的明星场景。保险业要“正本清源”,传统数据仓库已落后在某产险公司保费增速和综合成本率双优目标背景下,需要以管理会计的全新视角归集财务成本,保证一线销售资源正本清源,协助产险各分公司“看清楚、想明白、做到位”,解决分公司资源“往哪投、投得了、敢于投”的问题。传统的数据仓库设施和平台由于本身技术架构的局限性,无法处理快速增长的数据,无法解决不同业务条线的数据孤岛问题,无法满足对海量数据中各类维度和指标进行灵活高效分析的需求,存在分析维度和分析指标偏少,分析时效滞后,分析预见性差以及回溯分析困难的痛点,无法实现业财融合。因此,全面实现业财融合,迭代资源配置方式及工具应用成为加强业务筛选、提高成本与效益平衡能力、提升公司核心竞争力的内在需求。国产大数据平台,多快好省业财一体化分析平台在数据层抽取了该财险公司3.7亿个保单数据,构建了多层级多维度的业务分析模型。技术层面通过在FusionInsight智能数据湖上部署Kyligence,结合预计算技术,高效利用Hadoop分布式计算引擎Spark,批量预计算任意维度组合的分类、汇总统计数据。同时,向应用层提供支持标准SQL接口的JDBC和ODBC驱动,无缝集成企业已有的BI前端工具,实现对BI前端查询请求的快速响应。在本案例中部署的FusionInsight和Kyligence等产品均是国产商业软件,拥有良好的本地支持团队,总体上成本较低、部署较快、扩展性较好,为企业构建了一个国产大数据平台应用。通过此项目,该险企整合来自车险、非车险、渠道、费用、精算、再保等业务财务数据,搭建了一个高性能、高并发、可扩展的业财一体化大数据平台。通过保单级成本多维构建组合分析,可支持40个维度300个指标构成的固定报表和灵活分析报表。通过维度及成本指标细分,分公司可清晰直观的剖析业务结构,筛选优质业务,结合具体业务目标及市场发展实际情况,有针对性的制定资源投放策略应对市场。通过引入精算预期赔付率与细分销售跟单费用十个段,引入成本区间分析、费赔相关系数等指标,让业务、财务均能及时清楚地了解相关层级和维度的业务成本结构,明细赔付与费用投放的匹配关系,帮助各层级机构强化对资源配置的管理。通过销管费控系统打通从销售费用预算管控到实际报销的流程,实现保单级费用险种、渠道等属性自动带入,生成最精准的分险种分渠道报表,破解过去手工指认成本属性的不准确、工作量大且业务认可度低的难题。通过保单级承保年月分类汇总“切片”,实现期间经营分析,解决经营责任无法回溯分析清晰认定的难题。最后Kyligence基于FusionInsight搭建的业财一体化分析平台,大幅提升用户分析效率,多维统计分析报表查询响应时效从“半小时”级提升到“秒”级。平台已实现40个维度、300个指标的分析规模,预算端定制报表已实现车险、非车险、农险等定制报表40余张,灵活报表数类。目前该系统已开放给1000多个总分公司机构、4000多名分析用户使用,其中车险核心用户1000多人,有效解决分公司资源“往哪投、投得了、敢于投”的问题,全面实现业财融合。828企业上云节,不如来改造升级你们的大数据平台,这里有一对一的专家服务和低价的数据库产品。
  • [技术干货] 2020-08-24:什么是小文件?很多小文件会有什么问题?很多小文件怎么解决?(大数据)
    2020-08-24:什么是小文件?很多小文件会有什么问题?很多小文件怎么解决?(大数据)
  • [其他] 驾驭云数据仓库GaussDB(DWS),逐浪大数据时代--您需要一个认证
        云计算、大数据、人工智能、物联网、5G、边缘计算等多种技术的发展和融合不断颠覆企业中各类业务原有的运营管理模式,企业管理人员对实时数据的访问需求也愈发强烈,软硬件技术的高速迭代也带来了数据的爆炸式增长。《华为全球产业展望GIV2025》预测,到2025年,全球年存储数据量将高达180ZB。面对逐渐庞大的数据,传统的关系型数据库和数据仓库已经无法满足数据的组织、存储、分析需求。    《Gartner 2020数据和分析技术十大趋势预测》中提出:“云化已经成为定局。到2022年,公有云服务将对90%的数据和分析创新起到至关重要的作用。”华为作为业界领先的科技公司,依托自身成熟先进的云计算和数据库技术,为解决传统数仓扩容难、升级复杂、成本高等尖锐问题,历经10年技术沉淀,打造出华为云的尖刀产品GaussDB (DWS)。GaussDB(DWS)连续三年在Gartner魔力象限国内厂商排列第一,荣获2020中国信息通信大数据解决方案奖,在业界第一个通过了512节点大规模集群认证,还被宇宙第一大行用来承载核心数仓业务。同时作为鲲鹏产业的一员,鲲鹏先进的芯片技术也为GaussDB(DWS)插上鲲鹏之羽,助其展翅高飞。    GaussDB(DWS)基于GaussDB,完全兼容SQL标准,专为数据分析而生!关于华为云数据仓库服务GaussDB(DWS),你不得不知道的“大秘密”:1.极速分析性能:全并行计算引擎+软硬件垂直优化,分析性能相比X86提升50%2.行列混合存储:满足OLAP分析、高并发精确查询不同场景性能所需3.极速海量数据入库性能:支持每天百TB数据高速入库4.支持存算分离、按需独立扩展、独立计费,性能随节点数线性提升5.提供迁移工具,平滑迁移Oracle/TD/Mysql数据分析库6.SQL On Anywhere特性:横向支持跨源、跨集群协同分析;纵向支持SQL on OBS,EB级数据湖探索7.安全高可靠:集群内实现高可靠设计架构,集群间支持跨AZ容灾部署,支持多种自动化数据备份策略,通过欧盟PSA、安防部、ISCCC、ITSS、DCA等多项安全合规认证GaussDB(DWS)目前服务于全球500+行业大客户,为不同企业量身打造了适合于其业务需求的一站式数据平台。1.疫情防控一把手:以华为云数据仓库服务GaussDB(DWS) 为核心的大数据解决方案助力工信部在全国构建电信综合分析大数据暨疫情大数据平台,该平台在工信部及全国31省全覆盖上线,改变了原有强依赖人工进行数据处理的方式,实现了数据的统一接入、整合以及统一规范建模,平台承载总数据量达到30+PB。GaussDB(DWS)作为疫情数据专题库,高效支撑了多个应用的运行,注册用户量500万+,单日查询2500万次+,累计查询26亿次+,全面助力全国新冠肺炎疫情的有效防控。2.中国工商银行新一代融合数仓:工商银行在转型大数据服务云的过程中,与华为进行GaussDB联合创新,实现PB级数据的迁移,率先完成金融行业大数据平台的转型。由传统的一体机模式升级为开放可扩展的分布式架构,性能大幅提升,助力全行数据服务向智能时代的跃进。3.广联达一站式存储和分析平台:广联达是全国领先的数字建筑平台服务商,旨在用科技让每一个工程项目获得成功。广联达采用华为云数据仓库服务GaussDB(DWS)全面替换了线下传统关系型数据库(MySQL、Oracle、PostgreSQL),构筑了以数据仓库服务为核心、统一免运维、高可靠的数据存储和分析平台,实现一站式数据存储、加工、分析。该平台能够基于TB级历史数据实现秒级查询,性能平均提升10倍,有效支撑业务数据查询及多维分析、BI报表、精准推荐等应用的同时节省了50%管理和运维人力成本。    在数据爆炸式增长的当下,数据仓库越来越发挥着基石一般的作用,为数据分析、数据挖掘和AI应用提供数据存储和计算的平台,越来越多的企业也对大数据人才逐渐提出了更高的要求和更严苛的标准,市场对行业人才的诉求也越发明显,但高端类人才的供应远不能满足市场的缺口。麦肯锡报告曾指出,美国企业还需要150万能够提出正确问题、运用大数据分析结果的大数据相关管理人才。《2019年AI&大数据人才就业趋势报告》中提到,以2015年为时间起点和比较的基准点,在过去的18个季度里,AI&大数据领域与互联网行业的人才需求成倍数持续增长,到2019年二季度达到最高值,前者为11.75倍,后者为10.66倍。同时AI&大数据对技术要求更高、更前沿,人才的稀缺性更强。    因此,无论是对数据仓库没有基础认识或者简单了解过相关概念的在校学生或者其它岗位从业者,还是使用过数据仓库的相关开发人员,亦或是已经从事数仓运维但是想要更好地了解数仓性能调优的工程师们,都能够以GaussDB(DWS)为学习和使用的契机,来进一步提升个人的综合能力,让个人在数据仓库领域有更深的见解,在职场中具备更明显的优势。HCIP-GaussDB-OLAP认证介绍与预约考试:https://e.huawei.com/cn/talent/#/cert/product-details?certifiedProductId=195&authenticationLevel=CTYPE_CARE_HCIP&technicalField=PSC&version=1.0GaussDB(DWS)开发者论坛(问题答疑+技术分享):https://bbs.huaweicloud.com/forum/forum-598-1.html
  • 数据上云全场景覆盖,华为云助力企业智能化升级
    当下,数字经济来临,新技术带来便利的同时,更多的企业面临着机遇和挑战。从社会趋势来讲,生产要素已由农业经济发展到工业经济再到数字经济,数据成为新生产要素,智能成为新生产力。 从Gartner趋势分析表明,企业面临着资源分散、数据不通、应用孤立等问题,这类烟囱式应用和数据孤岛已成为企业数字化转型的阻碍;企业数据逐步多元化,数字化业务井喷增长,驱动企业需要构建一个跨越多域数据、简单、一致的数字化运营生态系统。随着技术的发展,探索数据价值一直在持续,数据平台技术架构也逐步在进化。华为云针对企业上云与治理提出了一套适用于互联网、金融、游戏、产业云等行业的解决方案,数据采集到数据处理与汇聚,再到数据计算与分析,最后到应用与消费层,通过对数据的一系列操作(采集、处理、分析和应用),构建了全场景数据服务助力企业数字化转型,最终实现从数据到价值的闭环。图1 数据技术平台整体技术架构 数据采集与处理对核心关键应用如ERP、CRM、PDM等应用产生的数据来讲,经过数据复制服务DRS采集后,迁移至云上数据库,华为云数据库具备轻松实现存储容量扩容、快速便捷的实例规格变更,内核深度优化,业务并发量1000+时性能依然保持稳定,扩容仅需几分钟。具有超高的数据可靠性等特点,保障客户业务稳定运行。对于邮件,文档,网页,监控、车辆等非结构化数据,此类面向分析型场景,将通过实时数据接入kafka等服务进行数据采集,可存入对象存储服务OBS,通过流查询,交互式查询等方式,对数据进行挖掘和批处理和批计算。同时以全栈大数据MapReduce服务为基础,提供一站式大数据平台解决方案,一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台,并且与华为云IOT物联网、ROMA平台、数据湖工厂及数据可视化等服务对接,轻松解决数据通道上云、大数据作业开发调度和数据呈现的困难,使用户从复杂的大数据平台构建和专业大数据调优和维护中解脱出来,更加专注行业应用,完成一份数据多业务场景使用的诉求,实现自动伸缩,按需使用和计算存储分离,更低成本更高性能。数据分析与应用面向操作型场景,数据库的管理可以由数据管理服务DAS实现,DAS是用来登录和操作数据库的Web服务,提供数据库运维开发功能以及 DevOPS服务。为方便用户使用和运维华为云RDS,提供数据和表结构的同步、在线编辑,SQL输入的智能提示等丰富的数据库开发功能。同时面向大企业提供基于权限最小化控制和审批流程机制,提供数据保护、变更审核、操作审计、研发自助化等数据库DevOPS平台,帮助企业实现大规模数据库下的标准化、规范化、高效率、超安全的管理手段。面向分析型场景中,用于计算与分析的数据仓库服务GaussDB(DWS),是实时、简单、安全可信的企业级融合数据仓库,可借助GaussDB(DWS) Express将查询分析扩展至数据湖。华为云数据上云方案,可实现贯穿数据全流程一站式开发运营平台,提供全域数据集成、标准数据规范架构研发、连接并萃取数据价值、统一数据资产管理、数据智能分析与可视化、数据开放服务,可帮助企业构建完整数据中台解决方案。同时跨源分析选择数据湖探索DLI服务,数据免搬迁,是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务,无需大数据背景,会SQL就会大数据分析。通过一系列流转将数据转化为资产,企业将IT系统、数据及IT服务集中到统一的云管资源池中,将会提升整体资源利用率和工作效率,改善流程,降低运营成本。号外:828企业上云节,来企业数据上云和治理专场,数据上云难题一站式解决,不但有亿元上云补贴,还有新购满额送华为手机P40 Pro 5G,更多豪礼等你来拿~
总条数:1461 到第 页
上滑加载中