• [行业动态] 华为云TechWave全球技术峰会成功召开,数据使能,驱动业务增长
    据预测未来4年数据量将激增5-8倍,达180ZB,到35年呈50倍增长。同时,数据作为继土地、资本、技术、劳动力的第5种生产要素,已是数字经济发展的重要要素。但相关调查结果显示,企业运营中仅56%的数据被存储,仅32%的数据被利用。因此,在政企数字化转型的关键阶段,如何利用数据湖、数据仓库、数据库等技术,加速数据资产化,发挥数据新价值,成为当前数据领域的重要话题。4月8日,华为云TechWave全球技术峰会在深圳成功举办,峰会以“创新·普惠”为主题,汇聚业界精英、技术大咖、先锋企业、合作伙伴等,共话前沿技术,分享行业优秀应用实践,探讨企业智能升级的成长之道。其中,数据使能分论坛围绕“数据使能,驱动业务增长”为主题,首先解读华为云数据使能服务DAYU,同时招商银行、深圳地铁将分享数字化转型创新实践,合作伙伴永洪BI畅谈联合解决方案,最后由华为云FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术专家共同探讨政企用数之道。(数据使能分论坛现场照片)华为云数据使能DAYU重磅开场:加速数据资产化,开发数据新价值(华为云数据使能服务总经理马麟瑜演讲)华为云数据使能服务总经理马麟瑜表示,“数据管理的领导者正在通过挖掘数据价值来驱动数字化转型,创造发展机会,改善客户体验和重塑行业格局。华为云数据使能DAYU致力于打通企业数据从资源到资产的通路,助力政企客户跨越孤立系统、感知业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。”华为云数据使能服务DAYU包含三层能力:数据技术平台-智能数据湖 FusionInsight:为政企客户提供覆盖海量数据全生命周期的管理方案。包含MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库、数据湖治理中心DGC等服务。使能套件 DAYU Ekit:包含使能在线化工作台,资产化效率提升10X; 行业使能知识库,协同伙伴沉淀行业资产模型,同时将AI驱动方法论与行业知识结合,实现数据资产化智能流水线工作。资产中心 DAYU Hub:通过为客户提供丰富的数据模型、数据资产管理方法,帮助企业实现资产可信管理,资产模型智能分析 ,多方安全可信计算,保障全局数据的安全流通。招商银行、深圳地铁分享大数据创新实践数据使能分论坛中,招商银行、深圳地铁分别分享了基于华为云数据域的行业创新实践。(招商银行数据仓库架构师曾民演讲)招商银行数据仓库架构师曾民表示:招商银行通过使用华为云强化了数据平台的建设,“人人用数”战略让招行没有难用的数据,打造金融数仓,秉承“源于业务,高于业务,先于业务”的理念,以解决实际业务问题为出发点,沉淀可复用易扩展的数据使能能力,成为数据“能用,好用,爱用”的践行者与布道者。早在2019年下半年,招商银行就开始了新一代MPP数据仓库平台的选型,旨在通过对数据平台的数据处理能力、性能、高可用性、扩展性、易用性、通用性等特性进行多方位的考察。通过多维度的测试,最终选定华为云GaussDB(DWS)作为新一代云上数据仓库平台,进一步提升了金融数仓的算力、备份、存储等性能,加速落实招行“人人用数,人人都是数据分析师”的数据发展战略!同时招商银行已和华为云FusionInsight MRS展开了一系列金融数据湖联合创新,旨在使用HetuEngine提高用数效率,简化用数方式。(深圳地铁运营集团线网管控中心副总经理张洪庆演讲)深圳地铁运营集团线网管控中心副总经理张洪庆在“云数赋能,实现智慧深铁“议题中表示:“在智慧城轨快速发展的大背景下,深圳地铁以科技赋能运营为目标,积极探索智慧运维新模式。在智慧城轨探索上,试点先行,顶层规划和企业标准同步推进,采用了华为城轨云解决方案,利用云计算、大数据、5G、人工智能等技术核心,建立了统一、开放、智能的城轨数字平台。在城轨云平台基础上,利用华为云 FusionInsight MRS云原生数据湖能力构建深圳地铁大数据分析平台,在智慧车站、智慧运维方面,对新技术与地铁场景进行创新融合,推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用,探索数字化、高效化的新业务模式,科技赋能运营更高质量运行,企业更低成本运作,为城市提供更优质的公共交通服务。”(永洪BI技术专家黄华晃演讲)合作伙伴永洪BI分享基于华为云实现敏捷BI的联合解决方案永洪BI技术专家黄华晃分享了“永洪BI自助用数,敏捷提效20倍“议题,并表示基于华为云FusionInsight MRS云原生数据湖,永洪BI实现快速搭建应用,打造了更敏捷、更快速、更强大的“永洪BI”,具备自服务、高性能、极致易用等特点,已广泛用于金融、政务、能源等行业,让人人都成为数据分析师!至今,华为云FusionInsight联合800+ISV,已为千行百业的客户提供“一企一湖、一城一湖“的数字化转型方案。数字化转型之路离不开客户对于华为云FusionInsight智能数据湖的信赖,也离不开伙伴的精诚合作。同时,华为云也坚持技术创新,在MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等产品上不断潜心钻研,勇攀技术高峰!华为云FusionInsight、GaussDB技术专家共谈数字化转型创新技术华为云FusionInsight解决方案首席架构师徐礼锋在会议中分享了“华为云FusionInsight MRS云原生数据湖一架构三湖,持续演进“的议题,深度解读了一个架构实现三种湖的能力和新技术。(华为云FusionInsight解决方案首席架构师徐礼锋演讲)逻辑数据湖:HetuEngine提供跨湖、跨仓、跨云统一访问,减少数据搬迁,数据高效流动,全域数据秒级协同分析秒级响应,业务上线效率提升10倍,由周级缩短至天级。实时数据湖:流处理 + Hudi实现数据更新入湖,从T+1到T+0; ClickHouse提供毫秒级实时OLAP分析能力;Flink提供FlinkSQL能力,批流SQL接口统一,实现流批一体。离线数据湖:HetuEngine提供秒级交互式查询能力,数据不出湖,分析链路短,性能比Impala快30%+,分析提效10倍+;DLC提供统一的元数据,数据全局可视; HetuEngine提供湖内统一SQL接口:HDFS、Hive、HBase、ES等,简化用数。华为云FusionInsight MRS践行产学研合作,全面推进大数据开源技术发展,联合清华大学发布了IoTDB时序引擎版本。目前华为云FusionInsight MRS已应用于60多个国家3000+客户,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!华为云GaussDB技术专家胡彦军分享了“华为云云原生分布式数据库GaussDB,多模架构,多元生态“的议题,为我们解读了华为倾力打造的云原生数据库GaussDB系列产品的技术创新与行业普惠。(华为云GaussDB技术专家胡彦军演讲)华为云GaussDB(for openGauss)基于云化的部署模式,分布式形态,生态开放,更好满足了企业的数据库诉求。经过13年的积累,从内部锤炼,再到外部行业实践,华为云GaussDB(for openGauss)淬炼出6大核心能力:(1)超高可用:支持跨机房、同城、异地、多活高可用,支持分布式强一致,数据0丢失。(2)开放生态:openGauss开放生态,确保客户避免被类似传统商业数据库的封闭生态锁定。(3)极致扩展:通过分布式全局事务一致性优化,实现计算与存储的垂直扩展能力,同时支持新增分片的数据在线重分布能力。(4)卓越性能:分布式优化器+Numa-aware技术加持,提供极致性能。在TPC-C、TPC-H等企业级负载下性能表现卓越。以及具备丰富的企业级特性(如支持HTAP混合负载,拥有AI自治能力)和超高的安全性(具备独立的代码级的问题修复能力及架构优化能力),构建了极具竞争力的能力。华为云GaussDB(DWS)技术专家李海丰分享了“华为云GaussDB(DWS)实时数仓,提速全场景数据分析“的议题,其中实时数仓的时序引擎和CEP引擎成为亮点。(华为云GaussDB(DWS)技术专家李海丰演讲)华为云GaussDB(DWS) 是一款具备分析及混合负载能力的分布式数据仓库,支持行存储与列存储,提供PB级数据分析能力、多模分析能力和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。作为新一代全场景云原生数据仓库,它不仅仅是把数仓搬上云这么简单,而是真正面向未来的云原生架构的数仓服务。传统数仓一般是基于分布式shared nothing的MPP架构实现的,而GaussDB(DWS)在MPP架构的基础上,与高性能的云存储相结合,打造了多温存储的存算分离架构,支持资源的弹性伸缩。同时,逻辑集群和多租户技术,将存储和计算资源进行了更细粒度的隔离,用户可以对不同的业务划分不同的逻辑集群或租户,实现更加灵活的弹性。受益于云服务的多样性,GaussDB(DWS)支持多源、多模的融合分析,既可以在库内支持时序、流、全文检索、GIS等内置多引擎的数据分析,又可以基于OBS实现跨引擎的协同计算,例如与FusionInsight MRS云原生数据湖、GES图引擎、ModelArts AI平台等实现数据免搬迁。至此,华为云TechWave全球技术峰会数据使能分论坛圆满结束。围绕“数据使能,驱动业务增长”主题,为现场观众讲述了金融、交通等行业的数字化转型创新实践,联合合作伙伴畅谈数据湖BI联合解决方案,云集华为云DAYU数据使能、FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术专家共聚一堂“鹏城论数”,探讨政企用数之道,分享了政企客户数字化前沿技术。下一场,上海,与您不见不散!调查问卷更多内容,华为云FusionInsight系列文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 
  • [热门活动] 华为云TechWave数据使能分论坛,“鹏城论数”邀您来
    4月8日,华为云TechWave数据使能分论坛,“鹏城轮数”邀您来!感兴趣的小伙伴们赶紧行动起来,扫描或长按下方二维码进行报名吧!据相关数据显示,未来4年里数据量将激增5-8倍,达180ZB,到35年呈50倍增长,达2100+ZB。同时,数据作为继土地、资本、技术、劳动力的第5种生产要素,是数字经济发展的基础。但调查结果显示,企业运营中仅56%的数据被存储,仅32%的数据被利用。因此,在政企数字化转型的关键阶段,如何使用技术领先的数据湖、数据仓库、数据库等技术,加速数据资产化,开放数据新价值,成为当前数据领域的重要课题。4月8日,华为云TechWave全球技术峰会与您相邀深圳。届时,华为云TechWave全球技术峰会以“创新 ∙ 普惠”为主题,围绕分布式云、云原生、音视频、数据等热点话题,携手来自全球的IT精英、技术大咖、先锋企业、合作伙伴共话前沿技术,发布华为云最新产品和解决方案,分享行业最佳应用实践,探讨企业智能升级的成长之道。其中,数据使能分论坛围绕“数据使能,驱动业务增长”为主题,将从金融、交通等行业的数据创新实践、合作伙伴的联合解决方案,以及华为云DAYU数据使能、FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术创新普惠,共同探讨政企用数之道。l  亮点一:客户讲述基于华为云的创新实践,包含招商银行如何使用华为云GaussDB(DWS)打造业界领先的金融数仓,深圳地铁也将发表“云数赋能,智慧深铁”的演讲。l  亮点二:合作伙伴永洪BI基于华为云打造敏捷BI产品,揭开敏捷BI提效20倍的神秘面纱。l  亮点三:华为云各领域数据专家齐聚一堂,论述“加速数据资产化,开放数据新价值”这一话题,围绕政企客户用数,亮出各自“黑科技”。4月8日,看金融、交通等行业用数趋势,谈合作伙伴联合方案,学华为云技术专家解读华为云数据使能服务“独门秘籍”,各路领军人物“鹏城论数”,尽在华为云TechWave全球技术峰会数据使能分论坛!会议时间:2021年4月8日 13:30 – 15:30会议地点:广东省深圳市深铁皇冠假日酒店(深南大道9819号)名额有限,动动小手,长按下图二维码赶快报名吧!
  • [华为动态] 华为云数据使能DAYU全新升级,释放数据价值
    12月3日,华为云TechWave数据使能专题日,华为与产学研专家和意见领袖共同探讨如何通过数据使能加速政企数据资产化,释放数据价值,并推出全新升级的数据使能服务DAYU。点击图片查看更多国家政策指引,数据资产化提速十九届四中全会,数据作为生产要素被纳入到整个国民经济收入分配的改革序列,这标志着数据要素市场化进入快车道,数据管理更注重以价值为导向,让数据可得、可用和好用。中国信息通信研究院云计算与大数据研究所副所长魏凯指出:“ 随着5G和工业互联网的到来,数据爆炸式增长、数据资产化之路才刚刚开始,我们需要新数据基础设施来应对数据资产化的潮流,就如同修建高速公路、石油管道一样。数据存和算、数据资产管理、数据可信流通,是新型数据基础设施的三个关键,将引发新一轮数据驱动的创新。”国家**大数据发展部规划与应用处处长王建冬在访谈中表示:“ 数据要素市场的建立首先要在机制和技术上解决两大问题:数据资产确权的重点是要解决“数据可用不可拥”,数据可信流通的重点要解决“数据可用不可见”。国家发改委提出,推进企业通过‘上云、用数、赋智’三步走的方式加快数字化转型,第二步用数,就是要加快企业中数据的标准化和资产化。”DAYU全新升级,加速将数据资源转变为数据资产华为云数据使能服务总经理马麟瑜介绍,数据使能DAYU承载的使命就是帮助客户将数据资源转变为数据资产。这次全新升级,把DAYU从技术平台的一个组件,升级为包含数据应用、数据资产中心 DAYU Hub、数据使能套件 DAYU Ekit、智能数据湖 FusionInsight的数据使能服务,就是希望彻底把企业数据资源到数据资产的加工链打通,开放华为自身积累的数据治理方法论和能力,加速释放千行百业企业数据的价值。DAYU数据使能服务将这套方法论开放出来,通过数据治理实现清洁的数据,通过智能数据资源管理服务实现数据资产化。马麟瑜强调,AI驱动是DAYU非常大的一个差异点, AI能力贯穿数据处理流程,以管数和用数为核心,打造智能数据增强体系,实现数据的智能化治理。DAYU可以减少50%以上数据管理类重复性的工作,提升企业数据管理的效率。作为非数字原生企业数字化转型的亲历者,华为集团IT人工智能使能部部长许榕俊生动总结了在数字化变革的实践过程中数据管理遇到三大挑战:▸一、数据的可信,通过数据治理把不可信的数据标准化变成可信数据;▸二、打造数据消费和应用的平台,发挥出数据的价值,用三个“一”生动诠释了如何把数据消费当做水电一样,拧开水龙头就可以用:一月:假设数据在企业里还没有,或是数据还没有产生和定义,我们一个月内让这个数据被产生和采集;一周:如果这个数据已经有了,要做数据消费分析,一周内就能入湖、标准化建模,被消费;一天:如果这个消费已经在数据湖里建模,一天内就能进行构筑分析。▸三、针对数据本身也是很大的系统,有大量海量重复的工作,这时就需要数据治理+AI,在长长的数据加工链中嵌入大量的AI工具来加速。针对DAYU吸取了大量华为内部数字化转型的实践经验,现在把方法论和技术平台开放给生态,许榕俊先生为合作伙伴和行业客户给出三点中肯的建议:▸一、希望上面有更多数据价值变现的模型和模板,使能各个企业,让企业发现数据价值,在数据上受益,树立数据管理和数据治理的典范;▸二、要构筑数据的加工链,降低数据产品的构建成本,这点很重要。过去做一个分析投入多,现在把这些经验变成元数据治理等服务,可以极大降低数据开发的成本,成本越低,产品就会越多;▸三、数据产品构建的运行安全稳定性和效率也很重要的。数据已经成为生产系统,在数据分析和人工智能的过程中,数据任何的偏差都会造成很大的影响。携手伙伴,让千行百业数据清洁有序,释放数据价值本次数据使能专题日,也邀请来自政府、金融、机场数据管理领域的合作伙伴分享经验。●华傲数据聚焦政府数据治理,华傲CTO陈立介绍针对政府数据获取难、使用难的两大痛点,结合DAYU的产品和技术架构,和华为云形成联合解决方案。华傲为数据打上标签,不同质量的数据有不同的应用场景,通过五级五色把数据分为五个级别,每个级别提供不同色彩的应用场景;类似于水的治理,不同的水质提供不同的应用场景,例如:一类水质良好,简单消毒即可饮用;而五类水质只适用一般景观用水。基于DAYU工具,华傲数据通过定源、定过程和定需的方法帮助政府快速、高质量构建数据体系,让城市真正站在数据之巅。●北明软件联合华为云提出了数据治理的一整套机场建设方案,依托华为云DAYU和北明软件的行业积累,结合机场的分析需求,构建一整套业务指标体系,通过API形式进行开放。北明大数据事业部副总经理魏路指出,此举快可速提升机场决策效率,促进机场数字化转型,提升服务体验和机场的社会、经济效益,这套方法可以复用在众多机场上。●长亮拥有完整的数据资产管理体系方案,为70+金融客户提供数据治理解决方案。长亮数据副总经理蔡玉琳介绍:“长亮与华为云联手,为全国4家股份制银行与十余家城商行陆续推出了联合解决方案,包括不限于数据仓库、历史数据查询、智能风控等,共同推动金融客户的数字化转型。”在圆桌讨论中,大家从产学研的不同角度,就数据管理领域所面临的挑战和建议展开了精彩纷呈的讨论。最后,马麟瑜寄语,希望数据使能服务DAYU能够在技术和商业之间搭建一座智能的桥梁,如同大禹(DAYU)治水一样,让数据清洁有序,释放千行百业数据的价值。
  • [教程] 《DAYU数据使能实施服务伙伴赋能课程》答疑FAQ
    本贴用于答疑《DAYU数据使能实施服务伙伴赋能课程》中学员产生的问题,课程链接如下:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE133+Self-paced/about?isAuth=0&cfrom=hwc本贴将长期保持更新,持续答疑学员在课程实操中遇到的问题。实操资源相关问题FAQQ:打开账号之后进入对应的云服务页面显示没有权限怎么办?A:请确保区域Region选择【华南-广州】。Q:我的考试用账号里面已经有其他学员使用过/创建的库/表/资产了,这是怎么回事?A:本次实操每位学员都是拥有唯一的子账号的,若存在此情况,请联系各团队接口人,询问是否是账号分配失误或其他问题。3.2章节:《云服务资源及参数准备》FAQQ:创建不了xx资源怎么办?A:您的子账号已经开通实操所需的所有相关资源,请不要新建资源。3.2章节不需要实操。3.3章节:《RDS MySQL客户数据源模拟》FAQQ:MySQL创建导入任务时,“创建导入任务”的按钮是灰色的,无法点击。A:将导入的SQL文件后缀改为.sql小写即可。3.4章节:《DLI贴源层数据库表构造》FAQ3.5章节:《DAYU规范设计》FAQQ:在审核中心已经创建了审批人,发布指标/模型的时候没有自助审批的选项,而且发布之后一直显示待审核状态。A:审批人需要选择实操的子账号HC_DAYU_studentxxx,不要选择主账号hwstaff_lxxxxxxxx,否则将没有权限进行审批。解决办法:首先您需要添加子账号HC_DAYU_studentxxx作为审批人,然后进行二选一:1. 创建一个新的指标(例如坪效1)重新自主审批,或 2. 找华为的课程答疑接口人,让其使用主账号通过该发布请求。3.6章节:《DAYU数据开发:脚本开发》FAQQ:跨源链接超过5个,无法再创建了怎么办?A:跨源链接是可以共用的,请不要创建新的跨源链接,直接使用已有的跨源链接即可。尤其不要删除已有的跨源链接,这样会导致其他学员的脚本作业失败。Q:数据插入跨源表的脚本报错,显示The connection attempt failed怎么办?A:首先请确认是否所有操作都与视频中一致,包括右上角的数据连接/数据库/资源队列选择。若已排查所有问题,则可能是由于上一个FAQ中有其他学员删除了您所使用的的跨源链接,导致您的跨源链接失败了。此问题的解决办法:1. 换一个跨源链接(不要自己新建,使用已有的)。2. 在脚本开发中删除已有的跨源表。3. 重复脚本开发步骤,重新创建跨源表。Q:数据插入跨源表的脚本报错,显示Invalid username/password, login denied怎么办?A:请确保passwdauth字段填写“retail_auth”。该问题报错是由于我们分配的DWS账号是子账号,没有跨源链接的权限。retail_auth跨源认证使用的是DWS主账号,所以不会报错。3.7章节:《DAYU数据质量》FAQQ:在“规则管理“页面定义指标关系报错,按照课程视频中的操作写了关系表达式,却显示“关系表达式不能为空”?A:您使用的浏览器不支持这个页面,需要更换一个浏览器使用,如谷歌chrome。Q:在“新建业务场景”页面的“订阅配置”步骤中,通知没有可选的主题,怎么办?A:我们本次实操并没有开通SMN资源,“订阅配置”顶部的“通知状态”请直接关闭,不要开启。3.8章节:《DAYU数据集成:CDM云数据迁移》FAQQ:添加SK/AK时需要手机号进行验证,而考试用子账号的手机号不是我的手机号怎么办?A:我们开发了一个修改子账号手机号的脚本,下载后运行,输入子账号后三位和正确手机号即可进行修改。脚本下载地址(使用这个即可):【请点击此处下载exe】;脚本源文件下载(若不放心exe可直接看源文件,需要python环境运行):【请点击此处下载py】 。Q:下载下来的credentials.csv,里面的字段哪个是AK哪个是SK?A:Access Key是AK,Secret Key是SK。Q:在“表/文件迁移”tab中创建任务分组,显示没有配额了怎么办?A:如遇到这种情况,请使用别人创建好的分组。在您创建的任务名称后方添加 _名字 标识即可。3.9章节:《DAYU数据开发:作业开发》FAQQ:左侧节点无法拖动到中间的画布,或者拖到画布之后显示有问题,这是怎么回事?A:您使用的浏览器不支持这个页面,需要更换一个浏览器使用,如谷歌chrome。Q:贴源层及明细层作业运行失败了是怎么回事?A:可能的原因1. 请见3.8章节第三个FAQ,您是否使用成了别人的CDM作业节点?Q:集市层作业运行失败了是怎么回事?A:可能的原因1. 请见3.6章节第二个FAQ。3.10章节:《DAYU数据资产》FAQ3.11章节:《DAYU数据服务》FAQQ:发布API的时候提示重名了怎么办?A:可以在API名称后面添加属于自己的标识,例如 _公司_名字 即可。3.12章节:《DAYU数据治理实操考试》FAQQ:删除不掉schema怎么办?A:您需要先删除schema里面的表,使用drop table schema.表进行删除。
总条数:19 到第
上滑加载中