• [行业动态] 金华市人民政府与华为签署战略合作协议
    1月4日,金华市人民政府与华为技术有限公司(以下简称“华为”)签署战略合作协议。金华市委书记朱重烈与华为高级副总裁、政务一网通军团CEO杨瑞凯共同见证金华市政府与华为战略合作协议签约。金华市委常委、市委秘书长李雄伟主持,华为浙江总经理赵蕊,华为华东采购中心副总裁刘胜林等出席了签约仪式。副市长章旭升与华为浙江政企总经理马力分别代表双方签署协议。朱重烈对战略合作协议签署表示祝贺。希望双方进一步落实合作事项,聚焦自主创新、人工智能、产业数字化、人才培养、新能源超级快充和光伏、数据要素等领域对接,清单化、项目化推动合作事项落地;深化数字政府、数字经济、数字治理等领域合作;拓展在产业链、供应链方面合作的深度和广度,共同打造更多具有金华辨识度的标志性成果。杨瑞凯在致辞中讲到,华为将充分发挥在软件创新、人工智能、产业数字化、数字能源、人才培养等领域的领先优势,基于长期积累的技术经验和研发创新能力,全面参与金华数字经济建设和新型工业化发展。根据协议,双方将围绕“打造国际枢纽城,奋进现代都市区”目标,以数据资源为关键发展要素,聚焦人工智能和自主创新等核心领域,全力以赴推进金华数字经济高质量发展。
  • [公告] 华为云实时智能风控RTD简介
    1 背景1.1 风控概念互联网诞生以来,互联互通的信息浪潮,压缩了传输的空间和时间,打破了以往阻绝流动的藩篱,人们的生活得到了极大的便利。尤其是在移动互联网的背景下,没有绝对的隐私,没有绝对的安全,风险无所不在。风控技术是保证机构和个人利益重要手段。风控(Risk Control)是指在金融、营销、互联网等领域中,通过识别、评估和管理风险,采取相应的措施来控制和降低风险的过程。 1.2 传统风控技术挑战随着黑灰色产业链产业化,精准化,移动化,技术化,风控技术面临巨大挑战。传统风控系统数据维度单一,多维度多场景难以协同,很难应对团伙欺诈等新变化。事中缺乏对复杂、高并发场景的实时计算能力,既要实现笔笔风控检测又要保障用户体验的双目标难以满足。另外欺诈模式隐蔽化,场景化,社工化演变,经验规则无法应对多变场景,自动化水平低。 1.3 实时智能风控的价值实时智能风控是一种利用人工智能(AI)技术对风险识别和管理的方法。它通过自研算法模型对大数据分析、机器学习等技术进行融合,提供实时、准确和全面的风险识别和管理,以保护组织免受潜在的威胁和损失。它可以应用于不同领域,如金融服务、电子商务、保险、网络安全等。2 华为云实时智能风控RTD关键能力2.1 变量和规则计算变量和规则是RTD系统核心概念。变量是规则的输入,在规则执行前会进行一系列的计算。根据变量的特征可以分为事件变量,批次变量,实时查询变量,模型变量和窗口变量等。变量和规则具有以下特点:丰富的变量来源,覆盖业务场景广泛。支持黑白名单,满足特殊业务诉求。规则可分组加权计算。支持第三方请求变量,扩展决策流。 2.2 复杂规则实现复杂规则特点:需要保存历史数据,大窗口计算,数据间有相互作用。举例: 几天内多笔转账金额上下浮动10%。 几天内多笔转帐金额连续递增。传统规则引擎做法: 类似drools规则引擎 + mysql或oracle等。缺点: 需要java代码+SQL,开发成本高。 复杂规则SQL交互多,性能很差;一般都是秒级或者分钟级响应。流处理技术做法: 通过流处理计算统计值,加CEP判断,这种一般适合于依赖历史数据少的,基于当前数据的特征或者黑白名单或者有前后顺序的数据处理。缺点: 大窗口计算性能差,甚至无法计算。 不同的计算逻辑无法共享数据,占用内存资源多。 需借助多流Join对多事件源协同处理。最好的实现方法: 超高性能的内存计算DB引擎 + 支持事务的PLSQL实现规则。 2.3 多维度协同决策维度是业务管理颗粒度,比如说卡人维度、卡片维度、商户维度等,不同的维度可以定义各自的变量和规则。实时智能风控RTD支持多多维度协同计算,决策准确性更高。 多事件源:多事件源共享内存计算引擎,实现数据共享,比如先识别登录才能转账 多维度:父子维度多维度同时决策,比如一个帐户在过去3天转帐超过5次,设备使用都是安卓,这次转账使用了非安卓手机,且IP地址不一样。 近数据源计算:规则在数据节点执行,近数据计算,实时性高,性能达到极致。 2.4 灰度发布灰度发布(Gray Deployment)是一种软件发布策略,它允许在生产环境中逐步将新版本的软件部署给一部分用户或服务器,以便在全面推广之前进行测试和评估。降低风险:灰度发布可以帮助降低发布新版本时的风险。通过逐步将新版本部署给一小部分用户或服务器,可以在全面推广之前及时发现和解决潜在的问题和错误。这样可以避免出现全面发布后对所有用户造成的严重故障或影响。提供实时反馈:通过将新版本的软件部署给一小部分用户或服务器,可以获得实时的用户反馈。这些反馈可以帮助开发团队及时了解新版本的性能、稳定性和用户体验,并根据反馈进行必要的调整和改进。控制发布节奏:灰度发布允许控制发布的节奏和速度。可以根据实际情况逐步增加新版本的部署比例,确保系统的稳定性和可用性。如果在灰度发布的过程中发现了问题,可以暂停或回滚发布,以避免对所有用户造成不良影响。 2.5 冠军挑战者冠军挑战者(Champion-Challenger)是一种在业务或技术领域中常用的策略,它通过同时运行并比较不同的解决方案或策略,以确定最佳的方案。创新和改进:冠军挑战者方案鼓励创新和改进。通过同时尝试多个解决方案或策略,可以发现新的想法和方法,提高业务或技术的效率和效果。挑战者方案可以激发竞争和创造力,推动组织不断进步和发展。降低风险:冠军挑战者方案可以降低决策的风险。通过同时运行多个方案,可以在实践中评估它们的表现和结果。这样可以避免过度依赖单一方案而导致的潜在风险和失败。如果挑战者方案表现更好,可以及时调整冠军方案,减少潜在的损失。数据驱动决策:冠军挑战者方案基于数据和实证结果进行决策。通过同时运行多个方案并收集相关数据,可以进行客观的比较和评估。这样可以基于实际数据做出决策,而不是仅凭主观判断或假设。 2.6 规则和模型融合机器学习在风控场景使用越来越广泛,它可以帮助机构和组织更好地识别、评估和管理各种风险。欺诈检测:机器学习可以用于欺诈检测,通过分析大量的交易数据和用户行为模式,识别潜在的欺诈行为。基于历史数据和模式识别算法,机器学习模型可以自动识别异常交易、盗刷和欺诈活动,帮助机构及时采取措施防止和减少损失。信用评估:机器学习可以用于信用评估,通过分析借款人的个人信息、历史借贷记录和其他相关数据,预测其违约风险。机器学习模型可以根据大量的历史数据和特征,建立预测模型来评估借款人的信用状况,并帮助机构做出更准确的信用决策。信用卡反欺诈:机器学习可以用于信用卡反欺诈,通过分析持卡人的消费模式、地理位置和其他行为特征,识别潜在的信用卡欺诈行为。机器学习模型可以实时监测交易,并根据模式识别和异常检测算法,自动识别可疑交易和欺诈行为。 3 华为云实时智能风控RTD的优势实时智能风控RTD是一个企业级分布式实时决策引擎平台,具备满足大数据量、高并发、低时延,自定义规则,水平扩展的特性,是数据到商业决策的“最后一公里”,为企业提供风控、营销等高价值的精准决策。系统的高可扩展性,能够方便融合机器学习等外部模型作为变量输入,提高决策的精确性。 高性能:实时智能风控RTD是分布式决策引擎,采用自研超高性能内存计算引擎支持近数据计算NDP。处理时延百毫秒级。处理能力可横向扩展。处理达到5000TPS。高可靠:支持Rest、异步消息接入,即可以通过不同的协议接入RTD平台。高性能的多协议接入部件,隐藏内部网络拓扑细节。业务处理单元采用分布式架构、规则执行引擎主备架构、支持分库分表。易用性:使用传统的SQL语言,容易理解,学习,编写。支持SQL/PLSQL规则定义。支持应用实时监控。满足事中和事后两种场景。自主性:支持用户自定义事件渠道、自定义维度、自定义事件源。多样数据源灵活接入。业务人员可自定义规则、自助秒级上下线规则。支持机器学习评分模式。创新性:多技术融合:规则引擎、流处理、AI、内存库、近数据计算。变量+ 规则 + AI 模型融合。规则集管理。灰度发布、冠军挑战者。4 实时智能风控RTD在金融领域的应用实时智能风控RTD在某金融机构深度使用,取得非常好的成效:风险案件下降率83%,防堵损失数亿元。12个控制渠道,覆盖95%的业务场景,侦测覆盖率提升10%。30毫秒神速响应,加速银行智能反欺诈,用户体验好。转账免动码下降85%,登录免动码下降95%,节约短信费用数千万元。金额BP值达到千分之一,行业领先。 5 展望总结随着时代技术,互联网产品形态的不断发展,风控需要持续不断的学习和对抗。移动支付占比超过70%,网络伪冒趋势不断上升。欺诈手段呈现专业化,产业化,隐蔽化,场景化,风险不断增大。未来,实时智能风控RTD将更加的注重人工智能大模型的融合和算法创新,提高风险预测的准确性和实时性。
  • [问题求助] 鲲鹏BoostKit大数据使能套件编译Sentry源码包下载问题
    【功能模块】在openEuler系统上编译大数据组件Senrty,由于CDH开始收费,下载不了Sentry相关的源码包。【操作步骤&问题现象】1、在GitHub上面下载源码,https://github.com/apache/sentry/releases/tag/release-1.5.12、使用maven编译Sentry,在Github下载的Sentry源码,没有生成相关的bin.tar.gz包3、maven版本信息如下:【截图信息】我在华为云服务器上编译之后,没有相关的 bin.tar.gz包,只有jar包生成。我在Github下载的是, CDH移植指南里面的教程,是成功生成的,指南连接:https://support.huaweicloud.com/prtg-cdh-kunpengbds/kunpengsentrycdh_02_0016.html不知道能否提供一下Sentry 的CDH源码包,谢谢!【日志信息】(可选,上传日志内容或者附件)
  • [行业资讯] 华为云数据使能,加速金融数据资产化
    6月4日,华为智慧金融峰会2021“华为云数据使能,加速金融数据资产化”分论坛在上海举办。华为云携手中国工商银行、北明软件、神州信息、长亮科技、德勤管理咨询等合作伙伴分享面向金融领域的数据解决方案和创新实践,共创金融行业新价值。华为云云原生数据库GaussDB聚焦金融政企,打造一站式上云解决方案云原生数据库GaussDB,依托领先的存算分离架构,实现软硬协同,确保稳定可靠与卓越性能。目前已经规模应用在金融、电信、泛政府、能源、交通、互联网等各行业。华为云数据库产品部总经理苏光牛表示:“华为云GaussDB,立足云原生能力,聚焦全场景,为金融客户打造核心交易系统一站式上云解决方案,让客户真正做到选型安心、迁移放心、管理省心,做企业数字化转型最坚定的数据底座。”结合云原生与AI的技术,华为云在今年4月发布了面向金融行业的金融级分布式数据库GaussDB。在交易事务处理方面,它大幅度降低内存访问时延,性能提升了5倍。在复杂查询性能方面,它通过分布式全并行架构提供极致的吞吐量性能。在金融客户最关注的高可用方面,它提供了多种两地三中心容灾方案,满足金融级监管要求。此外,金融级分布式数据库GaussDB将AI技术融入分布式数据库的全生命周期,实现自治管理与调优等功能,大幅提升管理效率。华为云数据库产品部总经理苏光牛发表主题演讲 工行分享大数据创新实践工商银行大数据平台产品经理袁一表示,工商银行携手华为云FusionInsight持续创新探索,滚动升级让业务无中断;存算分离使数据统一存储,上层架构更灵活;HetuEngine提升全行13000名分析师即时BI体验,形成集技术、数据、服务于一体的大数据服务体系,不断提升工行金融服务实体经济能力,倾力打造服务于经济高质量发展的数字工行。工商银行大数据平台产品经理袁一发表主题演讲 华为云FusionInsight创新金融行业智能数据湖方案,提升用户体验华为云FusionInsight总经理杨志勇分享到,华为云FusionInsight智能数据湖提供湖仓一体化的现代数仓平台,客户可因地适宜设计自己的湖仓一体化数据架构,从单一离线跑批走向实时,T+0供数加速业务创新,让开发者轻松驾驭数据。目前已在工行、招行等大型金融企业成功实践,极大提升了用户体验。在2020年IDC MarketScape和2021年Frost &Sullivan评估中,FusionInsight多项指标领先国内大数据厂商。华为云FusionInsight总经理杨志勇发表主题演讲 北明软件联合华为云FusionInsight助力保险集团统一数据平台建设北明软件副总裁张翼表示,北明软件依托华为云FusionInsight智能数据湖,通过“湖仓一体化、流批一体化、数据服务化”的平台架构思想,构建保险集团统一数据平台,实现数据价值发现和提升,助力保险集团数字化转型。北明软件副总裁张翼发表主题演讲 华为云GaussDB(DWS)一站式分析技术,提速金融全场景分析华为云数据仓库资深专家表示,金融智能数据时代,数据规模呈指数级增长、多样性数据需要多样性的计算引擎,实时数据需要更快分析以释放数据价值。华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,支持x86和Kunpeng硬件架构,支持行存储与列存储,提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、物流、互联网、金融、政府、电信等行业分析决策系统。华为云GaussDB(DWS)新一代数仓,企业级内核满足金融业严苛的技术标准,提供批量分析,交互式分析,实时分析,一站式解决数据的供需矛盾。实时分析技术,在标准数仓的基础上加持CEP引擎和时序引擎,真正做到实时入仓持续计算,该项技术斩获数博会领先科技成果奖“新技术”。满足金融全场景业务分析需要,推进普惠分析,让人人都能成为分析师。华为云数据仓库资深专家发表主题演讲神州信息成功落地金融业敏捷高效的数据管理最佳实践神州信息首席数据官CDO黄万忠表示,数字经济时代,金融机构需要挖掘数据潜在价值,驱动业务决策和优化,提升银行效能,推动银行高质量发展。神州信息通过数据服务的5大关键要素,即治理标准化、数据资产化、资产服务化、数据业务化和运营平台化,帮助银行构建基于数据服务的6大核心能力,包括数据治理、数据操作、分析赋能、服务应用、用户体验和监管合规,在金融行业成功落地了敏捷高效的数据管理最佳实践。神州信息首席数据官CDO黄万忠发表主题演讲 长亮基于华为云技术平台打造数据管理应用体系,赋能商业银行数字化转型长亮科技大数据业务部总经理李青表示,随着经济形势和金融环境的不断发展和变化,金融行业和互联网已经深度融合。在新的内外部环境要求下,银行需要提高金融服务的深度与广度,快速应对环境变化。长亮依托华为的软硬件技术平台,结合多年金融行业解决方案经验,积极落地金融行业数字化转型方案,内容包括打造数据管理应用体系-全面覆盖数据资产管理、实现智慧营销-全生命周期营销管理、实现智能风控-全流程覆盖信贷风险,助力银行数字化转型。长亮科技大数据业务部总经理李青发表主题演讲 德勤携手华为联合打造金融行业数字化转型方案德勤管理咨询银行业主管合伙人尤忠彬表示:“金融机构数字化转型从发展维度上需要客户跨越电子化、自动化、移动化、智能化4个阶段,从价值维度上需要实现卓越体验、员工减负提能、管理高效精细、业务创新扩张4大目标。”德勤将数字化转型的内涵定义为“4+4”,即帮助金融机构跨越4个阶段、实现4大目标。德勤与华为将充分融合双方优势实现能力互补,协同助力金融机构数字化转型的每一步;同时与华为将合力为金融机构打造“1+1+4+N”的数字化转型整体解决方案,探索金融机构数字化转型之道。德勤管理咨询银行业主管合伙人尤忠彬发表主题演讲 不同数字化阶段的金融机构面临不同的未知挑战,如何利用数据湖、数据仓库、数据库等技术,加速数据资产化,发挥数据新价值,成为当前数据领域的重要话题。华为云致力于深入理解客户的业务需求,将创新领先的技术与应用场景深度融合,创造行业数字化转型的无限可能。
  • [热门活动] “智慧工地”监管系统,用数字化保证施工安全 ,提升监管水平!
    建筑行业是我国国民经济的重要物质生产部门和支柱产业之一,在改善居住条件、完善基础设施、吸纳劳动力就业、推动经济增长等方面发挥着重要作用。与此同时,建筑业也是一个安全事故多发的高危行业,如何加强施工现场安全管理、降低事故发生频率、杜绝各种违规操作和不文明施工、提高建筑工程质量,仍将是摆在各级政府部门、业界人士和广大学者面前的一项重要研究课题。随着国家对建筑行业安全标准和监管力度逐步加强,建立一套完整的智慧工地监管平台已经成为未来的主流趋势,但由于建筑工地属于环境复杂,人员复杂的区域,所以考虑到施工现场的设备及人员的安全,一套有效的信息化智能监管系统对于管理者来说是非常有必要的。对于我市而言,建筑业施工工地自动化、智慧化管理既关系到城市居民切身利益,也关系到城市的发展和繁荣。华为云云市场新点智慧工地监管平台软件依托智能感知设备,构筑云物互联的数字化工地,助力践行绿色建造和生态建造,实现信息技术与施工管理的深度融合,有效提高建设主管部门在工程质量、安全等方面的监管与服务效能,优化营商环境。1、运用物联网技术,通过IOT传感器、商品监控等前端感知设备,采集现场的实时信息,达到全天候的非现场监管;打造“1平台+N应用”的系统架构,实现政府监管部门对辖区内工地的集约化监管,提供数据追溯服务,为事故处理提供有效证据,有效提升监管水平;2、借助视频监控,全天候全时段监控现场安全隐患,发掘现场的危险行为,规范现场作业行为;借助新点建设运营的IOT设备管理中心,对IOT设备进行实时数据采集、汇总,便于主管部门全方位及时获取工地数据,快速预警工地隐患问题;3、新点智慧工地监管平台软件依托数据分析、云计算等技术,对采集上来的多源、海量数据来决策分析能力和全域的监管指挥动态监管;建设一套可视化“智慧工地”监管系统,实现对工地汇聚的监管数据的整合挖掘,基于GIS地图展示全区域各施工现场监管情况,展现工地综合信息,为领导的决策分析提供支撑。4、资源整合促进政企协同,通过与质安监系统、企业管理平台等完成数据打通,实现数据的互联互通。打通行业数据网状串联,实现管理流程再造,数据共享融合,可为多个政府部门提供监管决策支撑。文中提到的商品链接:新点智慧工地监管平台软件【华为云云市场,助您上云无忧】
  • [热门活动] 科技使能“未来机场”建设,促进机场数字化转型
    2017 年,深圳机场与国际航空运输协会 IATA 签署合作备忘录,参与 " 未来机场 " 项目试点工作。深圳机场也是目前中国唯一入选国际航协“未来机场”试点的机场。 随后深圳机场携手华为,通过提供ICT基础设施+通用平台+行业使能平台,助力深圳机场构建运控,安防,服务三大领域应用,使能机场数字化转型。 华为云云市场北明智慧机场数据使能解决方案依托云化、平台化、智能化实现信息共享、高效业务协同。涵盖机场生产、安全、服务、管理、商业、能管六大运营体系,开箱即用,快速交付,打造“高效、实时、敏捷、增值”的数字机场。 依托云化、平台化、智能化实现信息共享、高效业务协同是未来智慧机场行业发展理念,那么建设智慧机场,都需要经过哪些步骤呢?1、数据接入机场内部结构化业务数据,半结构化日志数据、非结构化视频数据等以及外部航司、电商、社交数据、旅客信息的海量数据采集、存储、格式转换;基于JSON消息格式,提供统一数据交换平台处理机场内外部系统、IMF总线、ACDM总线之间的消息传递和交换2、数据治理夯实数据基础:定义数据标准,技术业务融合,提升数据质量,构建数据湖,数据资源孵化八大主题库;数据价值挖掘:快速组装扩充专题库、模型,应对决策、分析和预测需求;快速数据开放:数据应用服务化,结合内外部业务场景快速创新3、运营可视利用大屏、驾驶舱、报表和自助分析等技术,结合数据挖掘和机器学习技术,使云端数据中心具有像人脑一样的感知、分析、判断能力,使得运营者能够全面掌控机场运行态势,知道发生了什么,为什么发生,将来会发生什么,以及让事情正确的发生。智慧机场解决方案亮点:1、云化交付:基线套件,一键部署,逐步云化,外部电商互联网场景化业务快速对接;2、智慧机场平台:集成机场总线和业务系统,实时处理架构;3、数据应用和治理并重:优秀的咨询团队+数据资产套件助力机场数据资产管理体系,促进机场的数字化转型;4、迭代优化的分析模型:快速组装扩充专题库、模型,应对决策、分析和预测需求;5、关键场景的可视化分析:配套驾驶舱、报表、自助分析模板,数据接入快速快速呈现。以科技赋能,打造“高效、实时、敏捷、增值”的数字机场,提升机场决策效率,促进机场数字化转型,升服务体验和机场的社会、经济效益。文中提到的商品链接:北明智慧机场数据使能解决方案 【华为云云市场,助您上云无忧】
  • [技术干货] ImageNet2012数据集处理TFRecord爬坑
    首先下载数据集并上传到工作目录:官方下载地址:http://www.image-net.org/百度云盘下载:链接:https://pan.baidu.com/s/147G0s6zqdt6a4ue2XuM_PA     提取码:b8og 运行脚本,创建并解压数据压缩包到指定文件夹:#!/bin/bash mkdir -p train val bbox imagenet_tf tar -xvf ILSVRC2012_img_train.tar -C train/ tar -xvf ILSVRC2012_img_val.tar -C val/ tar -xvf ILSVRC2012_bbox_train_v2.tar.gz -C bbox/如果解压后的train目录内依然是压缩包,则在train目录下执行以下命令再次解压:find . -name "*.tar" | while read LINE ; do mkdir -p "${LINE%.tar}"; tar -xvf "${LINE}" -C "${LINE%.tar}"; rm -f "${LINE}"; done将数据集转换成TFRecord格式:执行命令或根据以下链接下载数据处理脚本:git clone https://github.com/tensorflow/models.git进入数据处理脚本目录,进行验证数据处理cd models-master/research/slim/datasets/ # 预处理验证数据 python3 preprocess_imagenet_validation_data.py /data/dataset/imagenet2012/val/ imagenet_2012_validation_synset_labels.txt将标注的xml文件转换成csvpython3 process_bounding_boxes.py /data/dataset/imagenet2012/bbox/ imagenet_lsvrc_2015_synsets.txt | sort > imagenet_2012_bounding_boxes.csv将数据集转换成TFRcord格式数据(如果遇到报错,可参考文末FAQ)python3 build_imagenet_data.py --output_directory=/data/dataset/imagenet2012/imagenet_tf --train_directory=/data/dataset/imagenet2012/train --validation_directory=/data/dataset/imagenet2012/valFAQ                          1. 如果遇到/tmp//n***** is not exist之类的路径错误,请确认数据路径正确,如果检查无误仍然存在,则需要将修改build_imagenet_data.py中的默认路径改为实际绝对路径                                                    2. 报错:TypeError: 'range' object does not support item assignment                                                        解决办法:在build_imagenet_data.py第530行修改,range(*)àlist(range(*))                                         3.报错:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte                                              解决办法分3步:将第330行中“r”-->“rb”第206行,将改为3.第210行,将改为:example = tf.train.Example(features=tf.train.Features(feature={ 'image/height': _int64_feature(height), 'image/width': _int64_feature(width), 'image/colorspace': _bytes_feature(colorspace), 'image/channels': _int64_feature(channels), 'image/class/label': _int64_feature(label), 'image/class/synset': _bytes_feature(str.encode(synset)), 'image/format': _bytes_feature(image_format), 'image/filename': _bytes_feature(os.path.basename(str.encode(filename))), 'image/encoded': _bytes_feature(image_buffer)}))
  • [行业资讯] 6月4日“华为云数据使能,加速金融数据资产化”分论坛与你不见不散
    金融业如何在数字化转型不同阶段实现数字金融?如何打造高效智能的数据平台,赋能金融行业数字化转型?6月3日-4日,来华为智慧金融峰会2021“华为云数据使能,加速金融数据资产化”分论坛,这里将会有你想要的答案,戳此链接注册报名,我们不见不散!https://e-campaign.huawei.com/campaign/financialSummit2021/offline/login?tc=ZP8DgrT9pL
  • [行业动态] 华为云TechWave全球技术峰会成功召开,数据使能,驱动业务增长
    据预测未来4年数据量将激增5-8倍,达180ZB,到35年呈50倍增长。同时,数据作为继土地、资本、技术、劳动力的第5种生产要素,已是数字经济发展的重要要素。但相关调查结果显示,企业运营中仅56%的数据被存储,仅32%的数据被利用。因此,在政企数字化转型的关键阶段,如何利用数据湖、数据仓库、数据库等技术,加速数据资产化,发挥数据新价值,成为当前数据领域的重要话题。4月8日,华为云TechWave全球技术峰会在深圳成功举办,峰会以“创新·普惠”为主题,汇聚业界精英、技术大咖、先锋企业、合作伙伴等,共话前沿技术,分享行业优秀应用实践,探讨企业智能升级的成长之道。其中,数据使能分论坛围绕“数据使能,驱动业务增长”为主题,首先解读华为云数据使能服务DAYU,同时招商银行、深圳地铁将分享数字化转型创新实践,合作伙伴永洪BI畅谈联合解决方案,最后由华为云FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术专家共同探讨政企用数之道。(数据使能分论坛现场照片)华为云数据使能DAYU重磅开场:加速数据资产化,开发数据新价值(华为云数据使能服务总经理马麟瑜演讲)华为云数据使能服务总经理马麟瑜表示,“数据管理的领导者正在通过挖掘数据价值来驱动数字化转型,创造发展机会,改善客户体验和重塑行业格局。华为云数据使能DAYU致力于打通企业数据从资源到资产的通路,助力政企客户跨越孤立系统、感知业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。”华为云数据使能服务DAYU包含三层能力:数据技术平台-智能数据湖 FusionInsight:为政企客户提供覆盖海量数据全生命周期的管理方案。包含MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库、数据湖治理中心DGC等服务。使能套件 DAYU Ekit:包含使能在线化工作台,资产化效率提升10X; 行业使能知识库,协同伙伴沉淀行业资产模型,同时将AI驱动方法论与行业知识结合,实现数据资产化智能流水线工作。资产中心 DAYU Hub:通过为客户提供丰富的数据模型、数据资产管理方法,帮助企业实现资产可信管理,资产模型智能分析 ,多方安全可信计算,保障全局数据的安全流通。招商银行、深圳地铁分享大数据创新实践数据使能分论坛中,招商银行、深圳地铁分别分享了基于华为云数据域的行业创新实践。(招商银行数据仓库架构师曾民演讲)招商银行数据仓库架构师曾民表示:招商银行通过使用华为云强化了数据平台的建设,“人人用数”战略让招行没有难用的数据,打造金融数仓,秉承“源于业务,高于业务,先于业务”的理念,以解决实际业务问题为出发点,沉淀可复用易扩展的数据使能能力,成为数据“能用,好用,爱用”的践行者与布道者。早在2019年下半年,招商银行就开始了新一代MPP数据仓库平台的选型,旨在通过对数据平台的数据处理能力、性能、高可用性、扩展性、易用性、通用性等特性进行多方位的考察。通过多维度的测试,最终选定华为云GaussDB(DWS)作为新一代云上数据仓库平台,进一步提升了金融数仓的算力、备份、存储等性能,加速落实招行“人人用数,人人都是数据分析师”的数据发展战略!同时招商银行已和华为云FusionInsight MRS展开了一系列金融数据湖联合创新,旨在使用HetuEngine提高用数效率,简化用数方式。(深圳地铁运营集团线网管控中心副总经理张洪庆演讲)深圳地铁运营集团线网管控中心副总经理张洪庆在“云数赋能,实现智慧深铁“议题中表示:“在智慧城轨快速发展的大背景下,深圳地铁以科技赋能运营为目标,积极探索智慧运维新模式。在智慧城轨探索上,试点先行,顶层规划和企业标准同步推进,采用了华为城轨云解决方案,利用云计算、大数据、5G、人工智能等技术核心,建立了统一、开放、智能的城轨数字平台。在城轨云平台基础上,利用华为云 FusionInsight MRS云原生数据湖能力构建深圳地铁大数据分析平台,在智慧车站、智慧运维方面,对新技术与地铁场景进行创新融合,推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用,探索数字化、高效化的新业务模式,科技赋能运营更高质量运行,企业更低成本运作,为城市提供更优质的公共交通服务。”(永洪BI技术专家黄华晃演讲)合作伙伴永洪BI分享基于华为云实现敏捷BI的联合解决方案永洪BI技术专家黄华晃分享了“永洪BI自助用数,敏捷提效20倍“议题,并表示基于华为云FusionInsight MRS云原生数据湖,永洪BI实现快速搭建应用,打造了更敏捷、更快速、更强大的“永洪BI”,具备自服务、高性能、极致易用等特点,已广泛用于金融、政务、能源等行业,让人人都成为数据分析师!至今,华为云FusionInsight联合800+ISV,已为千行百业的客户提供“一企一湖、一城一湖“的数字化转型方案。数字化转型之路离不开客户对于华为云FusionInsight智能数据湖的信赖,也离不开伙伴的精诚合作。同时,华为云也坚持技术创新,在MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等产品上不断潜心钻研,勇攀技术高峰!华为云FusionInsight、GaussDB技术专家共谈数字化转型创新技术华为云FusionInsight解决方案首席架构师徐礼锋在会议中分享了“华为云FusionInsight MRS云原生数据湖一架构三湖,持续演进“的议题,深度解读了一个架构实现三种湖的能力和新技术。(华为云FusionInsight解决方案首席架构师徐礼锋演讲)逻辑数据湖:HetuEngine提供跨湖、跨仓、跨云统一访问,减少数据搬迁,数据高效流动,全域数据秒级协同分析秒级响应,业务上线效率提升10倍,由周级缩短至天级。实时数据湖:流处理 + Hudi实现数据更新入湖,从T+1到T+0; ClickHouse提供毫秒级实时OLAP分析能力;Flink提供FlinkSQL能力,批流SQL接口统一,实现流批一体。离线数据湖:HetuEngine提供秒级交互式查询能力,数据不出湖,分析链路短,性能比Impala快30%+,分析提效10倍+;DLC提供统一的元数据,数据全局可视; HetuEngine提供湖内统一SQL接口:HDFS、Hive、HBase、ES等,简化用数。华为云FusionInsight MRS践行产学研合作,全面推进大数据开源技术发展,联合清华大学发布了IoTDB时序引擎版本。目前华为云FusionInsight MRS已应用于60多个国家3000+客户,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!华为云GaussDB技术专家胡彦军分享了“华为云云原生分布式数据库GaussDB,多模架构,多元生态“的议题,为我们解读了华为倾力打造的云原生数据库GaussDB系列产品的技术创新与行业普惠。(华为云GaussDB技术专家胡彦军演讲)华为云GaussDB(for openGauss)基于云化的部署模式,分布式形态,生态开放,更好满足了企业的数据库诉求。经过13年的积累,从内部锤炼,再到外部行业实践,华为云GaussDB(for openGauss)淬炼出6大核心能力:(1)超高可用:支持跨机房、同城、异地、多活高可用,支持分布式强一致,数据0丢失。(2)开放生态:openGauss开放生态,确保客户避免被类似传统商业数据库的封闭生态锁定。(3)极致扩展:通过分布式全局事务一致性优化,实现计算与存储的垂直扩展能力,同时支持新增分片的数据在线重分布能力。(4)卓越性能:分布式优化器+Numa-aware技术加持,提供极致性能。在TPC-C、TPC-H等企业级负载下性能表现卓越。以及具备丰富的企业级特性(如支持HTAP混合负载,拥有AI自治能力)和超高的安全性(具备独立的代码级的问题修复能力及架构优化能力),构建了极具竞争力的能力。华为云GaussDB(DWS)技术专家李海丰分享了“华为云GaussDB(DWS)实时数仓,提速全场景数据分析“的议题,其中实时数仓的时序引擎和CEP引擎成为亮点。(华为云GaussDB(DWS)技术专家李海丰演讲)华为云GaussDB(DWS) 是一款具备分析及混合负载能力的分布式数据仓库,支持行存储与列存储,提供PB级数据分析能力、多模分析能力和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。作为新一代全场景云原生数据仓库,它不仅仅是把数仓搬上云这么简单,而是真正面向未来的云原生架构的数仓服务。传统数仓一般是基于分布式shared nothing的MPP架构实现的,而GaussDB(DWS)在MPP架构的基础上,与高性能的云存储相结合,打造了多温存储的存算分离架构,支持资源的弹性伸缩。同时,逻辑集群和多租户技术,将存储和计算资源进行了更细粒度的隔离,用户可以对不同的业务划分不同的逻辑集群或租户,实现更加灵活的弹性。受益于云服务的多样性,GaussDB(DWS)支持多源、多模的融合分析,既可以在库内支持时序、流、全文检索、GIS等内置多引擎的数据分析,又可以基于OBS实现跨引擎的协同计算,例如与FusionInsight MRS云原生数据湖、GES图引擎、ModelArts AI平台等实现数据免搬迁。至此,华为云TechWave全球技术峰会数据使能分论坛圆满结束。围绕“数据使能,驱动业务增长”主题,为现场观众讲述了金融、交通等行业的数字化转型创新实践,联合合作伙伴畅谈数据湖BI联合解决方案,云集华为云DAYU数据使能、FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术专家共聚一堂“鹏城论数”,探讨政企用数之道,分享了政企客户数字化前沿技术。下一场,上海,与您不见不散!调查问卷更多内容,华为云FusionInsight系列文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 
  • [热门活动] 华为云TechWave数据使能分论坛,“鹏城论数”邀您来
    4月8日,华为云TechWave数据使能分论坛,“鹏城轮数”邀您来!感兴趣的小伙伴们赶紧行动起来,扫描或长按下方二维码进行报名吧!据相关数据显示,未来4年里数据量将激增5-8倍,达180ZB,到35年呈50倍增长,达2100+ZB。同时,数据作为继土地、资本、技术、劳动力的第5种生产要素,是数字经济发展的基础。但调查结果显示,企业运营中仅56%的数据被存储,仅32%的数据被利用。因此,在政企数字化转型的关键阶段,如何使用技术领先的数据湖、数据仓库、数据库等技术,加速数据资产化,开放数据新价值,成为当前数据领域的重要课题。4月8日,华为云TechWave全球技术峰会与您相邀深圳。届时,华为云TechWave全球技术峰会以“创新 ∙ 普惠”为主题,围绕分布式云、云原生、音视频、数据等热点话题,携手来自全球的IT精英、技术大咖、先锋企业、合作伙伴共话前沿技术,发布华为云最新产品和解决方案,分享行业最佳应用实践,探讨企业智能升级的成长之道。其中,数据使能分论坛围绕“数据使能,驱动业务增长”为主题,将从金融、交通等行业的数据创新实践、合作伙伴的联合解决方案,以及华为云DAYU数据使能、FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术创新普惠,共同探讨政企用数之道。l  亮点一:客户讲述基于华为云的创新实践,包含招商银行如何使用华为云GaussDB(DWS)打造业界领先的金融数仓,深圳地铁也将发表“云数赋能,智慧深铁”的演讲。l  亮点二:合作伙伴永洪BI基于华为云打造敏捷BI产品,揭开敏捷BI提效20倍的神秘面纱。l  亮点三:华为云各领域数据专家齐聚一堂,论述“加速数据资产化,开放数据新价值”这一话题,围绕政企客户用数,亮出各自“黑科技”。4月8日,看金融、交通等行业用数趋势,谈合作伙伴联合方案,学华为云技术专家解读华为云数据使能服务“独门秘籍”,各路领军人物“鹏城论数”,尽在华为云TechWave全球技术峰会数据使能分论坛!会议时间:2021年4月8日 13:30 – 15:30会议地点:广东省深圳市深铁皇冠假日酒店(深南大道9819号)名额有限,动动小手,长按下图二维码赶快报名吧!
  • [华为动态] 华为云数据使能DAYU全新升级,释放数据价值
    12月3日,华为云TechWave数据使能专题日,华为与产学研专家和意见领袖共同探讨如何通过数据使能加速政企数据资产化,释放数据价值,并推出全新升级的数据使能服务DAYU。点击图片查看更多国家政策指引,数据资产化提速十九届四中全会,数据作为生产要素被纳入到整个国民经济收入分配的改革序列,这标志着数据要素市场化进入快车道,数据管理更注重以价值为导向,让数据可得、可用和好用。中国信息通信研究院云计算与大数据研究所副所长魏凯指出:“ 随着5G和工业互联网的到来,数据爆炸式增长、数据资产化之路才刚刚开始,我们需要新数据基础设施来应对数据资产化的潮流,就如同修建高速公路、石油管道一样。数据存和算、数据资产管理、数据可信流通,是新型数据基础设施的三个关键,将引发新一轮数据驱动的创新。”国家**大数据发展部规划与应用处处长王建冬在访谈中表示:“ 数据要素市场的建立首先要在机制和技术上解决两大问题:数据资产确权的重点是要解决“数据可用不可拥”,数据可信流通的重点要解决“数据可用不可见”。国家发改委提出,推进企业通过‘上云、用数、赋智’三步走的方式加快数字化转型,第二步用数,就是要加快企业中数据的标准化和资产化。”DAYU全新升级,加速将数据资源转变为数据资产华为云数据使能服务总经理马麟瑜介绍,数据使能DAYU承载的使命就是帮助客户将数据资源转变为数据资产。这次全新升级,把DAYU从技术平台的一个组件,升级为包含数据应用、数据资产中心 DAYU Hub、数据使能套件 DAYU Ekit、智能数据湖 FusionInsight的数据使能服务,就是希望彻底把企业数据资源到数据资产的加工链打通,开放华为自身积累的数据治理方法论和能力,加速释放千行百业企业数据的价值。DAYU数据使能服务将这套方法论开放出来,通过数据治理实现清洁的数据,通过智能数据资源管理服务实现数据资产化。马麟瑜强调,AI驱动是DAYU非常大的一个差异点, AI能力贯穿数据处理流程,以管数和用数为核心,打造智能数据增强体系,实现数据的智能化治理。DAYU可以减少50%以上数据管理类重复性的工作,提升企业数据管理的效率。作为非数字原生企业数字化转型的亲历者,华为集团IT人工智能使能部部长许榕俊生动总结了在数字化变革的实践过程中数据管理遇到三大挑战:▸一、数据的可信,通过数据治理把不可信的数据标准化变成可信数据;▸二、打造数据消费和应用的平台,发挥出数据的价值,用三个“一”生动诠释了如何把数据消费当做水电一样,拧开水龙头就可以用:一月:假设数据在企业里还没有,或是数据还没有产生和定义,我们一个月内让这个数据被产生和采集;一周:如果这个数据已经有了,要做数据消费分析,一周内就能入湖、标准化建模,被消费;一天:如果这个消费已经在数据湖里建模,一天内就能进行构筑分析。▸三、针对数据本身也是很大的系统,有大量海量重复的工作,这时就需要数据治理+AI,在长长的数据加工链中嵌入大量的AI工具来加速。针对DAYU吸取了大量华为内部数字化转型的实践经验,现在把方法论和技术平台开放给生态,许榕俊先生为合作伙伴和行业客户给出三点中肯的建议:▸一、希望上面有更多数据价值变现的模型和模板,使能各个企业,让企业发现数据价值,在数据上受益,树立数据管理和数据治理的典范;▸二、要构筑数据的加工链,降低数据产品的构建成本,这点很重要。过去做一个分析投入多,现在把这些经验变成元数据治理等服务,可以极大降低数据开发的成本,成本越低,产品就会越多;▸三、数据产品构建的运行安全稳定性和效率也很重要的。数据已经成为生产系统,在数据分析和人工智能的过程中,数据任何的偏差都会造成很大的影响。携手伙伴,让千行百业数据清洁有序,释放数据价值本次数据使能专题日,也邀请来自政府、金融、机场数据管理领域的合作伙伴分享经验。●华傲数据聚焦政府数据治理,华傲CTO陈立介绍针对政府数据获取难、使用难的两大痛点,结合DAYU的产品和技术架构,和华为云形成联合解决方案。华傲为数据打上标签,不同质量的数据有不同的应用场景,通过五级五色把数据分为五个级别,每个级别提供不同色彩的应用场景;类似于水的治理,不同的水质提供不同的应用场景,例如:一类水质良好,简单消毒即可饮用;而五类水质只适用一般景观用水。基于DAYU工具,华傲数据通过定源、定过程和定需的方法帮助政府快速、高质量构建数据体系,让城市真正站在数据之巅。●北明软件联合华为云提出了数据治理的一整套机场建设方案,依托华为云DAYU和北明软件的行业积累,结合机场的分析需求,构建一整套业务指标体系,通过API形式进行开放。北明大数据事业部副总经理魏路指出,此举快可速提升机场决策效率,促进机场数字化转型,提升服务体验和机场的社会、经济效益,这套方法可以复用在众多机场上。●长亮拥有完整的数据资产管理体系方案,为70+金融客户提供数据治理解决方案。长亮数据副总经理蔡玉琳介绍:“长亮与华为云联手,为全国4家股份制银行与十余家城商行陆续推出了联合解决方案,包括不限于数据仓库、历史数据查询、智能风控等,共同推动金融客户的数字化转型。”在圆桌讨论中,大家从产学研的不同角度,就数据管理领域所面临的挑战和建议展开了精彩纷呈的讨论。最后,马麟瑜寄语,希望数据使能服务DAYU能够在技术和商业之间搭建一座智能的桥梁,如同大禹(DAYU)治水一样,让数据清洁有序,释放千行百业数据的价值。
  • [教程] 《DAYU数据使能实施服务伙伴赋能课程》答疑FAQ
    本贴用于答疑《DAYU数据使能实施服务伙伴赋能课程》中学员产生的问题,课程链接如下:https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE133+Self-paced/about?isAuth=0&cfrom=hwc本贴将长期保持更新,持续答疑学员在课程实操中遇到的问题。实操资源相关问题FAQQ:打开账号之后进入对应的云服务页面显示没有权限怎么办?A:请确保区域Region选择【华南-广州】。Q:我的考试用账号里面已经有其他学员使用过/创建的库/表/资产了,这是怎么回事?A:本次实操每位学员都是拥有唯一的子账号的,若存在此情况,请联系各团队接口人,询问是否是账号分配失误或其他问题。3.2章节:《云服务资源及参数准备》FAQQ:创建不了xx资源怎么办?A:您的子账号已经开通实操所需的所有相关资源,请不要新建资源。3.2章节不需要实操。3.3章节:《RDS MySQL客户数据源模拟》FAQQ:MySQL创建导入任务时,“创建导入任务”的按钮是灰色的,无法点击。A:将导入的SQL文件后缀改为.sql小写即可。3.4章节:《DLI贴源层数据库表构造》FAQ3.5章节:《DAYU规范设计》FAQQ:在审核中心已经创建了审批人,发布指标/模型的时候没有自助审批的选项,而且发布之后一直显示待审核状态。A:审批人需要选择实操的子账号HC_DAYU_studentxxx,不要选择主账号hwstaff_lxxxxxxxx,否则将没有权限进行审批。解决办法:首先您需要添加子账号HC_DAYU_studentxxx作为审批人,然后进行二选一:1. 创建一个新的指标(例如坪效1)重新自主审批,或 2. 找华为的课程答疑接口人,让其使用主账号通过该发布请求。3.6章节:《DAYU数据开发:脚本开发》FAQQ:跨源链接超过5个,无法再创建了怎么办?A:跨源链接是可以共用的,请不要创建新的跨源链接,直接使用已有的跨源链接即可。尤其不要删除已有的跨源链接,这样会导致其他学员的脚本作业失败。Q:数据插入跨源表的脚本报错,显示The connection attempt failed怎么办?A:首先请确认是否所有操作都与视频中一致,包括右上角的数据连接/数据库/资源队列选择。若已排查所有问题,则可能是由于上一个FAQ中有其他学员删除了您所使用的的跨源链接,导致您的跨源链接失败了。此问题的解决办法:1. 换一个跨源链接(不要自己新建,使用已有的)。2. 在脚本开发中删除已有的跨源表。3. 重复脚本开发步骤,重新创建跨源表。Q:数据插入跨源表的脚本报错,显示Invalid username/password, login denied怎么办?A:请确保passwdauth字段填写“retail_auth”。该问题报错是由于我们分配的DWS账号是子账号,没有跨源链接的权限。retail_auth跨源认证使用的是DWS主账号,所以不会报错。3.7章节:《DAYU数据质量》FAQQ:在“规则管理“页面定义指标关系报错,按照课程视频中的操作写了关系表达式,却显示“关系表达式不能为空”?A:您使用的浏览器不支持这个页面,需要更换一个浏览器使用,如谷歌chrome。Q:在“新建业务场景”页面的“订阅配置”步骤中,通知没有可选的主题,怎么办?A:我们本次实操并没有开通SMN资源,“订阅配置”顶部的“通知状态”请直接关闭,不要开启。3.8章节:《DAYU数据集成:CDM云数据迁移》FAQQ:添加SK/AK时需要手机号进行验证,而考试用子账号的手机号不是我的手机号怎么办?A:我们开发了一个修改子账号手机号的脚本,下载后运行,输入子账号后三位和正确手机号即可进行修改。脚本下载地址(使用这个即可):【请点击此处下载exe】;脚本源文件下载(若不放心exe可直接看源文件,需要python环境运行):【请点击此处下载py】 。Q:下载下来的credentials.csv,里面的字段哪个是AK哪个是SK?A:Access Key是AK,Secret Key是SK。Q:在“表/文件迁移”tab中创建任务分组,显示没有配额了怎么办?A:如遇到这种情况,请使用别人创建好的分组。在您创建的任务名称后方添加 _名字 标识即可。3.9章节:《DAYU数据开发:作业开发》FAQQ:左侧节点无法拖动到中间的画布,或者拖到画布之后显示有问题,这是怎么回事?A:您使用的浏览器不支持这个页面,需要更换一个浏览器使用,如谷歌chrome。Q:贴源层及明细层作业运行失败了是怎么回事?A:可能的原因1. 请见3.8章节第三个FAQ,您是否使用成了别人的CDM作业节点?Q:集市层作业运行失败了是怎么回事?A:可能的原因1. 请见3.6章节第二个FAQ。3.10章节:《DAYU数据资产》FAQ3.11章节:《DAYU数据服务》FAQQ:发布API的时候提示重名了怎么办?A:可以在API名称后面添加属于自己的标识,例如 _公司_名字 即可。3.12章节:《DAYU数据治理实操考试》FAQQ:删除不掉schema怎么办?A:您需要先删除schema里面的表,使用drop table schema.表进行删除。