-
Some tests failed.具体指什么呢?Runtime Error?Compile Error?不正确的答案?
-
环境信息:https://joint-solution.digitalplatform.campus.com/#/campuslink/integrated-dev/asset-dev问题1、在服务接入开发的测试参数可以填中文、但在网关API测试时参数却不能填中文问题2、在服务接入开发的测试返回信息很正常、但在网关API测试返回的信息乱码租户账号:Hifqtech项目名称:华为基线解决方案
-
环境信息:https://joint-solution.digitalplatform.campus.com/#/campuslink/integrated-dev/asset-dev问题一句话总结:如所示,该API 有请求参数year 非必须,如有表A,其中表字段year ,如想达到这样:请求参数year 有传值时,则使用所传值作为查询,否则默认查出当前年份:select * from A where if '${year}' 非空 则 year='${year}' 否则 year=to_char(now())是否支持在此写动态sql,相关开发指南在哪?租户账号:Hifqtech项目名称:华为基线解决方案
-
环境信息:https://joint-solution.digitalplatform.campus.com/#/campuslink/integrated-dev/asset-dev问题一句话总结:数据接入开发->创建任务->编排模式->读节点:如上图所示配置了取源数据字段update_time >= ${{begin}} ,源部分数据update_time字段时间肯定远远大于每次定任务执行的时间,可是每次都是采集到数据都是全量的,而不是我所理解的:源数据update_time >= ${{begin}} 那部分数据。如何理解 “${{begin}}代表上次任务的执行的时间 ${{end}}代表本次任务的执行时间”??租户账号:Hifqtech项目名称:华为基线解决方案
-
环境信息:https://joint-solution.digitalplatform.campus.com/#/campuslink/integrated-dev/asset-dev问题一句话总结:旧应用下的服务接入资产(如API)、数据接入资产(如任务脚本),如何能正确移到一个新的应用下。问题现象截图:注:尝试过在旧应用导出任务配置(用新应用Id替换旧的应用id),然后在新的应用导入任务配置,导入报错使用场景或目的:操作步骤:(选填)希望优化的地方或希望实现的效果:租户账号:Hifqtech项目名称:华为基线解决方案
-
1、eCampusCore平台环境2、API网关,配置白名单 配置不了3、问题截图4、正常配置白名单5、在API测试,提示白名单不通过6、租户账号Hifqtech7、基线解决方案
-
1月4日,金华市人民政府与华为技术有限公司(以下简称“华为”)签署战略合作协议。金华市委书记朱重烈与华为高级副总裁、政务一网通军团CEO杨瑞凯共同见证金华市政府与华为战略合作协议签约。金华市委常委、市委秘书长李雄伟主持,华为浙江总经理赵蕊,华为华东采购中心副总裁刘胜林等出席了签约仪式。副市长章旭升与华为浙江政企总经理马力分别代表双方签署协议。朱重烈对战略合作协议签署表示祝贺。希望双方进一步落实合作事项,聚焦自主创新、人工智能、产业数字化、人才培养、新能源超级快充和光伏、数据要素等领域对接,清单化、项目化推动合作事项落地;深化数字政府、数字经济、数字治理等领域合作;拓展在产业链、供应链方面合作的深度和广度,共同打造更多具有金华辨识度的标志性成果。杨瑞凯在致辞中讲到,华为将充分发挥在软件创新、人工智能、产业数字化、数字能源、人才培养等领域的领先优势,基于长期积累的技术经验和研发创新能力,全面参与金华数字经济建设和新型工业化发展。根据协议,双方将围绕“打造国际枢纽城,奋进现代都市区”目标,以数据资源为关键发展要素,聚焦人工智能和自主创新等核心领域,全力以赴推进金华数字经济高质量发展。
-
1 背景1.1 风控概念互联网诞生以来,互联互通的信息浪潮,压缩了传输的空间和时间,打破了以往阻绝流动的藩篱,人们的生活得到了极大的便利。尤其是在移动互联网的背景下,没有绝对的隐私,没有绝对的安全,风险无所不在。风控技术是保证机构和个人利益重要手段。风控(Risk Control)是指在金融、营销、互联网等领域中,通过识别、评估和管理风险,采取相应的措施来控制和降低风险的过程。 1.2 传统风控技术挑战随着黑灰色产业链产业化,精准化,移动化,技术化,风控技术面临巨大挑战。传统风控系统数据维度单一,多维度多场景难以协同,很难应对团伙欺诈等新变化。事中缺乏对复杂、高并发场景的实时计算能力,既要实现笔笔风控检测又要保障用户体验的双目标难以满足。另外欺诈模式隐蔽化,场景化,社工化演变,经验规则无法应对多变场景,自动化水平低。 1.3 实时智能风控的价值实时智能风控是一种利用人工智能(AI)技术对风险识别和管理的方法。它通过自研算法模型对大数据分析、机器学习等技术进行融合,提供实时、准确和全面的风险识别和管理,以保护组织免受潜在的威胁和损失。它可以应用于不同领域,如金融服务、电子商务、保险、网络安全等。2 华为云实时智能风控RTD关键能力2.1 变量和规则计算变量和规则是RTD系统核心概念。变量是规则的输入,在规则执行前会进行一系列的计算。根据变量的特征可以分为事件变量,批次变量,实时查询变量,模型变量和窗口变量等。变量和规则具有以下特点:丰富的变量来源,覆盖业务场景广泛。支持黑白名单,满足特殊业务诉求。规则可分组加权计算。支持第三方请求变量,扩展决策流。 2.2 复杂规则实现复杂规则特点:需要保存历史数据,大窗口计算,数据间有相互作用。举例: 几天内多笔转账金额上下浮动10%。 几天内多笔转帐金额连续递增。传统规则引擎做法: 类似drools规则引擎 + mysql或oracle等。缺点: 需要java代码+SQL,开发成本高。 复杂规则SQL交互多,性能很差;一般都是秒级或者分钟级响应。流处理技术做法: 通过流处理计算统计值,加CEP判断,这种一般适合于依赖历史数据少的,基于当前数据的特征或者黑白名单或者有前后顺序的数据处理。缺点: 大窗口计算性能差,甚至无法计算。 不同的计算逻辑无法共享数据,占用内存资源多。 需借助多流Join对多事件源协同处理。最好的实现方法: 超高性能的内存计算DB引擎 + 支持事务的PLSQL实现规则。 2.3 多维度协同决策维度是业务管理颗粒度,比如说卡人维度、卡片维度、商户维度等,不同的维度可以定义各自的变量和规则。实时智能风控RTD支持多多维度协同计算,决策准确性更高。 多事件源:多事件源共享内存计算引擎,实现数据共享,比如先识别登录才能转账 多维度:父子维度多维度同时决策,比如一个帐户在过去3天转帐超过5次,设备使用都是安卓,这次转账使用了非安卓手机,且IP地址不一样。 近数据源计算:规则在数据节点执行,近数据计算,实时性高,性能达到极致。 2.4 灰度发布灰度发布(Gray Deployment)是一种软件发布策略,它允许在生产环境中逐步将新版本的软件部署给一部分用户或服务器,以便在全面推广之前进行测试和评估。降低风险:灰度发布可以帮助降低发布新版本时的风险。通过逐步将新版本部署给一小部分用户或服务器,可以在全面推广之前及时发现和解决潜在的问题和错误。这样可以避免出现全面发布后对所有用户造成的严重故障或影响。提供实时反馈:通过将新版本的软件部署给一小部分用户或服务器,可以获得实时的用户反馈。这些反馈可以帮助开发团队及时了解新版本的性能、稳定性和用户体验,并根据反馈进行必要的调整和改进。控制发布节奏:灰度发布允许控制发布的节奏和速度。可以根据实际情况逐步增加新版本的部署比例,确保系统的稳定性和可用性。如果在灰度发布的过程中发现了问题,可以暂停或回滚发布,以避免对所有用户造成不良影响。 2.5 冠军挑战者冠军挑战者(Champion-Challenger)是一种在业务或技术领域中常用的策略,它通过同时运行并比较不同的解决方案或策略,以确定最佳的方案。创新和改进:冠军挑战者方案鼓励创新和改进。通过同时尝试多个解决方案或策略,可以发现新的想法和方法,提高业务或技术的效率和效果。挑战者方案可以激发竞争和创造力,推动组织不断进步和发展。降低风险:冠军挑战者方案可以降低决策的风险。通过同时运行多个方案,可以在实践中评估它们的表现和结果。这样可以避免过度依赖单一方案而导致的潜在风险和失败。如果挑战者方案表现更好,可以及时调整冠军方案,减少潜在的损失。数据驱动决策:冠军挑战者方案基于数据和实证结果进行决策。通过同时运行多个方案并收集相关数据,可以进行客观的比较和评估。这样可以基于实际数据做出决策,而不是仅凭主观判断或假设。 2.6 规则和模型融合机器学习在风控场景使用越来越广泛,它可以帮助机构和组织更好地识别、评估和管理各种风险。欺诈检测:机器学习可以用于欺诈检测,通过分析大量的交易数据和用户行为模式,识别潜在的欺诈行为。基于历史数据和模式识别算法,机器学习模型可以自动识别异常交易、盗刷和欺诈活动,帮助机构及时采取措施防止和减少损失。信用评估:机器学习可以用于信用评估,通过分析借款人的个人信息、历史借贷记录和其他相关数据,预测其违约风险。机器学习模型可以根据大量的历史数据和特征,建立预测模型来评估借款人的信用状况,并帮助机构做出更准确的信用决策。信用卡反欺诈:机器学习可以用于信用卡反欺诈,通过分析持卡人的消费模式、地理位置和其他行为特征,识别潜在的信用卡欺诈行为。机器学习模型可以实时监测交易,并根据模式识别和异常检测算法,自动识别可疑交易和欺诈行为。 3 华为云实时智能风控RTD的优势实时智能风控RTD是一个企业级分布式实时决策引擎平台,具备满足大数据量、高并发、低时延,自定义规则,水平扩展的特性,是数据到商业决策的“最后一公里”,为企业提供风控、营销等高价值的精准决策。系统的高可扩展性,能够方便融合机器学习等外部模型作为变量输入,提高决策的精确性。 高性能:实时智能风控RTD是分布式决策引擎,采用自研超高性能内存计算引擎支持近数据计算NDP。处理时延百毫秒级。处理能力可横向扩展。处理达到5000TPS。高可靠:支持Rest、异步消息接入,即可以通过不同的协议接入RTD平台。高性能的多协议接入部件,隐藏内部网络拓扑细节。业务处理单元采用分布式架构、规则执行引擎主备架构、支持分库分表。易用性:使用传统的SQL语言,容易理解,学习,编写。支持SQL/PLSQL规则定义。支持应用实时监控。满足事中和事后两种场景。自主性:支持用户自定义事件渠道、自定义维度、自定义事件源。多样数据源灵活接入。业务人员可自定义规则、自助秒级上下线规则。支持机器学习评分模式。创新性:多技术融合:规则引擎、流处理、AI、内存库、近数据计算。变量+ 规则 + AI 模型融合。规则集管理。灰度发布、冠军挑战者。4 实时智能风控RTD在金融领域的应用实时智能风控RTD在某金融机构深度使用,取得非常好的成效:风险案件下降率83%,防堵损失数亿元。12个控制渠道,覆盖95%的业务场景,侦测覆盖率提升10%。30毫秒神速响应,加速银行智能反欺诈,用户体验好。转账免动码下降85%,登录免动码下降95%,节约短信费用数千万元。金额BP值达到千分之一,行业领先。 5 展望总结随着时代技术,互联网产品形态的不断发展,风控需要持续不断的学习和对抗。移动支付占比超过70%,网络伪冒趋势不断上升。欺诈手段呈现专业化,产业化,隐蔽化,场景化,风险不断增大。未来,实时智能风控RTD将更加的注重人工智能大模型的融合和算法创新,提高风险预测的准确性和实时性。
-
【功能模块】在openEuler系统上编译大数据组件Senrty,由于CDH开始收费,下载不了Sentry相关的源码包。【操作步骤&问题现象】1、在GitHub上面下载源码,https://github.com/apache/sentry/releases/tag/release-1.5.12、使用maven编译Sentry,在Github下载的Sentry源码,没有生成相关的bin.tar.gz包3、maven版本信息如下:【截图信息】我在华为云服务器上编译之后,没有相关的 bin.tar.gz包,只有jar包生成。我在Github下载的是, CDH移植指南里面的教程,是成功生成的,指南连接:https://support.huaweicloud.com/prtg-cdh-kunpengbds/kunpengsentrycdh_02_0016.html不知道能否提供一下Sentry 的CDH源码包,谢谢!【日志信息】(可选,上传日志内容或者附件)zhouzhaojian 发表于2022-01-07 22:07:39 2022-01-07 22:07:39 最后回复 chuangzhijian@汪汪队 2022-01-08 09:50:181654 1
-
6月4日,华为智慧金融峰会2021“华为云数据使能,加速金融数据资产化”分论坛在上海举办。华为云携手中国工商银行、北明软件、神州信息、长亮科技、德勤管理咨询等合作伙伴分享面向金融领域的数据解决方案和创新实践,共创金融行业新价值。华为云云原生数据库GaussDB聚焦金融政企,打造一站式上云解决方案云原生数据库GaussDB,依托领先的存算分离架构,实现软硬协同,确保稳定可靠与卓越性能。目前已经规模应用在金融、电信、泛政府、能源、交通、互联网等各行业。华为云数据库产品部总经理苏光牛表示:“华为云GaussDB,立足云原生能力,聚焦全场景,为金融客户打造核心交易系统一站式上云解决方案,让客户真正做到选型安心、迁移放心、管理省心,做企业数字化转型最坚定的数据底座。”结合云原生与AI的技术,华为云在今年4月发布了面向金融行业的金融级分布式数据库GaussDB。在交易事务处理方面,它大幅度降低内存访问时延,性能提升了5倍。在复杂查询性能方面,它通过分布式全并行架构提供极致的吞吐量性能。在金融客户最关注的高可用方面,它提供了多种两地三中心容灾方案,满足金融级监管要求。此外,金融级分布式数据库GaussDB将AI技术融入分布式数据库的全生命周期,实现自治管理与调优等功能,大幅提升管理效率。华为云数据库产品部总经理苏光牛发表主题演讲 工行分享大数据创新实践工商银行大数据平台产品经理袁一表示,工商银行携手华为云FusionInsight持续创新探索,滚动升级让业务无中断;存算分离使数据统一存储,上层架构更灵活;HetuEngine提升全行13000名分析师即时BI体验,形成集技术、数据、服务于一体的大数据服务体系,不断提升工行金融服务实体经济能力,倾力打造服务于经济高质量发展的数字工行。工商银行大数据平台产品经理袁一发表主题演讲 华为云FusionInsight创新金融行业智能数据湖方案,提升用户体验华为云FusionInsight总经理杨志勇分享到,华为云FusionInsight智能数据湖提供湖仓一体化的现代数仓平台,客户可因地适宜设计自己的湖仓一体化数据架构,从单一离线跑批走向实时,T+0供数加速业务创新,让开发者轻松驾驭数据。目前已在工行、招行等大型金融企业成功实践,极大提升了用户体验。在2020年IDC MarketScape和2021年Frost &Sullivan评估中,FusionInsight多项指标领先国内大数据厂商。华为云FusionInsight总经理杨志勇发表主题演讲 北明软件联合华为云FusionInsight助力保险集团统一数据平台建设北明软件副总裁张翼表示,北明软件依托华为云FusionInsight智能数据湖,通过“湖仓一体化、流批一体化、数据服务化”的平台架构思想,构建保险集团统一数据平台,实现数据价值发现和提升,助力保险集团数字化转型。北明软件副总裁张翼发表主题演讲 华为云GaussDB(DWS)一站式分析技术,提速金融全场景分析华为云数据仓库资深专家表示,金融智能数据时代,数据规模呈指数级增长、多样性数据需要多样性的计算引擎,实时数据需要更快分析以释放数据价值。华为云GaussDB(DWS)是一款具备分析及混合负载能力的分布式数据库,支持x86和Kunpeng硬件架构,支持行存储与列存储,提供GB~PB级数据分析能力、多模分析和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、物流、互联网、金融、政府、电信等行业分析决策系统。华为云GaussDB(DWS)新一代数仓,企业级内核满足金融业严苛的技术标准,提供批量分析,交互式分析,实时分析,一站式解决数据的供需矛盾。实时分析技术,在标准数仓的基础上加持CEP引擎和时序引擎,真正做到实时入仓持续计算,该项技术斩获数博会领先科技成果奖“新技术”。满足金融全场景业务分析需要,推进普惠分析,让人人都能成为分析师。华为云数据仓库资深专家发表主题演讲神州信息成功落地金融业敏捷高效的数据管理最佳实践神州信息首席数据官CDO黄万忠表示,数字经济时代,金融机构需要挖掘数据潜在价值,驱动业务决策和优化,提升银行效能,推动银行高质量发展。神州信息通过数据服务的5大关键要素,即治理标准化、数据资产化、资产服务化、数据业务化和运营平台化,帮助银行构建基于数据服务的6大核心能力,包括数据治理、数据操作、分析赋能、服务应用、用户体验和监管合规,在金融行业成功落地了敏捷高效的数据管理最佳实践。神州信息首席数据官CDO黄万忠发表主题演讲 长亮基于华为云技术平台打造数据管理应用体系,赋能商业银行数字化转型长亮科技大数据业务部总经理李青表示,随着经济形势和金融环境的不断发展和变化,金融行业和互联网已经深度融合。在新的内外部环境要求下,银行需要提高金融服务的深度与广度,快速应对环境变化。长亮依托华为的软硬件技术平台,结合多年金融行业解决方案经验,积极落地金融行业数字化转型方案,内容包括打造数据管理应用体系-全面覆盖数据资产管理、实现智慧营销-全生命周期营销管理、实现智能风控-全流程覆盖信贷风险,助力银行数字化转型。长亮科技大数据业务部总经理李青发表主题演讲 德勤携手华为联合打造金融行业数字化转型方案德勤管理咨询银行业主管合伙人尤忠彬表示:“金融机构数字化转型从发展维度上需要客户跨越电子化、自动化、移动化、智能化4个阶段,从价值维度上需要实现卓越体验、员工减负提能、管理高效精细、业务创新扩张4大目标。”德勤将数字化转型的内涵定义为“4+4”,即帮助金融机构跨越4个阶段、实现4大目标。德勤与华为将充分融合双方优势实现能力互补,协同助力金融机构数字化转型的每一步;同时与华为将合力为金融机构打造“1+1+4+N”的数字化转型整体解决方案,探索金融机构数字化转型之道。德勤管理咨询银行业主管合伙人尤忠彬发表主题演讲 不同数字化阶段的金融机构面临不同的未知挑战,如何利用数据湖、数据仓库、数据库等技术,加速数据资产化,发挥数据新价值,成为当前数据领域的重要话题。华为云致力于深入理解客户的业务需求,将创新领先的技术与应用场景深度融合,创造行业数字化转型的无限可能。
-
建筑行业是我国国民经济的重要物质生产部门和支柱产业之一,在改善居住条件、完善基础设施、吸纳劳动力就业、推动经济增长等方面发挥着重要作用。与此同时,建筑业也是一个安全事故多发的高危行业,如何加强施工现场安全管理、降低事故发生频率、杜绝各种违规操作和不文明施工、提高建筑工程质量,仍将是摆在各级政府部门、业界人士和广大学者面前的一项重要研究课题。随着国家对建筑行业安全标准和监管力度逐步加强,建立一套完整的智慧工地监管平台已经成为未来的主流趋势,但由于建筑工地属于环境复杂,人员复杂的区域,所以考虑到施工现场的设备及人员的安全,一套有效的信息化智能监管系统对于管理者来说是非常有必要的。对于我市而言,建筑业施工工地自动化、智慧化管理既关系到城市居民切身利益,也关系到城市的发展和繁荣。华为云云市场新点智慧工地监管平台软件依托智能感知设备,构筑云物互联的数字化工地,助力践行绿色建造和生态建造,实现信息技术与施工管理的深度融合,有效提高建设主管部门在工程质量、安全等方面的监管与服务效能,优化营商环境。1、运用物联网技术,通过IOT传感器、商品监控等前端感知设备,采集现场的实时信息,达到全天候的非现场监管;打造“1平台+N应用”的系统架构,实现政府监管部门对辖区内工地的集约化监管,提供数据追溯服务,为事故处理提供有效证据,有效提升监管水平;2、借助视频监控,全天候全时段监控现场安全隐患,发掘现场的危险行为,规范现场作业行为;借助新点建设运营的IOT设备管理中心,对IOT设备进行实时数据采集、汇总,便于主管部门全方位及时获取工地数据,快速预警工地隐患问题;3、新点智慧工地监管平台软件依托数据分析、云计算等技术,对采集上来的多源、海量数据来决策分析能力和全域的监管指挥动态监管;建设一套可视化“智慧工地”监管系统,实现对工地汇聚的监管数据的整合挖掘,基于GIS地图展示全区域各施工现场监管情况,展现工地综合信息,为领导的决策分析提供支撑。4、资源整合促进政企协同,通过与质安监系统、企业管理平台等完成数据打通,实现数据的互联互通。打通行业数据网状串联,实现管理流程再造,数据共享融合,可为多个政府部门提供监管决策支撑。文中提到的商品链接:新点智慧工地监管平台软件【华为云云市场,助您上云无忧】
-
2017 年,深圳机场与国际航空运输协会 IATA 签署合作备忘录,参与 " 未来机场 " 项目试点工作。深圳机场也是目前中国唯一入选国际航协“未来机场”试点的机场。 随后深圳机场携手华为,通过提供ICT基础设施+通用平台+行业使能平台,助力深圳机场构建运控,安防,服务三大领域应用,使能机场数字化转型。 华为云云市场北明智慧机场数据使能解决方案依托云化、平台化、智能化实现信息共享、高效业务协同。涵盖机场生产、安全、服务、管理、商业、能管六大运营体系,开箱即用,快速交付,打造“高效、实时、敏捷、增值”的数字机场。 依托云化、平台化、智能化实现信息共享、高效业务协同是未来智慧机场行业发展理念,那么建设智慧机场,都需要经过哪些步骤呢?1、数据接入机场内部结构化业务数据,半结构化日志数据、非结构化视频数据等以及外部航司、电商、社交数据、旅客信息的海量数据采集、存储、格式转换;基于JSON消息格式,提供统一数据交换平台处理机场内外部系统、IMF总线、ACDM总线之间的消息传递和交换2、数据治理夯实数据基础:定义数据标准,技术业务融合,提升数据质量,构建数据湖,数据资源孵化八大主题库;数据价值挖掘:快速组装扩充专题库、模型,应对决策、分析和预测需求;快速数据开放:数据应用服务化,结合内外部业务场景快速创新3、运营可视利用大屏、驾驶舱、报表和自助分析等技术,结合数据挖掘和机器学习技术,使云端数据中心具有像人脑一样的感知、分析、判断能力,使得运营者能够全面掌控机场运行态势,知道发生了什么,为什么发生,将来会发生什么,以及让事情正确的发生。智慧机场解决方案亮点:1、云化交付:基线套件,一键部署,逐步云化,外部电商互联网场景化业务快速对接;2、智慧机场平台:集成机场总线和业务系统,实时处理架构;3、数据应用和治理并重:优秀的咨询团队+数据资产套件助力机场数据资产管理体系,促进机场的数字化转型;4、迭代优化的分析模型:快速组装扩充专题库、模型,应对决策、分析和预测需求;5、关键场景的可视化分析:配套驾驶舱、报表、自助分析模板,数据接入快速快速呈现。以科技赋能,打造“高效、实时、敏捷、增值”的数字机场,提升机场决策效率,促进机场数字化转型,升服务体验和机场的社会、经济效益。文中提到的商品链接:北明智慧机场数据使能解决方案 【华为云云市场,助您上云无忧】
-
首先下载数据集并上传到工作目录:官方下载地址:http://www.image-net.org/百度云盘下载:链接:https://pan.baidu.com/s/147G0s6zqdt6a4ue2XuM_PA 提取码:b8og 运行脚本,创建并解压数据压缩包到指定文件夹:#!/bin/bash mkdir -p train val bbox imagenet_tf tar -xvf ILSVRC2012_img_train.tar -C train/ tar -xvf ILSVRC2012_img_val.tar -C val/ tar -xvf ILSVRC2012_bbox_train_v2.tar.gz -C bbox/如果解压后的train目录内依然是压缩包,则在train目录下执行以下命令再次解压:find . -name "*.tar" | while read LINE ; do mkdir -p "${LINE%.tar}"; tar -xvf "${LINE}" -C "${LINE%.tar}"; rm -f "${LINE}"; done将数据集转换成TFRecord格式:执行命令或根据以下链接下载数据处理脚本:git clone https://github.com/tensorflow/models.git进入数据处理脚本目录,进行验证数据处理cd models-master/research/slim/datasets/ # 预处理验证数据 python3 preprocess_imagenet_validation_data.py /data/dataset/imagenet2012/val/ imagenet_2012_validation_synset_labels.txt将标注的xml文件转换成csvpython3 process_bounding_boxes.py /data/dataset/imagenet2012/bbox/ imagenet_lsvrc_2015_synsets.txt | sort > imagenet_2012_bounding_boxes.csv将数据集转换成TFRcord格式数据(如果遇到报错,可参考文末FAQ)python3 build_imagenet_data.py --output_directory=/data/dataset/imagenet2012/imagenet_tf --train_directory=/data/dataset/imagenet2012/train --validation_directory=/data/dataset/imagenet2012/valFAQ 1. 如果遇到/tmp//n***** is not exist之类的路径错误,请确认数据路径正确,如果检查无误仍然存在,则需要将修改build_imagenet_data.py中的默认路径改为实际绝对路径 2. 报错:TypeError: 'range' object does not support item assignment 解决办法:在build_imagenet_data.py第530行修改,range(*)àlist(range(*)) 3.报错:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte 解决办法分3步:将第330行中“r”-->“rb”第206行,将改为3.第210行,将改为:example = tf.train.Example(features=tf.train.Features(feature={ 'image/height': _int64_feature(height), 'image/width': _int64_feature(width), 'image/colorspace': _bytes_feature(colorspace), 'image/channels': _int64_feature(channels), 'image/class/label': _int64_feature(label), 'image/class/synset': _bytes_feature(str.encode(synset)), 'image/format': _bytes_feature(image_format), 'image/filename': _bytes_feature(os.path.basename(str.encode(filename))), 'image/encoded': _bytes_feature(image_buffer)}))
-
金融业如何在数字化转型不同阶段实现数字金融?如何打造高效智能的数据平台,赋能金融行业数字化转型?6月3日-4日,来华为智慧金融峰会2021“华为云数据使能,加速金融数据资产化”分论坛,这里将会有你想要的答案,戳此链接注册报名,我们不见不散!https://e-campaign.huawei.com/campaign/financialSummit2021/offline/login?tc=ZP8DgrT9pL
-
据预测未来4年数据量将激增5-8倍,达180ZB,到35年呈50倍增长。同时,数据作为继土地、资本、技术、劳动力的第5种生产要素,已是数字经济发展的重要要素。但相关调查结果显示,企业运营中仅56%的数据被存储,仅32%的数据被利用。因此,在政企数字化转型的关键阶段,如何利用数据湖、数据仓库、数据库等技术,加速数据资产化,发挥数据新价值,成为当前数据领域的重要话题。4月8日,华为云TechWave全球技术峰会在深圳成功举办,峰会以“创新·普惠”为主题,汇聚业界精英、技术大咖、先锋企业、合作伙伴等,共话前沿技术,分享行业优秀应用实践,探讨企业智能升级的成长之道。其中,数据使能分论坛围绕“数据使能,驱动业务增长”为主题,首先解读华为云数据使能服务DAYU,同时招商银行、深圳地铁将分享数字化转型创新实践,合作伙伴永洪BI畅谈联合解决方案,最后由华为云FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术专家共同探讨政企用数之道。(数据使能分论坛现场照片)华为云数据使能DAYU重磅开场:加速数据资产化,开发数据新价值(华为云数据使能服务总经理马麟瑜演讲)华为云数据使能服务总经理马麟瑜表示,“数据管理的领导者正在通过挖掘数据价值来驱动数字化转型,创造发展机会,改善客户体验和重塑行业格局。华为云数据使能DAYU致力于打通企业数据从资源到资产的通路,助力政企客户跨越孤立系统、感知业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。”华为云数据使能服务DAYU包含三层能力:数据技术平台-智能数据湖 FusionInsight:为政企客户提供覆盖海量数据全生命周期的管理方案。包含MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库、数据湖治理中心DGC等服务。使能套件 DAYU Ekit:包含使能在线化工作台,资产化效率提升10X; 行业使能知识库,协同伙伴沉淀行业资产模型,同时将AI驱动方法论与行业知识结合,实现数据资产化智能流水线工作。资产中心 DAYU Hub:通过为客户提供丰富的数据模型、数据资产管理方法,帮助企业实现资产可信管理,资产模型智能分析 ,多方安全可信计算,保障全局数据的安全流通。招商银行、深圳地铁分享大数据创新实践数据使能分论坛中,招商银行、深圳地铁分别分享了基于华为云数据域的行业创新实践。(招商银行数据仓库架构师曾民演讲)招商银行数据仓库架构师曾民表示:招商银行通过使用华为云强化了数据平台的建设,“人人用数”战略让招行没有难用的数据,打造金融数仓,秉承“源于业务,高于业务,先于业务”的理念,以解决实际业务问题为出发点,沉淀可复用易扩展的数据使能能力,成为数据“能用,好用,爱用”的践行者与布道者。早在2019年下半年,招商银行就开始了新一代MPP数据仓库平台的选型,旨在通过对数据平台的数据处理能力、性能、高可用性、扩展性、易用性、通用性等特性进行多方位的考察。通过多维度的测试,最终选定华为云GaussDB(DWS)作为新一代云上数据仓库平台,进一步提升了金融数仓的算力、备份、存储等性能,加速落实招行“人人用数,人人都是数据分析师”的数据发展战略!同时招商银行已和华为云FusionInsight MRS展开了一系列金融数据湖联合创新,旨在使用HetuEngine提高用数效率,简化用数方式。(深圳地铁运营集团线网管控中心副总经理张洪庆演讲)深圳地铁运营集团线网管控中心副总经理张洪庆在“云数赋能,实现智慧深铁“议题中表示:“在智慧城轨快速发展的大背景下,深圳地铁以科技赋能运营为目标,积极探索智慧运维新模式。在智慧城轨探索上,试点先行,顶层规划和企业标准同步推进,采用了华为城轨云解决方案,利用云计算、大数据、5G、人工智能等技术核心,建立了统一、开放、智能的城轨数字平台。在城轨云平台基础上,利用华为云 FusionInsight MRS云原生数据湖能力构建深圳地铁大数据分析平台,在智慧车站、智慧运维方面,对新技术与地铁场景进行创新融合,推进了车站业务全日自动运行、线上线下一体化客服、设备主动检测、健康管理等应用,探索数字化、高效化的新业务模式,科技赋能运营更高质量运行,企业更低成本运作,为城市提供更优质的公共交通服务。”(永洪BI技术专家黄华晃演讲)合作伙伴永洪BI分享基于华为云实现敏捷BI的联合解决方案永洪BI技术专家黄华晃分享了“永洪BI自助用数,敏捷提效20倍“议题,并表示基于华为云FusionInsight MRS云原生数据湖,永洪BI实现快速搭建应用,打造了更敏捷、更快速、更强大的“永洪BI”,具备自服务、高性能、极致易用等特点,已广泛用于金融、政务、能源等行业,让人人都成为数据分析师!至今,华为云FusionInsight联合800+ISV,已为千行百业的客户提供“一企一湖、一城一湖“的数字化转型方案。数字化转型之路离不开客户对于华为云FusionInsight智能数据湖的信赖,也离不开伙伴的精诚合作。同时,华为云也坚持技术创新,在MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等产品上不断潜心钻研,勇攀技术高峰!华为云FusionInsight、GaussDB技术专家共谈数字化转型创新技术华为云FusionInsight解决方案首席架构师徐礼锋在会议中分享了“华为云FusionInsight MRS云原生数据湖一架构三湖,持续演进“的议题,深度解读了一个架构实现三种湖的能力和新技术。(华为云FusionInsight解决方案首席架构师徐礼锋演讲)逻辑数据湖:HetuEngine提供跨湖、跨仓、跨云统一访问,减少数据搬迁,数据高效流动,全域数据秒级协同分析秒级响应,业务上线效率提升10倍,由周级缩短至天级。实时数据湖:流处理 + Hudi实现数据更新入湖,从T+1到T+0; ClickHouse提供毫秒级实时OLAP分析能力;Flink提供FlinkSQL能力,批流SQL接口统一,实现流批一体。离线数据湖:HetuEngine提供秒级交互式查询能力,数据不出湖,分析链路短,性能比Impala快30%+,分析提效10倍+;DLC提供统一的元数据,数据全局可视; HetuEngine提供湖内统一SQL接口:HDFS、Hive、HBase、ES等,简化用数。华为云FusionInsight MRS践行产学研合作,全面推进大数据开源技术发展,联合清华大学发布了IoTDB时序引擎版本。目前华为云FusionInsight MRS已应用于60多个国家3000+客户,助力政企客户实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!华为云GaussDB技术专家胡彦军分享了“华为云云原生分布式数据库GaussDB,多模架构,多元生态“的议题,为我们解读了华为倾力打造的云原生数据库GaussDB系列产品的技术创新与行业普惠。(华为云GaussDB技术专家胡彦军演讲)华为云GaussDB(for openGauss)基于云化的部署模式,分布式形态,生态开放,更好满足了企业的数据库诉求。经过13年的积累,从内部锤炼,再到外部行业实践,华为云GaussDB(for openGauss)淬炼出6大核心能力:(1)超高可用:支持跨机房、同城、异地、多活高可用,支持分布式强一致,数据0丢失。(2)开放生态:openGauss开放生态,确保客户避免被类似传统商业数据库的封闭生态锁定。(3)极致扩展:通过分布式全局事务一致性优化,实现计算与存储的垂直扩展能力,同时支持新增分片的数据在线重分布能力。(4)卓越性能:分布式优化器+Numa-aware技术加持,提供极致性能。在TPC-C、TPC-H等企业级负载下性能表现卓越。以及具备丰富的企业级特性(如支持HTAP混合负载,拥有AI自治能力)和超高的安全性(具备独立的代码级的问题修复能力及架构优化能力),构建了极具竞争力的能力。华为云GaussDB(DWS)技术专家李海丰分享了“华为云GaussDB(DWS)实时数仓,提速全场景数据分析“的议题,其中实时数仓的时序引擎和CEP引擎成为亮点。(华为云GaussDB(DWS)技术专家李海丰演讲)华为云GaussDB(DWS) 是一款具备分析及混合负载能力的分布式数据仓库,支持行存储与列存储,提供PB级数据分析能力、多模分析能力和实时处理能力,用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,广泛应用于汽车、制造、零售、互联网、金融、政府、电信等行业核心分析决策系统。作为新一代全场景云原生数据仓库,它不仅仅是把数仓搬上云这么简单,而是真正面向未来的云原生架构的数仓服务。传统数仓一般是基于分布式shared nothing的MPP架构实现的,而GaussDB(DWS)在MPP架构的基础上,与高性能的云存储相结合,打造了多温存储的存算分离架构,支持资源的弹性伸缩。同时,逻辑集群和多租户技术,将存储和计算资源进行了更细粒度的隔离,用户可以对不同的业务划分不同的逻辑集群或租户,实现更加灵活的弹性。受益于云服务的多样性,GaussDB(DWS)支持多源、多模的融合分析,既可以在库内支持时序、流、全文检索、GIS等内置多引擎的数据分析,又可以基于OBS实现跨引擎的协同计算,例如与FusionInsight MRS云原生数据湖、GES图引擎、ModelArts AI平台等实现数据免搬迁。至此,华为云TechWave全球技术峰会数据使能分论坛圆满结束。围绕“数据使能,驱动业务增长”主题,为现场观众讲述了金融、交通等行业的数字化转型创新实践,联合合作伙伴畅谈数据湖BI联合解决方案,云集华为云DAYU数据使能、FusionInsight MRS云原生数据湖、GaussDB数据库、GaussDB(DWS)数据仓库等技术专家共聚一堂“鹏城论数”,探讨政企用数之道,分享了政企客户数字化前沿技术。下一场,上海,与您不见不散!调查问卷更多内容,华为云FusionInsight系列文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html
上滑加载中
推荐直播
-
华为AI技术发展与挑战:集成需求分析的实战指南
2024/11/26 周二 18:20-20:20
Alex 华为云学堂技术讲师
本期直播将综合讨论华为AI技术的发展现状,技术挑战,并深入探讨华为AI应用开发过程中的需求分析过程,从理论到实践帮助开发者快速掌握华为AI应用集成需求的框架和方法。
去报名 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践
2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中,数据主题域如何合理划分?数据标准及主数据标准如何制定?数仓分层模型如何合理规划?华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案!本期将从数据趋势、数据治理方案、数据治理规划及落地,案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签