-
华为云10款大数据爆品4折钜惠,低价狂欢不容错过! 数据仓库服务GaussDB(DWS):4折,适用于BI分析、数据分析即时呈现场景。 云搜索服务:5折,适用于站内搜索、TB级数据毫秒级返回搜索结果场景。 MapReduce服务:5折,适用于IoT数据处理、一键安装场景,业务不中断。 数据湖探索、数据可视化:5折,适用于数据大屏解决方案,无忧运维,开箱即用。 100元ModelArts神券限量送,消费满额还送华为Mate40,下单即有机会抽取华为电脑MateBook X Pro。 立即抢购,请点击 人工智能+大数据专场>>
-
摘要:一个统一的现代化的数据基建需要三类架构来实践三种不同的应用场景。近期,美国知名科技企业风投机构A16Z总结出一套通用的技术架构服务,分为以下三种场景。一、数据基建架构全景数据流向显示,左侧的数据源经数据处理(批量、实时流、事件流等)将数据统一汇聚到数据湖或数仓中,通过数据科学或机器学习进行AI分析,通过AD Hoc和实时分析为客户或APP提供敏捷的结果数据。华为云FusionInsight为政企客户提供一站式全场景的云原生数据湖,围绕政企客户在采存算管用等数据全生命周期提供领先的整体解决方案,方案主要包含MRS大数据、DWS数据仓库、一站式数据治理中心等云服务,助力政企客户释放海量数据价值!其架构如下:上千个大型客户已经基于FusionInsight架构构建其大数据应用平台。A16Z经过调查相关业内人士得出一个结论:一个统一的现代化的数据基建需要三类架构来实践三种不同的应用场景。现代化 BI 架构多模式数据处理架构人工智能和机器学习架构1.现代化 BI 架构这是对小型数据团队和预算有限的企业的默认选项,企业逐渐从传统数仓迁移到这个架构,利用云的灵活度和可扩展性。应用场景包含:报表,仪表盘,自助式分析,主要使用SQL来分析结构化数据。优势:前期投入低,启动快,市场上人才储备充分。缺陷:对于数据场景复杂的团队不适用,比如需要数据科学,机器学习,或者实时场景。传统的小型数据团队其面对的数据基本以核心交易系统的RDBMS结构化数据为主,数据量在GB级,普通的数仓都可支持其数据的分析挖掘,无需大数据支撑就可完成,这种处理方式在2008年时的大型企业中也较为常见,其数据量较小基本上使用数仓就可完成日常的数据大屏、数据分析等工作。这是对小型数据团队和预算有限的企业的默认选项,利用云的灵活度和可扩展性,企业逐渐从传统数仓迁移到这个架构。华为云FusionInsight可提供企业级数仓,DWS目前服务于全球1000+大型客户,广泛应用于政府、金融、运营商、大企业等领域。产品始于2011年,经历将近10年技术积累,已取得180+国内外授权专利。DWS可支撑日常的结构化数据分析,其具有如下特点:大规模:GaussDB(DWS)基于分布式架构,在保证ACID的基础下,突破大规模分布式场景下集群通信(Multi-Streams)、逻辑集群(Multi-Groups)技术,具备2048节点扩展能力。值得一提的是,逻辑集群可将ODS、数据仓库、数据集市、自助分析等不同业务负载,有机的统一起来,有效隔离、有效共享。高性能:GaussDB(DWS)具备多层级全并行计算引擎。支持多个物理节点并行计算,在一个物理节点内部,支持多个CPU核心并行计算,在一个CPU核心的指令序列中,支持SIMD指令,实现一个指令同时操作多条数据。将并行能力发挥到极致,为业务提供极致的性能。另外,Multi-Cores技术使得在鲲鹏上性能相比同代x86芯片提升30%以上。高可靠:GaussDB(DWS)具备多层级容灾能力,在AZ、集群、节点及进程出现软硬件异常的情况下能够平滑处理。另外,Server端Multi-Retries技术大幅减少故障失败的业务感知;其次,在棘手的亚健康问题上,GaussDB(DWS)也有完善的检测和处理机制;最后,离线扩容、半在线扩容、在线扩容技术能够从容应对客户不同的扩容需求。华为云DWS数据仓库技术核心是分布式架构,过去十年一直围绕分布式构筑竞争力。未来,GaussDB(DWS) 数据仓库将基于分布式架构持续演进,围绕云、大数据、5G/IoT、人工智能,构筑下一代开放的、全场景分析型数据库。2.多模式数据处理架构这个架构通常用于大型企业和科技公司,用来满足复杂的数据需求场景。应用场景包括:BI及高级功能,包括AI/ML,低延时分析,大规模数据转换,多类型的数据处理(文字,图像和视频)使用各种语言(JAVA/SCALA,Python和SQL)优势:能灵活的支持各种应用,工具和UDF和部署环境。在大规模数据集上的成本优势。缺陷:不适合小型数据团队,维护这套架构需要较多的时间,费用和专家资源投入。在现实世界中,需求侧觉醒的同时,在平行的赛博世界中,技术的进化也一直在持续。自从2006年Apache Hadoop架构发布以来,到2011年,企业逐渐采用Hadoop架构演进出来的开源或商用大数据软件,开启了离线计算时代;2012年,以Spark等为核心的流式计算开启了实时计算时代,在线分析和实时计算的场景也开始逐渐应用,但这一阶段的使用者主要是开发人员;2013年至今,随着数据的激增,大数据平台演进成了融合大数据平台,而随着AI等技术的突飞猛进,从数据分析到数据挖掘,大数据平台向着智能化进行演进。权威调研机构IDC表示,“数字化时代下的竞争正在加速,市场参与者要么通过数字化转型成为领头企业形成规模化优势,要么将逐渐被市场淘汰”。随着5G、AI、IoT等技术的迅猛发展,到2025年,全球数据量将从2018年的33ZB快速增长到180ZB,全球数字经济总量将达25万亿,CEO也越来越重视,参与度高达67%,数字化技术让投资回报率达到6.7倍,政企数字化进程为64%。综上可知,数字化转型是政企充分释放复杂场景用数需求的必经之路。数字底座如此关键,那么大数据作为主要承载技术,自然是其重中之重。华为云FusionInsight提供MRS数据湖服务,让政企客户在一个大、快、融、稳的云原生数据湖架构下持续演进:1)大:支持最大2万+节点大规模集群,可集群联邦无限扩容;2)快:可T+0实时增量更新同步,可毫秒级高效实时OLAP,缩短分析链路,实现实时数据湖;3)融:通过HetuEngine打破多引擎、多源、跨地域的限制,消除数据孤岛,统一SQL接口融合分析,简化用数,全民BI;4)稳:支持在线滚动升级,无需拆集群、搬应用,使客户一个架构持续演进,十年无忧!5)云原生数据湖:通过统一元数据,让数据全局可视;通过存算分离的企业级EC,降低TCO。华为云大数据,自2008 年开始投入研究,最早于2014年推出商用产品,秉承开源开放的心态,践行“平台+生态”战略,华为云踩对了历史的进程,围绕政企大数据全生命周期,华为云FusionInsight是一个技术领先的云原生智能数据湖,是华为云三大使能之数据使能方案的坚实数据底座。3. 人工智能和机器学习架构应用机器学习的公司已经在使用这套架构的一部分技术。深度使用机器学习的企业会部署整套架构,甚至自研新的工具。场景:数据驱动的内外部应用程序,场景有实时的或批处理的。优势:完全掌控整体的开发过程,将机器学习打造为企业核心且长期的能力。缺陷:不适合尚在探索机器学习,只为小范围的内部应用场景。大规模应用机器学习仍是当前最大的数据挑战华为云ModelArts为政企客户提供一站式的AI训练和推理平台,其具有如下特点:支持AI全栈、全流程、全场景开发训练支持资源统一管理、统一池化调度支持业界主流引擎和自研引擎,实现零成本迁移提供多维度功能特性,满足各类用户在近日发布的《IDC MarketScape: 中国大数据管理平台厂商评估,2020》(以下简称IDC大数据报告)报告中,对中国主流大数据厂商从能力、战略、市场份额三个维度进行了全面评估,华为云位居领导者象限领先位置,并在技术实力和市场份额两大维度双领先在技术上持续创新打磨之外,华为云FusionInsight也是“最懂行”的大数据解决方案:在政府领域,国内50%的智慧城市都有华为云FusionInsight的孜孜不倦的身影,华为云大数据已支撑多个部委和各省市地区建设“大数据+政务”。在某市,华为云FusionInsight联合伙伴建成“一云二网三平台”,在统一的政务数据逻辑模型的指导下,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,以建设智慧应用为抓手,打破信息孤岛,实现信息资源交换共享,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,发挥大数据的威力,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。在金融领域,国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight构建其大数据平台。某行使用华为云FusionInsight构建大数据基础平台,支撑了银行企业级数据湖、数据仓库、集团信息库为核心的“一湖两库”建设,承载了总行及各支行业务系统,支撑日常银行BI、AI、数据挖掘、数据分析等,实现了一份数据全局可用,免除数据搬迁,提升协同效率10倍,存储周期提升2倍,资源利用率最大可达90%,加速银行数字化转型进程。在运营商领域,国内三大运营商均使用华为云FusionInsight构建其大数据平台。广东移动基于华为云FusionInsight,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。在交通领域,深圳地铁在6、10号线采用华为云FusionInsight构建大数据分析平台,打造领先的5G+大数据方案,并构建其数据资产中心和运行监控中心,承载地铁各业务系统,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析,数据分析效率从周级缩短至分钟级,实现高效运营,推动深圳步入更美好的全联接数字化轨道交通新时代…除过在以上各行业的应用,在环境保护方面,青海绿能数据有限公司基于华为云FusionInsight构建了国内首个能源大数据创新平台,实现了规划辅助决策、用气象数据科学指导发电等创新业务,为上下游产业链企业提供25类47项数据服务,推动28座新能源场站实现了“无人值班、少人值守”,并有效支撑了青海“绿电15日”,以大数据为基石,建设绿色新青海,守护高原和谐生态。同时,华为坚持“自己的降落伞自己先跳”,华为集团IT通过FusionInsight构建OneData大数据集群,实现大数据平台在大规模场景下的开拓,OneData集群其规模已至1万+节点;同时,实现了统一的数据管理服务,在菩提海UniDB产品中,通过逻辑统一方式,把50+物理分散的计算集群(Hadoop+MPP),基于五统一(数据安全,元数据目录,数据集成,数据访问,任务调度),整合成湖仓一体的架构,支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS+DWS 的“+治理,+AI,+运营,+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用,未来可期。以上只是“冰山的一角”,华为云FusionInsight一方面不断深入理解客户不断发展的业务诉求,另一方面,持续技术创新并引领行业发展,商业诉求+技术创新双轮驱动行业可持续、高质量发展,“用数”助力客户商业成功!上面的论述已经充分证明,华为云是“懂行”的大数据领导者,真正让客户用好数、管好数、放心用。据了解,截至2020 年10月底,华为云FusionInsight 智能数据湖已服务60+个国家和地区,3,000+客户,覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造、互联网等行业。
-
"华为&泰克产教融合实训云平台为“云计算&大数据实习实训”提供了完整的实训环境,补足了以往传统实训室的短板,有效提升了学生的动手实践能力,对学生未来的职业发展奠定坚实的基础。"—— 信息技术新工科产学研联盟副秘书长 计卫星 一、背景与挑战北京理工大学,由中华人民共和国工业和信息化部直属,中央直管副部级建制,是新中国成立以来国家历批次重点建设的高校,首批进入国家“211工程”和“985工程”,首批进入世界一流大学建设高校A类行列;京港大学联盟、中俄工科大学联盟、卓越大学联盟成员;入选111计划、2011计划、卓越工程师教育培养计划、国家级大学生创新创业训练计划、国家级新工科研究与实践项目、国家大学生创新性实验计划、国家建设高水平大学公派研究生项目、中国政府奖学金来华留学生接收院校、全国深化创新创业教育改革示范高校,设有研究生院。是一所以理工科为主干,工、理、管、经、文、法、艺等学科协调发展的全国重点大学,被誉为“红色国防工程师的摇篮”。 二、客户痛点 为积极响应新工科人才培养的号召,北京理工大学、新工科联盟、华为和泰克教育集团联合打造的全国首个新工科创新人才基地于2018年9月在北京落成。由产教融合实践云平台提供技术支撑,聚焦云计算、大数据、人工智能等创新人才培养,是建设数字中国、把握信息化发展机遇,真正将产学研无缝衔接的重要举措,对ICT人才生态的建设具有标杆意义。 新工科人才培养基地揭牌仪式 基地参观交流 三、解决方案 1、创建云计算、大数据等实践环境不需繁琐的环境搭建和清理,一键接入实验环境,随时记录实践进程并自动生成实验报告。在实验过程中,学生通过智能问答快捷掌握常用知识点,遇到疑难问题还可以和老师及专家远程操作互动。最后,负责实训的老师可以通过可视化的管理界面随时了解学生实践进程,方便查阅根据具体操作自动生成的最真实、翔实的实训报告。2、该平台可满足200名师生同时进行云计算、大数据、人工智能、数据安全等学科专业的实践实训。3、大大的解决了教学环境的普通局限性,打破了ICT行业的教学瓶颈,实现灵活、快捷、安全省钱的实践模式,可以培养出更多与市场需求高度契合的专业人才。 四、客户价值 1、打破以往实训模式化严重、学生参与度低的问题,是虚实结合的“理论+实践”教育解决方案典型示范!2、教学科研智能化、管理数据可视化、产业资源集成化,大大提高教学工作效率与实践培养质量。3、打破了传统教学的实践瓶颈,实现灵活、快捷、安全、低成本的实践模式。案例中使用的商品:泰克双创实践云平台【华为云云市场,助您上云无忧】
-
“盛云猫,它是一款真正做到从我们装备制造企业的需求场景出发来设计的一款软件,他充分解决了我们售出设备运维管理难、售后服务管理难、配件销售难等一系列问题,提高了我们的售后服务效率和质量,减少了售后服务成本,同时还提高了配件的销售率。”——正业科技IT主管邹金一、背景与挑战广东正业科技股份有限公司创立于1997年,主要面向电子信息产业提供智能检测和智能制造整体解决方案等产品和服务,在电子信息产业领域被市场广泛认可,目前市场覆盖全球数十个国家和地区。但随着公司的不断发展,大量的设备管理及其售后服务工作也成为公司面临的新挑战,因此正业科技希望依托物联网、云计算等新技术,帮助正业科技实现设备的数字化运维、预测性维护、人性化售后,最终帮助正业科技实现从设备制造到服务型制造的转型。 二、客户痛点1、企业的售后服务方式还是被动式服务,售后服务部门每年都要花费大量的差旅成本,但又很难为企业带来利润收入;2、售后人员难以管控,售后服务的流程长、效率低下,客户满意度低;同时缺乏售后服务反馈机制,服务完成质量情况无法清晰得知;3、配件查找难,报价难,销售更难;设备资料碎片化,设备销售难;和客户之间存在鸿沟;4、设备信息管理混乱,设备BOM,图纸,手册,知识库缺乏统一管理,查找不方便,效率较低;5、设备运行、故障等数据统计报表主要是通过手工的方式进行统计,统计过程容易出错,统计效率较低; 6、通过传统沟通的方式(电话、邮件)沟通,效率较低,同时也缺乏有效记录与跟踪,响应时间长; 7、故障处理效率较低、知识/经验不能在线创建,共享,设备历史故障没有形成记录。 三、解决方案基于华为云的Iot平台及相关技术,为正业科技提供了一套成熟的工业IoT解决方案,充分解决了正业科技售出设备运维管理难、售后服务管理难、配件销售难等一系列问题,助力正业科技的售后服务迈上了智能化新台阶。 1、建立了正业科技和设备客户的在线沟通平台:设备用户可一键提交服务单或意见建议,帮助正业科技及时了解设备使用状况及设备用户反馈,帮助设计研发部门了解用户需求,改善产品质量,提升客户满意度; 2、建立检测设备的远程运维管理平台:实时采集监控设备使用情况,设备出现异常、故障,自动提醒服务中心对异常问题快速诊断,快速解决;设备出现故障,可做出预测性判断,主动服务,提醒终端用户进行设备维护检修; 3、建立了智能售后服务平台:利用物联网IOT+售后服务工单派单+配件管理,将售后服务变得更智能、更人性化,既提高了正业的售后服务质量及效率,同时也大大提升了客户的满意度;同时可通过过预测性维护,实现备件精准性营销,增加售后服务收入,增加客户粘性,同时也逐步实现了售后成本中心向利润中心的转变; 4、建立了设备信息全生命周期管理平台:实现正业设备信息的全生命周期管理,将设备的履历信息、设备配件、知识库等信息体系化、数字化管理,降低了对工程师的依赖,即使工程师离职,也不会导致部分知识的缺失;设备维护记录、知识手册、历史问题对策等资料都记录在线,可通过知识库查找快速为客户解决类似故障问题,大大提升了故障处理效率; 5、建立了产品商城平台:设备、配件实现在线化销售,将大量的线下沟通及流程工作实现在线化、便捷化,大大提升了装备制造商的配件销售额、设备销售效率,推动企业服务化转型升级。 四、客户价值1、服务效率提升:故障处理从客户反馈到维修处理需要1-7天不等,现在部分的问题压缩到1-2天内,部分故障处理效率提升了70%; 2、服务成本降低:原来大部分的问题都需要工程师去现场确认,现在可直接可通过远程诊断、远程维护即可,降低了人员的售后维护成本15%;3、客户满意度提升:利用物联网IOT+售后服务工单派单+配件管理的方式,大大提高售后服务质量和效率,从而也提升了客户满意度10%以上;4、配件销售率提升:利用在线商城,实现配件的在线化销售,提高了15%的配件销售;5、设备信息查找效率提升:通过设备信息全生命周期的体系化、数字化管理,大大提高了企业设备信息查找效率50%以上,也大大减少了对人员的依赖。 案例中使用的商品:盛原成工业IOT解决方案【华为云云市场,助您上云无忧】
-
近日,IDC发布《IDC MarketScape: 中国大数据管理平台厂商评估,2020》报告。该报告从能力、市场、战略三大维度对中国主流大数据厂商进行全面评估,报告显示华为云位居“领导者(Leaders)”象限,并在市场份额和技术实力两个维度双领先。可以看到,在IDC大数据报告中,有云服务厂商、传统ICT 厂商,以及大数据时代的创企等三类“玩家”。为何华为云能够脱颖而出?解读华为云FusionInsight智能数据湖五大硬核能力据了解,华为云FusionInsight智能数据湖五大硬核能力凸显了创新技术。硬核能力一:让政企客户在一个大、快、融、稳的数据湖架构下可持续演进!大:传统的大数据单集群扩容受限,往往扩容到2000节点就难以突破,华为云FusionInsight通过大集群突破扩展性瓶颈,支持最大2万+节点大集群,还可集群联邦无限扩容。此大规模特性已在华为内部获得了实践,华为云流程IT通过FusionInsight构建OneData大数据集群,其规模已至1万+节点,支撑各部门运营分析、即席查询等大数据分析,每日新增数据近100TB,10万张表,即席查询任务日均1万+,批处理作业每日10万+。华为流程IT OneData大集群历经两次滚动升级,业务0中断,已稳定运行六年。快:因数据量仍在不断指数级增长,人们对大数据高效处理的极致追求永无止境!传统大数据存在分析链路长,以T+1事后报表为主。华为云FusionInsight MRS可T+0实时增量更新和实时OLAP,让大数据越用越”快“!华为集团IT基于FusionInsight,实现了CDC+FLINK的实时集成方案,支撑了主干交易、财经、供应等交易数据的增量整合模型落地,相对于传统数仓的ETL+调度方案,数据供给效率提升了10倍。融:传统大数据分析面临类型多、分布散、协同难等问题;FusionInsight通过HetuEngine实现五大融合,统一SQL接口仅用简单的SQL就可操作PB级数据,全民BI,让大数据越用越简单。某行基于FusionInsight构建金融大数据,通过HetuEngine统一SQL接口,解决数据分散,组件多、语言多等难题,降低技术开发门槛,跨源跨域跨引擎融合分析,数据免搬迁,降低整体TCO。稳:FusionInsight可保障一企一湖连续性,在线滚动升级,业务永远在线,无需拆集群、搬应用,彻底解决传统大数据集群多、效率低、管理难、升级难等问题,让升级过程中关键业务不中断,确保业务连续性。某运营商使用FusionInsight搭建了大数据平台应对5G数据浪涌,先后两次滚动升级实现了大数据平台的平滑演进,实现业务无中断,升级无感知,用户体验持续在线,单集群规模已扩展至1500+节点,支撑了各类政务、旅游、精准扶贫等200+大数据应用服务,覆盖用户1.3亿+。硬核能力二:实时数据湖为了实现实时性,华为云FusionInsight提出了实时数据湖, 支持数据实时批量入湖、实时增量同步,全量数据供应效率T+0;可对贴源数据实时多维分析,缩短分析链路,提高分析效率,让数据价值近在眼前!硬核能力三:云原生数据湖近几年,云原生是云计算领域关键的技术创新,华为云在云原生领域也探索多年,通过Data Lake Catalog数据湖目录,为超大规模分析引擎提供统一元数据服务,让数据全局可视可得;在数据存储方面,通过OBS存算分离方案,实现计算、存储按需扩容,基于企业级EC实现最低1.2副本,总体TCO下降20%+,让数据每bit成本更优!。湖内提供交互式分析引擎,可无缝对接BI报表和自助分析,实现秒级用数,数据免搬迁;湖内统一SQL接口,降低技术开发门槛,简化用数,实现技术领先的云原生数据湖。硬核能力四:企业级数据仓库华为云FusionInsight为客户提供基于Shared-Nothing架构提供新一代开放的、全场景分析型数据仓库DWS,支持2048节点扩展能力;多层级全并行计算引擎,可调度海量的算力资源,通过高效的指令效率,实现数据导入和分析;具备多层级容灾能力,稳定可靠,离线、半在线、在线扩容技术,从容应对多种扩容场景。硬核能力五:一站式数据湖治理中心华为云FusionInsight为客户提供一站式数据湖治理中心,助力企业快速构建从数据接入到分析的E2E数据治理体系,统一数据标准,加速数据资产化。通过全域数据视图统一信息架构,统一数据标准;通过一站式全栈平台实现30+异构数据源的高效数据集成;拥有开放完备的安全体系,数据分级分类,统一安全认证。通过以上五大“硬核”能力的加持,华为云FusionInsight新一代的数据湖,让大数据越用越快、越用越易、越用越稳、越用越省!技术产品好不好,要用案例来说话事实上,华为云这种“稳定第一”的表现,在很多权威榜单中也有体现,例如连续四年上榜工信部中国大数据企业50强,连续三年入围Gartner Magic Quadrant for Data Management Solutions for Analytics,在中国区厂商排名第一。在技术受到权威机构认可的同时,华为云FusionInsight也是“最懂行”的大数据解决方案。截至 2020 年 6 月底,华为云大数据已服务了 60+个国家和地区、3000+客户,覆盖政府、金融、运营商、电力、医疗、制造、互联网等众多行业。在政府领域,国内50%的智慧城市都有华为云FusionInsight的孜孜不倦的身影,华为云大数据已支撑多个部委和各省市地区建设“大数据+政务”。在某市,华为云FusionInsight联合伙伴建成“一云二网三平台”,在统一的政务数据逻辑模型的指导下,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,以建设智慧应用为抓手,打破信息孤岛,实现信息资源交换共享,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,发挥大数据的威力,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。在金融领域,国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight构建其大数据平台。某行使用华为云FusionInsight构建大数据基础平台,支撑了银行企业级数据湖、数据仓库、集团信息库为核心的“一湖两库”建设,承载了总行及各支行业务系统,支撑日常银行BI、AI、数据挖掘、数据分析等,实现了一份数据全局可用,免除数据搬迁,提升协同效率10倍,存储周期提升2倍,资源利用率最大可达90%,加速银行数字化转型进程。在运营商领域,国内三大运营商均使用华为云FusionInsight构建其大数据平台。广东移动基于华为云FusionInsight,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。在交通领域,深圳地铁在6、10号线采用华为云FusionInsight构建大数据分析平台,打造领先的5G+大数据方案,并构建其数据资产中心和运行监控中心,承载地铁各业务系统,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析,数据分析效率从周级缩短至分钟级,实现高效运营,推动深圳步入更美好的全联接数字化轨道交通新时代…以及在环境保护方面,青海绿能数据有限公司基于华为云FusionInsight构建了国内首个能源大数据创新平台,实现了规划辅助决策、用气象数据科学指导发电等创新业务,为上下游产业链企业提供25类47项数据服务,推动28座新能源场站实现了“无人值班、少人值守”,并有效支撑了青海“绿电15日”,以大数据为基石,建设绿色新青海,守护高原和谐生态。同时,华为坚持“自己的降落伞自己先跳”,华为集团IT通过FusionInsight构建OneData大数据集群,实现大数据平台在大规模场景下的开拓,OneData集群其规模已至1万+节点;同时,实现了统一的数据管理服务,在菩提海UniDB产品中,通过逻辑统一方式,把50+物理分散的计算集群(Hadoop+MPP),基于五统一(数据安全,元数据目录,数据集成,数据访问,任务调度),整合成湖仓一体的架构,支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS+DWS 的“+治理,+AI,+运营,+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用,未来可期!以上只是“冰山的一角”,华为云FusionInsight一方面不断深入理解客户不断发展的业务诉求,另一方面,持续技术创新并引领行业发展,商业诉求+技术创新双轮驱动行业可持续、高质量发展,“用数”助力客户商业成功!上面的论述已经充分证明,华为云是“懂行”的大数据领导者,真正让客户用好数、管好数、放心用!底子硬才是真的硬道理可以看到,无论是技术实力还是市场表现,华为云都做到了行业第一。那么,在已有的成绩面前,华为云能否“守得住”?这方面,从已有的动作看,差异化这个主要的特征之外,华为云维持自身地位还有三个方面的竞争优势。长期的技术沉淀华为云 FusionInsight 大数据自 2009 年就开始投入研究,最早在 2014 年推出商用产品,现在,MRS“大快融稳”的云原生数据湖、DWS企业级数据仓库以及一站式数据湖治理中心3项硬核能力都建立这样的长期积累之上,缺乏技术积累和理解的平台显然无法完成这样的升级。对行业、对业务、对企业实际的理解大数据服务必须建立在业务深度理解的基础上,而这不是一朝一夕能完成的,需要靠不断的探索和磨合。华为的市场第一既是一种竞争结果,也代表着它拥有最广泛和深度的业务实践机会。丰富而深厚的生态合作当下,华为云积累了从基础设施到分析应用等领域的合作伙伴群体,包括多行业 800+ISV等,现在,其为合作伙伴提供了100+开放API接口,技术生态化带来的大数据应用将更加丰富。可以看到,三个都需要时间和经验积淀的优势,让华为云大数据有了既深且宽的竞争“护城河”。
-
MapReduce服务(MRS)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队,基于华为FusionInsight大数据企业级平台构筑,历经行业数万节点部署量的考验,提供多级用户SLA保障。具体安全性体现如下:1、MRS服务支持资源专属区内部署,专属区内物理资源隔离,用户可以在专属区内灵活地组合计算存储资源,包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。MRS集群内支持逻辑多租,通过权限隔离,对集群的计算、存储、表格等资源按租户划分。2、MRS支持Kerberos安全认证,实现了基于角色的安全控制及完善的审计功能。3、MRS支持对接华为云云审计服务(CTS),为用户提供MRS资源操作请求及请求结果的操作记录,供用户查询、审计和回溯使用。支持所有集群操作审计,所有用户行为可溯源。4、MRS支持与主机安全服务对接,针对主机安全服务,做过兼容性测试,保证功能和性能不受影响的情况下,增强服务的安全能力。5、MRS支持基于WebUI的统一的用户登录能力,Manager自带用户认证环节,用户只有通过Manager认证才能正常访问集群。6、MRS支持数据存储加密,所有用户账号密码加密存储,数据通道加密传输,服务模块跨信任区的数据访问支持双向证书认证等能力。7、MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源(资源包括计算资源和存储资源)的能力。多租户将大数据集群的资源隔离成一个个资源集合,彼此互不干扰,用户通过“租用”需要的资源集合,来运行应用和作业,并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。8、MRS支持细粒度权限管理,结合华为云IAM服务提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对MRS服务,管理员能够控制IAM用户仅能对集群进行指定的管理操作。如不允许某用户组删除集群,仅允许操作MRS集群基本操作,如创建集群、查询集群列表等。同时MRS支持多租户对OBS存储的细粒度权限管理,根据多种用户角色来区分访问OBS桶及其内部的对象的权限,实现MRS用户对OBS桶下的目录权限控制。9、MRS支持企业项目管理。企业项目是一种云资源管理方式,企业管理(Enterprise Management)提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制**立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目,然后使用企业项目管理对MRS上的的资源进行分组管理。此特性适用于客户针对多个资源进行分组管理,并对相应的企业项目进行诸如权限控制、分项目费用查看等操作的场景。
-
近期,美国知名科技企业风投机构A16Z总结出一套通用的技术架构服务,分为以下三种场景。一、数据基建架构全景图片来源于网络 数据流向显示,左侧的数据源经数据处理(批量、实时流、事件流等)将数据统一汇聚到数据湖或数仓中,通过数据科学或机器学习进行AI分析,通过AD Hoc和实时分析为客户或APP提供敏捷的结果数据。华为云FusionInsight为政企客户提供一站式全场景的云原生数据湖,围绕政企客户在采存算管用等数据全生命周期提供领先的整体解决方案,方案主要包含MRS云原生数据湖、DWS数据仓库、一站式数据治理中心等云服务,助力政企客户释放海量数据价值!其架构如下:华为云FusionInsight智能数据湖架构图 上千个大型客户已经基于FusionInsight架构构建其大数据应用平台。 A16Z经过调查相关业内人士得出一个结论:一个统一的现代化的数据基建需要三类架构来实践三种不同的应用场景。现代化 BI 架构多模式数据处理架构人工智能和机器学习架构 1.现代化 BI 架构 图片来源于网络 这是对小型数据团队和预算有限的企业的默认选项,企业逐渐从传统数仓迁移到这个架构,利用云的灵活度和可扩展性。 应用场景包含:报表,仪表盘,自助式分析,主要使用SQL来分析结构化数据。优势:前期投入低,启动快,市场上人才储备充分。缺陷:对于数据场景复杂的团队不适用,比如需要数据科学,机器学习,或者实时场景。 传统的小型数据团队其面对的数据基本以核心交易系统的RDBMS结构化数据为主,数据量在GB级,普通的数仓都可支持其数据的分析挖掘,无需大数据支撑就可完成,这种处理方式在2008年时的大型企业中也较为常见,其数据量较小基本上使用数仓就可完成日常的数据大屏、数据分析等工作。这是对小型数据团队和预算有限的企业的默认选项,利用云的灵活度和可扩展性,企业逐渐从传统数仓迁移到这个架构。 华为云FusionInsight可提供企业级数仓,DWS目前服务于全球1000+大型客户,广泛应用于政府、金融、运营商、大企业等领域。产品始于2011年,经历将近10年技术积累,已取得180+国内外授权专利。DWS可支撑日常的结构化数据分析,其具有如下特点:大规模:DWS基于分布式架构,在保证ACID的基础下,突破大规模分布式场景下集群通信(Multi-Streams)、逻辑集群(Multi-Groups)技术,具备2048节点扩展能力。值得一提的是,逻辑集群可将ODS、数据仓库、数据集市、自助分析等不同业务负载,有机的统一起来,有效隔离、有效共享。高性能:DWS具备多层级全并行计算引擎。支持多个物理节点并行计算,在一个物理节点内部,支持多个CPU核心并行计算,在一个CPU核心的指令序列中,支持SIMD指令,实现一个指令同时操作多条数据。将并行能力发挥到极致,为业务提供极致的性能。另外,Multi-Cores技术使得在鲲鹏上性能相比同代x86芯片提升30%以上。高可靠:DWS具备多层级容灾能力,在AZ、集群、节点及进程出现软硬件异常的情况下能够平滑处理。另外,Server端Multi-Retries技术大幅减少故障失败的业务感知;其次,在棘手的亚健康问题上,DWS也有完善的检测和处理机制;最后,离线扩容、半在线扩容、在线扩容技术能够从容应对客户不同的扩容需求。 华为云DWS数据仓库技术核心是分布式架构,过去十年一直围绕分布式构筑竞争力。未来,DWS数据仓库将基于分布式架构持续演进,围绕云、大数据、5G/IoT、人工智能,构筑下一代开放的、全场景分析型数据库。 2.多模式数据处理架构图片来源于网络 这个架构通常用于大型企业和科技公司,用来满足复杂的数据需求场景。 应用场景包括:BI及高级功能,包括AI/ML,低延时分析,大规模数据转换,多类型的数据处理(文字,图像和视频)使用各种语言(JAVA/SCALA,Python和SQL)优势:能灵活的支持各种应用,工具和UDF和部署环境。在大规模数据集上的成本优势。缺陷:不适合小型数据团队,维护这套架构需要较多的时间,费用和专家资源投入。 在现实世界中,需求侧觉醒的同时,在平行的赛博世界中,技术的进化也一直在持续。自从2006年Apache Hadoop架构发布以来,到2011年,企业逐渐采用Hadoop架构演进出来的开源或商用大数据软件,开启了离线计算时代;2012年,以Spark等为核心的流式计算开启了实时计算时代,在线分析和实时计算的场景也开始逐渐应用,但这一阶段的使用者主要是开发人员;2013年至今,随着数据的激增,大数据平台演进成了融合大数据平台,而随着AI等技术的突飞猛进,从数据分析到数据挖掘,大数据平台向着智能化进行演进。权威调研机构IDC表示,“数字化时代下的竞争正在加速,市场参与者要么通过数字化转型成为领头企业形成规模化优势,要么将逐渐被市场淘汰”。随着5G、AI、IoT等技术的迅猛发展,到2025年,全球数据量将从2018年的33ZB快速增长到180ZB,全球数字经济总量将达25万亿,CEO也越来越重视,参与度高达67%,数字化技术让投资回报率达到6.7倍,政企数字化进程为64%。综上可知,数字化转型是政企充分释放复杂场景用数需求的必经之路。华为云FusionInsight MRS架构特性 数字底座如此关键,那么大数据作为主要承载技术,自然是其重中之重。华为云FusionInsight提供MRS云原生数据湖服务,让政企客户在一个大、快、融、稳的云原生数据湖架构下持续演进:大:支持最大2万+节点大规模集群,可集群联邦无限扩容;快:可T+0实时增量更新同步,可毫秒级高效实时OLAP,缩短分析链路,实现实时数据湖;融:通过HetuEngine打破多引擎、多源、跨地域的限制,消除数据孤岛,统一SQL接口融合分析,简化用数,全民BI;稳:支持在线滚动升级,无需拆集群、搬应用,使客户一个架构持续演进,十年无忧!云原生数据湖:通过统一元数据,让数据全局可视;通过存算分离的企业级EC,降低TCO。 华为云大数据,自2008 年开始投入研究,最早于2014年推出商用产品,秉承开源开放的心态,践行“平台+生态”战略,华为云踩对了历史的进程,围绕政企大数据全生命周期,华为云FusionInsight是一个技术领先的云原生智能数据湖,是华为云三大使能之数据使能方案的坚实数据底座。 3. 人工智能和机器学习架构图片来源于网络 应用机器学习的公司已经在使用这套架构的一部分技术。深度使用机器学习的企业会部署整套架构,甚至自研新的工具。场景:数据驱动的内外部应用程序,场景有实时的或批处理的。优势:完全掌控整体的开发过程,将机器学习打造为企业核心且长期的能力。缺陷:不适合尚在探索机器学习,只为小范围的内部应用场景。大规模应用机器学习仍是当前最大的数据挑战 ModelArts AI平台架构图 华为云ModelArts为政企客户提供一站式的AI训练和推理平台,其具有如下特点:支持AI全栈、全流程、全场景开发训练支持资源统一管理、统一池化调度支持业界主流引擎和自研引擎,实现零成本迁移提供多维度功能特性,满足各类用户 在近日发布的《IDC MarketScape: 中国大数据管理平台厂商评估,2020》(以下简称IDC大数据报告)报告中,对中国主流大数据厂商从能力、战略、市场份额三个维度进行了全面评估,华为云位居领导者象限领先位置,并在技术实力和市场份额两大维度双领先在技术上持续创新打磨之外,华为云FusionInsight也是“最懂行”的大数据解决方案: 在政府领域,国内50%的智慧城市都有华为云FusionInsight的孜孜不倦的身影,华为云大数据已支撑多个部委和各省市地区建设“大数据+政务”。在某市,华为云FusionInsight联合伙伴建成“一云二网三平台”,在统一的政务数据逻辑模型的指导下,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,以建设智慧应用为抓手,打破信息孤岛,实现信息资源交换共享,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,发挥大数据的威力,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。 在金融领域,国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight构建其大数据平台。某行使用华为云FusionInsight构建大数据基础平台,支撑了银行企业级数据湖、数据仓库、集团信息库为核心的“一湖两库”建设,承载了总行及各支行业务系统,支撑日常银行BI、AI、数据挖掘、数据分析等,实现了一份数据全局可用,免除数据搬迁,提升协同效率10倍,存储周期提升2倍,资源利用率最大可达90%,加速银行数字化转型进程。 在运营商领域,国内三大运营商均使用华为云FusionInsight构建其大数据平台。广东移动基于华为云FusionInsight,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。 在交通领域,深圳地铁在6、10号线采用华为云FusionInsight构建大数据分析平台,打造领先的5G+大数据方案,并构建其数据资产中心和运行监控中心,承载地铁各业务系统,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析,数据分析效率从周级缩短至分钟级,实现高效运营,推动深圳步入更美好的全联接数字化轨道交通新时代… 除过在以上各行业的应用,在环境保护方面,青海绿能数据有限公司基于华为云FusionInsight构建了国内首个能源大数据创新平台,实现了规划辅助决策、用气象数据科学指导发电等创新业务,为上下游产业链企业提供25类47项数据服务,推动28座新能源场站实现了“无人值班、少人值守”,并有效支撑了青海“绿电15日”,以大数据为基石,建设绿色新青海,守护高原和谐生态。 同时,华为坚持“自己的降落伞自己先跳”,华为集团IT通过FusionInsight构建OneData大数据集群,实现大数据平台在大规模场景下的开拓,OneData集群其规模已至1万+节点;同时,实现了统一的数据管理服务,在菩提海UniDB产品中,通过逻辑统一方式,把50+物理分散的计算集群(Hadoop+MPP),基于五统一(数据安全,元数据目录,数据集成,数据访问,任务调度),整合成湖仓一体的架构,支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS+DWS 的“+治理,+AI,+运营,+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用,未来可期。 以上只是“冰山的一角”,华为云FusionInsight一方面不断深入理解客户不断发展的业务诉求,另一方面,持续技术创新并引领行业发展,商业诉求+技术创新双轮驱动行业可持续、高质量发展,“用数”助力客户商业成功!上面的论述已经充分证明,华为云是“懂行”的大数据领导者,真正让客户用好数、管好数、放心用。 据了解,截至2020 年10月底,华为云FusionInsight 智能数据湖已服务60+个国家和地区,3,000+客户,覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造、互联网等行业。PS:华为云FusionInsight智能数据湖将参加2020高交会,参展时间:11月11日-15日,展馆地址:深圳市会展中心1号馆1A16,感兴趣的朋友不要错过,每天更有好礼等着你!更多内容,华为云FusionInsight系列文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 免责声明:文中部分图片来源于网络,如有版权问题请联系作者删除。
-
获奖名单公示:活动名称奖项名称用户昵称礼品名称活动1 【11.11数据库】 你跟帖,我送礼留言评论数最高奖 梦想丶冲冲冲99元“荣耀魔方蓝牙音箱”1个互动盖楼奖真爱无敌懒人手机支架5个 公牛插座17个 华为会员卡10张 (活动效果超出预期, 公牛插座数量不足, 增加价值20元的华为VIP视频月卡10张)yzx问道疾风雷影richblue88糖小夕黑嘿云司机ZEHANZXYpy6840lte网络工程师speeds大师姐大师哥hw25964Tianyi_Li昊旻呆憨神侍也太晚冠冠冠哦哦喜欢就爱上分布式大发去在斯科拉就到了时间安徽水利科技凯乐科技啊发发发qweqwefranco52576神的孩子全跳舞LDIDIDI活动3 【11.11数据库】 你学习,我奖励课程报名奖hw46018172送礼品公牛插座/三合一数据线/天堂伞任意一个zekeloveRichiercftangamy20学习进度100%奖abcabc送手机臂包/手机懒人支架任意一个(共2个)莹以上是双11活动的中奖用户首先,恭喜各位中奖;其次,请填写收件信息,一定要填正确哈!我们会尽快发出奖品。https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=fea524ee4e8e46b7a95300e9fe112346获奖用户已私信通知,如您未在12月13日24:00之前提交获奖信息,视为您自动放弃。双11的狂欢,华为云数据库岂能错过!既然来了,怎能让你空手而归…… 活动时间:2020年11月9日~2020年11月30日活动流程:参加“华为云11.11数据库专场”活动(以下简称11.11数据库)的用户,可通过完成各项指定任务,来获取任务对应的奖励和抽奖机会。本次活动共三个,分为活动1、活动2、活动3,所有用户均可参与,每个活动抽奖相互独立。为提高每个用户的中奖率,多场中奖的用户原则上只发放一个最高价值的奖品。活动1 【11.11数据库】你跟帖,我送礼任务任务具体内容奖品跟帖留言就中奖在本帖下方留言区回复【11.11数据库】或【数据库双11大卖】,可获奖品“荣耀魔方蓝牙音箱”或“手机懒人支架”;1.留言评论数最高的用户,可获得价值99元“荣耀魔方蓝牙音箱”1个。 2.每11个留言楼层随意抽取一个幸运用户,可获得价值68元手机懒人支架一个,数量有限,送完为止,之后中奖的用户送公牛插座(上条1中中奖用户不重复参与)。奖品如下:荣耀魔方蓝牙音箱手机懒人支架公牛插座活动2 【11.11数据库】你下单,我满减任务任务具体内容奖品单人成团:你敢买,我敢送,晒单更有大礼 1. 社区下单也可享直播间同等优惠。 2.购买成功的用户,社区晒单留言,有礼相送1. 通过下方链接购买云数据库的用户,享受直播间同等优惠(11月16日24:00前下单并付费)。优惠券见下方!华为云数据库双11活动产品购买链接:https://activity.huaweicloud.com/dbs_Promotion/index.html2. 购买成功的用户,在社区晒单留言,我们还有礼品相送l 满1000元的用户,送价值38元的公牛插座一个(可置换成魔方插座、三合一数据线、天堂伞)l 满2000元的用户,送价值88元的手机臂包一个(可置换成手机懒人支架)l 满3000元的用户,送价值168元的折叠烧水壶一个(可置换成便携水壶)11.11直播专属代金券使用规则使用范围:华为云注册用户,不限新老,不限企业个人有效时间:11月9日至11月30日代金券面值抵扣金额代金券领取使用规则 400元 满1000减400https://account.huaweicloud.com/usercenter/#/getCoupons?activityID=P2011060946008720SU9Q780CC4MGD&contentID=PCP2011061048409060EEB2AK1IBT0QK 仅限云数据库(1)每位用新户可获得固定总额的华为云优惠券;(2)新购优惠券不可用于活动价商品,仅限官网直接下单使用;专属券仅用于云数据库套餐产品; 800元 满2000减800https://account.huaweicloud.com/usercenter/#/getCoupons?activityID=P2011060957414191YOZW1P01PPG1Z&contentID=PCP20110610522120716Y3OUH0D1NLDX 1200元 满3000减1200https://account.huaweicloud.com/usercenter/#/getCoupons?activityID=P2011061000418340BK1SJM1K2RL7K&contentID=PCP2011061054275830VEMQIT1BQ8ABQ 奖品如下:魔方插座三合一数据线天堂伞运动臂包懒人手机支架折叠烧水壶活动3 【11.11数据库】你学习,我奖励任务任务具体内容奖品数据库免费指定课程学习,晒截图送礼品1.完成免费课程报名,上传报名截图帖;2.社区分享学习进度 1. 报名《数据库》课程,上传报名截图帖,回帖盖楼,每10楼随机抽取一位送礼品公牛插座/三合一数据线/天堂伞任意一个2. 学习进度回帖盖楼,指定学习的课程中任意一门进度为100%的用户,随机抽2名用户送手机臂包/手机懒人支架任意一个(共2个)注:本次活动之前已学习的用户,不能参与本次盖楼抽奖。选择【数据库基础】和【数据库设计基础】两门中的任意一门课程进行学习即可,课程链接:https://developer.huaweicloud.com/resource/roadmap/db.html示例:课程报名成功截图示例:学习进度截图活动规则:1. 此活动仅限华为云官方注册用户,为保证活动公平性,禁止用户以IAM账号身份参与活动,否则将视为无效。2. 直播结束后的7个工作日内,中奖用户会收到来自华为云平台的问卷,问卷内容需要中奖用户填写姓名、性别、联系方式、电子邮箱、通讯地址等相关个人真实信息。问卷发放后超过3个工作日,未收到中奖用户的问卷反馈视为主动放弃。3. 实物礼品在直播结束后7个工作日内完成发放,请耐心等候;因本次活动奖品发放数量较大,发放时间根据实际情况动态调整,如有延期敬请见谅。4. 活动过程中,每位参与的用户仅有一次中奖的机会,符合多场活动的中奖者,平台会根据多次中奖礼品中价值最高的进行发放,其他中奖名额以此往后顺延。PS:用户参加本活动视为理解并同意华为云《隐私政策声明》,华为云《隐私政策声明》网页地址如下:https://www.huaweicloud.com/declaration/sa_prp.html)。所有实物奖品包邮,不额外收取任何费用。由于获奖用户自身原因(包括但不限于提供的联系方式有误、身份不符或者通知领奖后超过30天未领取等)造成奖品无法发送的,视为获奖用户放弃领奖。活动主办方将仅为前述目的以及适用法律限度内收集和使用用户的个人信息(用户在向华为云提交个人信息之前,应阅读、了解华为云《隐私政策声明》;为保证活动的公平公正,华为云有权对恶意刷活动资源(“恶意”是指为获取资源而异常注册账号等破坏活动公平性的行为),利用资源从事违法违规行为的用户收回抽奖及奖励资格。本活动规则由华为云在法律规定范围内进行解释。华为云保留不时更新、修改或删除本活动规则的权利。所有参加本活动的用户,均视为认可并同意遵守《华为云用户协议》,包括以援引方式纳入《华为云用户协议》的《可接受的使用政策》、《法律声明》、《隐私政策声明》、相关服务等级协议(SLA),以及华为云服务网站规定的其他协议和政策(统称为“云服务协议”)的约束。本次活动最终解释权归华为云平台所有,如果您不同意本活动规则和云服务协议的条款,请勿参加本活动。
-
城镇集中供热是国家重要的民生保障事业,是落实我国能源生产和消费革命战略的重要阵地,是打好城市“蓝天保卫战”的主战场。长期以来,由于受到企业盈利能力差、技术条件落后、管网及设施老旧、系统改造投入不足等多种因素影响,我国北方城市供热系统普遍存在供热安全、环境污染、供热投诉和能耗偏高等问题。其中,重大供热事故不仅严重影响市民的正常生活,而且成为影响社会安定的隐患;供热排放已经成为北方城市冬季雾霾加重的主要叠加成因;市民对供热质量和服务要求的不断提高,供热不平衡造成的投诉率居高不下;供热生产系统老旧、控制方法落后、控制手段受限,造成供热企业能耗超标、经营亏损等问题。因此,引入创新技术、改善设备设施、优化全面管理以加强供热安全、降低污染排放、提升供热质量是供热企业面临的重要课题。信息技术的发展为供热行业破解发展难题提供了手段和路径。过去二十年,供热行业经历了自动化、网络化、智能化的发展过程,正在迎来以大数据、云计算、人工智能和物联网技术为代表的智慧供热阶段。 2019年,在黑龙江省政府的推动和支持下,北明天时与华为公司联合在哈尔滨市成功实施了智慧供热管控云平台试点项目。该项目采用华为云和华为人工智能技术成果,全面应用了云计算、大数据、人工智能、物联网等新技术,通过供热一次网平衡改造、二次网平衡系统建设、用户室温采样监测系统和政府供热监管平台建设,为供热城市提供了一个涵盖政府-企业-用户、融合政府监管、企业生产和管理、提升用户服务等职能的统一服务平台。智慧供热管控云平台将大数据、云计算、物联网和人工智能技术与供热生产管理系统深度融合,消除原有平台的发展瓶颈,打通供热系统源-网-站-户全流程数据;通过多维度数据挖掘和大数据分析,提供基于气候模型的精准负荷预测;通过人工智能实现高效准确的全网平衡控制;建设供热二次网和用户末端的监控系统,通过二次网平衡控制,为用户提供更加优质的供热服务;满足把握全局、精准调控、按需供热的要求,实现供热系统的深度节能和整体优化。 智慧供热管控云平台实现了供热系统服务 “政府可管、企业可省、用户可感”的建设目标。政府借助智慧供热监管平台可监督供热企业的运行状态和供热服务质量;企业应用智慧供热生产管理系统打破信息孤岛,采用人工智能优化控制策略,实施高效率的源-网-站-户全流程联动控制;用户直接感受到更加优质的供热服务,服务满意度得到大幅提升。经过2019-2020年采暖季的运行,项目取得了良好的运行效果。根据2020年8月哈尔滨市住建局组织有关专家对试点项目进行的评审报告:人工智能投运阶段节热率约为6.8%,人工智能投运二次网节热率约为10%。项目已初步实现了惠民、提质增效、节能环保、安全供热的目标。报告指出智慧供热必将提升企业核心竞争力,成为供热行业革新推动力,建议在推广过程中统一规划、分布实施、不断创新、合理推进。从今年开始,北明软件与华为公司联合计划在全国推广建设智慧供热管控云平台项目。将哈尔滨市智慧供热建设的成功经验在广大北方城市供热企业推广落地,推动我国集中供热企业实现深度节能减排、提升服务和管理升级。我国城市集中供热面积近140亿平米,且每年以超过5%的速度增长,全面实施智慧供热将为行业每年节约能源支出超过200亿元。同时,将拉动能源电力、网络通讯、信息服务和机电设备制造等多个产业和领域的协同发展,有效推动“新基建”工程在供热行业的应用。智慧供热管控云平台积极探索运用大数据、人工智能技术与供热系统融合创新、并在精准负荷预测及系统调控、保障用户按需供热等多方面进行了有益的探索和应用实践。从控制稳定性和控制周期等技术指标上看,采用人工智能控制的实际效果超出了传统控制方式,初步实现了“源网站户”的联动闭环调节,是人工智能在传统应用场景的成功实践。未来将加强与机理仿真模型的结合,使系统信息数据真正完备、做到数据孪生,更好地进行大数据学习与挖掘,提供更加优化的解决方案。10月22日,北明天时董事长韩向明在华为云直播间为大家带来一场精彩的主题分享——《基于大数据的智慧供热管控云平台》,点击下方直播观看地址,即可查看。直播观看地址:https://bbs.huaweicloud.com/webinar/100023(选择智慧城市·科技惠民新高度)【华为云云市场,助您上云无忧】
-
马上要到1024程序员节了对于程序员来说1024是一个举足轻重的日子1024不仅仅是2的10次方更是程序员自己的节日程序员就像是一个个1024以最低调、踏实、核心的功能模块搭建起这个科技世界平日里都是他们搞定难题,解决Bug这一次华为HDZ将要在1024程序员节当天开启线下“解忧咖啡馆”“说出你的烦恼”大家一起解忧愁、疗困惑、治痛苦~~~参与线下游戏互动如”你画我猜“充当灵魂画手,画出程序猿的烦恼~~~还有机会获得解忧饮品、解忧书,还能抽盲盒、抽礼品! 用技术改变世界的你们值得更多的美好啦~~提前解密开启解忧咖啡馆活动的城市:深圳!!!!合肥!!!!!具体活动时间及地点将在1023直播盛典当天公布!添加小助手微信号:回复【1024+城市名】,预报名点击了解更多#华为云1024程序员节·向云而生#点击预约#狂欢直播日#HDZ社区—携手全球开发者 共建开放、创新、多元的开发者社区组织 HDZ是Huawei Developer Zone的英文缩写,是华为开发者生态面向全球开发者建立开放、创新、多元的开发者社区组织。 致力于帮助开发者学习提升、互动交流、挖掘机会,推动ICT、互联网等产业生态的建立和发展。 对云计算、IoT、人工智能、5G、区块链、鲲鹏、昇腾、软件开发与运维、开源等各技术领域感兴趣的开发者、软件工程师、创业者、运营人、产品人、大学生、老师等都可以参与到HDZ。 HDZ秉承开放、创新、多元的社区文化,完全由各地HDZ组织者、志愿者自发组建和领导。华为公司不直接参与HDZ组织建设和领导,只按需对HDZ社区活动提供必要的方向指导、资源支持、活动支撑等,并为各地HDZ组织者提供与全国组织者互动交流的机会。
-
为什么很多公司的大数据业务都基于Hadoop方案?Hadoop有成熟的生态圈,开源、免费并可以解决问题成为众多公司的首选方案。Hadoop生态圈中的明星计算引擎MapReduce,是解决大数据的最直接的方案之一,他的工作原理是把大块的任务切分为若干份小任务,由集群的每台服务器来计算,最后把结果合并。那你了解MapReduce吗?本期体验师活动联合华为云大数据计算明星产品——MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,带你快速玩转大数据!参与大数据体验师活动,精彩好礼等你拿!一、参与流程:1. 参与直播互动,送100元京东卡/华为云定制背包等精美好礼本次直播已结束,期待下次的精彩直播~欢迎进入直播交流群,若无法入群可添加小助手微信号(speakerHTJ)2. 参与Demo实践+技术博客分享,赢音响、手环等众多好礼本次活动共2个基础demo和1个场景demo,将自己实践的过程和心得记录在华为云博客,优秀的博客我们会同步推送到华为云的其他内容平台,累积阅读量最高的用户,将依次获得音响(1个)、手环(3个)及专业书籍(5本)。从零开始使用Hadoop:https://support.huaweicloud.com/usermanual-mrs/mrs_01_0365.html从零开始使用Spark SQL:https://support.huaweicloud.com/usermanual-mrs/mrs_01_0367.html使用Spark实现车联网车主驾驶行为分析:https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0001.html发布博客链接:https://bbs.huaweicloud.com/blogs/article(在留言区回复文章链接即可)在活动期间,如果有任何数据处理的使用和技术问题,都可以来论坛咨询讨论,我们都将为您解答。活动结束时间:2020年10月10日优惠购买链接:大数据域1元购活动页:https://activity.huaweicloud.com/bigdata-developer.html?0911价值1246.6元MRS包周期1元购优惠直达:https://console.huaweicloud.com/mrs/?activityURL=https%3A%2F%2Factivity.huaweicloud.com%2Fbigdata-developer.html&service=https%3A%2F%2Factivity.huaweicloud.com%2Fbigdata-developer.html®ion=cn-east-3&actId=P20082008043549415QWS0G0MBJ9WL&pkgId=PPP2008200804354071WD7N2O1W4AGAH&pkgPeriodNum=1#/promotion
-
一、业务背景数据已成为国家基础性战略资源。武汉市早在2015年就启动政务云(数据)中心建设,通过统一政务数据资源门户、统一数据资源管理平台、四大数据资源服务、数据标准、支撑多项应用(简称“1141+”)的建设,推动政府信息系统和公共数据互联共享。近年来,新洲区在智慧城市建设中已取得一些成效, 但在政务信息资源整合共享方面,仍然与国家、省、市的相关要求存在一定的差距。各部门信息化建设水平参差不齐,无法满足委办局间异构系统多元信息融合需求,无法支撑多行业、多领域信息共享需求,对城市管理、科学决策无法形成科学有效的数据支撑。具体表现为:(1)基础信息网络和信息采集网络尚不健全;(2)智慧应用建设缺乏顶层架构和统筹整合;(3) 数据资源和共享体系尚不完备;(4) 跨部门协同联动机制缺失;(5) 信息化支撑应急响应与协调指挥能力不足;(6) 智慧新洲建设资金和人才支持薄弱。 二、客户诉求在此背景下,武汉市新型城区新洲区积极响应,在“智慧新洲”规划中就明确:1. 要有效整合部门信息,加强与上级有关部门网络数据的衔接,实现跨行业、跨部门、跨区域的数据共享和业务应用;2. 要加快公共信息服务平台建设,及时将信息资源向社会开放;要加强信息安全管理,健全和完善安全保障体系,切实保障大数据安全;3. 要发挥政府引导和市场主体两个作用,充分调动社会资源参与建设,构建多元驱动发展的良好格局。 三、解决方案华为云与心通达结合,协助武汉市新洲区人民政府建设新洲区大数据综合服务平台,以满足新洲区政务服务工作和业务管理的需要,为政府更好的提供个性化服务。项目立足智慧新洲大数据的应用与服务,通过建设大数据标准规范体系、信息资源库、数据综合管理平台、空间地理应用平台、政务协同办公平台、政府门户网站与掌上新洲APP等内容,汇聚、管理、分析、展示新洲政务及各行业数据资源,创造政务服务资源共享条件,逐步实现基于大数据的市场化运营服务。心通达OA智能网络办公平台使用了华为云弹性云服务器 ECS,存储方面应用了内容分发网络 CDN以及云硬盘EVS,帮助用户管理存储数据;数据库方面,为了保障性能使用了云数据库 MySQL版以及分布式缓存服务 Redis。根据新洲区政府的项目要求,主要对心通达OA 实施以下几大功能模块:个人办公、公文管理、事务审批、信息发布、知识管理、门户管理等。1. 主页面为门户展示,分为个人工作门户或领导门户,支持将待办工作、公告通知、新闻等直观展现在首页。 2. 通过公共文件柜实现各单位、部门之后的数据资源共享,增强部门间的联动。 3. 将线下审批流程实现线上流转,通过工作流模块可一键创建流程,不同的流程在相应的分类下进行查找。进入工作办理界面,可以选定工作优先级,便于用户办理工作时区分哪些工作需要立即处理。 4. 沟通上,包括IM聊天功能和组织架构模块。组织架构模块展示了该公司包含的人数,各个部门以及部门中每个员工的信息,也可点击右上角的搜索按钮搜索想要查找的员工。点击人员信息可以查看名片信息、聊天、发邮件、打电话。 四、改变与提升1. 通过搭建心通达智慧政务平台,新洲区人民政府各部门之间的协作等效率大幅度提升,时间成本节省约50%;2. 审批效率提升。政府部门有大量的收发文及各种审批流程,流程流转可视化后,效率提供一倍以上;3. 节省的大量纸质耗费,避免了近一倍的资源浪费;4. 通过对接市政务云(数据)中心建设成果,构建跨部门、跨系统、跨领域的业务协同,为新洲打造政府治理科学化、公共服务便利化、数据资源市场化、产业发展体系化的大数据应用先行区,实现经济社会转型升级、跨越发展提供有力支撑,促进了全区政府部门信息化基础设施整合和资源共享。文中提到的商品:心通达OA(严选商城在售)【华为云云市场,助您上云无忧】
-
8月26日,2020(第五届)大数据产业生态大会在北京举行。在这场中国大数据产业最盛大、最具专业性的行业聚会上,组委会权威揭晓"2020中国大数据企业50强"榜单,华为大数据连续四年位于榜首。 同时,华为云FusionInsight智能数据湖获得“2020中国大数据·最佳解决方案”,DWS获得“2020中国大数据·数据仓库领域最佳产品”,华为云智能数据湖运营平台DAYU获得“2020中国大数据·数据治理领域最佳产品”,这是业界对华为在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。 华为云大数据开放兼容,引领中国大数据技术与产业的发展 华为发言嘉宾在大会报告中介绍,华为云大数据团队持续耕耘, 拥有10年+丰富经验,深度理解客户业务场景;拥有500+专利,掌握大数据核心技术;践行平台+生态战略,为社区贡献了CarbonData和openLooKeng等优秀产品, 贡献度在Hadoop社区达Top-2,Spark社区达Top-4。 IDC数据显示,华为大数据在市场地位中国区TOP1,华为数仓已成为数据分析领域的顶级厂商。 华为云FusionInsight智能数据湖,释放海量数据价值 针对多样性业务&系统&数据带来的挑战,华为云围绕政企大数据全生命周期,提供领先的“智能数据湖”解决方案FusionInsight。线上线下统一架构,充分利用了云原生领先技术,如K8S、鲲鹏多核、存算分离等。基于统一数据存储底座,包括了MRS大数据、DWS数据仓库、DAYU数据湖运营等云服务,释放海量数据价值。 统一数据存储:把语音视频、图形图像、文本和时序等多种类型的数据统一用OBS存储服务,采用领先的CarbonData存储引擎,提供多种索引技术实现快速详单查询;利用独有的存算分离架构,将原先1:3备份,缩减到最低1:1.09,资源利用率由33%提升至91%,极大降低存储成本。 多元计算重点介绍以下两个服务: 企业级大数据平台MRS,作为企业数据湖底座,拥有超2万节点大集群管理能力,业界最佳,当前生产上最大集群规模1万+节点;企业级多租户能力,让一个企业一个湖成为现实。 企业级能力让大数据运维无忧,拥有成熟的在线升级能力,升级过程业务零中断,业务永远在线,经金融、政府等客户实践得到行业高度认可。 让传统大数据走向实时分析,支持数据湖事务ACID,实现企业数据实时增量入湖,让大数据分析从T+1到T+0,让业务创新更敏捷。 支持高性能交互式查询引擎秒级供数,实现湖仓一体,数据不出湖,直接对接BI类业务,自助分析,数据供应链路短,效率提升2倍+。 支持跨源跨域的数据分析,打破地域数据墙,使得企业跨域分析效率从周提升到分钟级。 企业级数据仓库DWS为全球500+大客户的规模商用所验证,又汲取了云原生的技术优势。一套数仓集群支持多类型业务分析,跨源跨域跨集群,协同分析简单高效。 采用无中心节点的全对称分布式架构,设计集群规格可达4096节点,客户期初可从少数节点搭建,一键扩容线性提升性能和容量。 基于多层级、全并行计算引擎,充分现代CPU多核优势,在PB级海量数据场景下提供高性能SQL分析。 云原生支持分布式事务ACID,能保证全场景数据的强一致性。全组件采用主备或多活的设计理念,无单节点故障,保障客户业务不间断平稳运行。 兼容标准SQL 2003,学习成本极低,简单易用。 数据湖运营DAYU: 提供了包括数据集成、数据开发(含建模)、数据治理、数据服务的一站式可视化数据运营能力,帮助企业快速构建自己的数据使能平台,加速数据价值发现。 全域数据统一视图,让用户对数据资产深度“认知”。以数据目录为中心一站式数据运营,快速找到最合适的数据源,更易数据消费;源头在哪,目的地在哪,数据血缘一目了然;拖拽式开发,E2E数据链路编排管理,行业模型算子使治理更高效。 据介绍,华为云智能数据湖FusionInsight 已广泛用于政务,金融、运营商、大企业、互联网等领域,是60+国家,3000+客户数字化转型的共同选择。
-
8月31日,华为云举办TechWave大数据专题日,围绕“大数据技术普惠创新,释放千行百业数据价值!” 主题,从金融、运营商等行业在大数据创新的实践,顶级高校的大数据顶尖人才培养和科学研究,以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面,以产学研深度融合的方式展开分享和探讨。专题日上,还重磅发布实时数仓新品。大会的精彩内容,让我们一起来看下吧!大数据技术普惠创新,释放千行百业数据价值 上世纪90年代至今,人们经历了PC时代、互联网时代、移动互联网时代,当前正在迈入智能数据时代。随着技术的演进,数据也发生了巨大变化。数据规模越来越大、数据种类呈现多样性、数据处理时效性要求越来越高,同时,对数据融合分析要求越来越强烈。 华为云人工智能领域总裁贾永利表示,“为了应对企业应用大数据面临的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在采存算管用等数据全生命周期提供整体解决方案。“方案包含了MRS大数据、DWS数仓、DAYU数据运营等产品,并由华为云博士天团进行详细解读。 同时,为了响应政企客户在数据仓库方面对时效性的需求,专题日还重磅发布了DWS实时数仓新品,其具备快、易、简、省四大特点,具体如下:快:实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库,并可线性扩展。易:支持基于SQL完成复杂流式计算语义定义,简化开发。以Druid监控的一个场景为例,仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。简:实现了1 = N。在一个平台内,同时实现Flink/Spark Streaming(流数据处理)+Druid(流数据预聚合)+InfluxDB(时序数据处理),简化了开发和运维工作。省:时序数据经过实时数仓的自适应压缩算法,最高可达40:1的压缩比,将多维度行列存储优化,数据冷热温自动分区,极大地减少存储空间,节省用户成本。 华为云DWS实时数仓,适用于IoT和运维监控场景,已经在华为流程IT运维大数据平台上线使用。工商银行、广东移动分享大数据创新实践 大数据专题日中,工商银行、广东移动作为行业的领军者,分别分享了基于华为云FusionInsight的大数据创新实践。 工商银行软件开发中心总经理刘承岩表示:“在智能化阶段,我们引入了华为云FusionInsight、GaussDB等产品,搭建了自主可控的大数据云平台,解决了大数据全场景生态化应用的存储、算力和算法挑战,支撑了我行企业级数据湖、数据仓库、集团信息库的一湖两库建设,数据智能服务由事后快速演进到事前、事中的阶段;在生态化阶段,我行进一步深化和华为云的合作,实现大数据云平台和华为云Stack云基础设施的融合,进一步提升大数据云平台的高可用和弹性灵活扩展能力,全面支撑金融数据湖的生态化建设,更好的服务于我行数字工行转型!” 同时,中国移动通信集团广东有限公司信息系统总经理谭丽丽表示:“为更好释放运营商大数据的强大生产力,用好数据、技术等资源,提高广东移动大数据平台的能力,广东移动基于华为云FusionInsight构建智慧大数据平台,积极创新面向个人客户的应用服务,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用,全力推动5G+大数据,服务百姓、融入百业,更好地满足广大客户对美好数字生活的需要!”清华大学:产学研深度融合,培养大数据领军人才 清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民分享了他对大数据顶尖人才培养的看法。他认为,大数据作为一种新型战略资源,其运用将改变人们的传统认知,对大数据开展持续深入的研究,不仅将引发学科建设、科学研究等方面的深刻变革,还将极大的推动人才培养和教师队伍建设。未来,清华大学将持续不断的培养大数据领域的专门人才,在数字中国、数字经济、新基建等重大领域,让大数据人才“学以致其道,算以致其用”。同时,依托大数据研究中心,持续与华为等企业一起,创新合作机制。持续探索与兄弟院系、学校开展跨学科、跨领域的深度融合, 打造顶尖的大数据科学研究团队,突破大数据关键领域与技术,培养一批有水平,有远见,有担当的大数据领军人才,为社会繁荣发展做出贡献!华为云FusionInsight引领全球大数据技术发展 华为云FusionInsight解决方案首席架构师洪福成为我们解读了华为云FusionInsight整体架构解决方案。 华为云FusionInsight智能数据湖为政企客户提供了一站式大数据分析平台,其主要有以下四个特点:大集群:支持单集群2万节点。华为自研Superior超级调度器,可以调度2万+节点规模;单跨机房部署,解决空间不足;业务自动感知;支持滚动升级,业务运行0中断,用户体验无感知。湖仓一体:批处理和交互式查询融合, “0”数据搬移。基于HetuEngine组件实现交互式查询,数据“0”搬迁;资源基于YARN进行统一调度,资源利用率高 、成本更低;支持多租户,多部门业务任务并行处理。实时数据湖:数据T+0实时入库、消费、分析。数据增量更新入库:基于行级Delta文件,IO小,面向实时更新优化,T+0时效;支持ACID事务,确保数据一致性,多方并发读写数据;Carbon支持索引,精确点查比Parquet性能提升100倍,1PB数据精确点查30内响应。一个企业一个湖:集约高效、易管理。资源利用率高:湖内全量数据批、流、交互式多引擎融合,多租户权限隔离,统一资源调度,资源利用率提升至90%;分析效率高:数据在统一数据湖内,数据流转链路短,分析效率高;易管理、易维护:统一集群,一个版本;滚动升级,业务“0”中断。CarbonData释放海量数据价值 尽显数据湖之美 华为云大数据高级架构师郝行军博士为我们解读了华为自研的CarbonData数据存储引擎。 其面对复杂业务场景可实现全局一份数据到处使用,免去数据搬迁的困扰;面对海量数据的查询使用,针对性优化了查询加速,可实现PB级数据30秒内响应;在时间就是金钱的信息时代,时效性的突出优势被企业所看好,同时CarbonData支持大数据更新,可实现数据T+0实时入湖,优化了传统T+1、T+2的可见时延。 DWS新一代、全场景、云数据仓库 华为云DWS总经理叶涛分享了数据仓库的大、快、稳等特性。大: 分布式架构、高扩展,容纳海量数据和业务DWS从架构源头上采用了Share-Nothing无共享的分布式架构,单集群PB级以上的数据容量,最大可扩展至2048个节点。随着节点数增加,集群的性能和容量线性增长,线性加速比>0.9。快:聚合海量算力、最优效率,导入和分析快如闪电采用了全并行计算的架构。支持多个物理节点并行计算。同时,实现了新一代智能优化器技术、高效的算子算法、动态编译等核心技术,带来了高效的指令效率。稳:多层备份、多级保护,实现数据无忧、持续可用在GaussDB(DWS)的系统部署中,关键硬件都有冗余备份。 所有的软件组件都能实现实例多活或者Active-Standby的互备。同时,实现了全方位的软硬件故障检测,一旦出现了硬件和软件的故障,集群都可以快速的检测和响应,自动的故障切换,实现数据无忧,业务持续可用。DAYU一站式数据运营,管好数,用好数 华为云大数据产品总监杨兴华分享了一站式数据运营平台DAYU,协同伙伴,使能“从比特到信息”的价值发现,释放数据之美,助力企业管好数,用好数。 其核心特点如下:全域联邦数据资产管理:支持超过30+的数据源对接,形成数据融合协同,同时也不破坏原有的IT系统建设,支撑达到“立而不破”的效果。开放的架构体系:DAYU围绕数据使用,今年重构了整体架构,重心面向伙伴协同,打造开放体系,提供分层API接口供伙伴调用,包括基础的集成开发,元数据管理、安全管理,数据开放,以及高级的质量管理,数据模型,资产运营等,伙伴可以根据自身系统和业务特点按需集成;共享型行业资产模型:在资产运营管理框架基础上,采用模型驱动的理念实现资产的一键注入、导出、自动化管理,数据资产化效率实现3倍提升,支撑伙伴快速构筑行业数据资产生态。 此外,DAYU围绕数据目录,资产地图,数据血缘,打造了进阶式的数据资产管理体系。在数据安全方面,DAYU从最开始就围绕数据规划了完善的安全管理能力,包括权限管控、合规审计、敏感发现、隐私保护和风险管理,让用户放心用数。 DAYU推出一年多以来,其端到端全流程数据可视管理,一键式资产沉淀能力,加速了企业数字化转型的进程,受到行业伙伴和客户的欢迎。未来将继续围绕数据价值使能,坚持架构开放,持续丰富各层级的API,进一步普惠伙伴,助力沉淀行业数据资产。 目前,华为云FusionInsight智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业,已为全球60多个国家和地区的3000多家政企客户提供服务。未来,华为云FusionInsight将与800多家合作伙伴一起,携手客户创新应用实践,基于FusionInsight智能数据湖构建领先的数据基础平台,实现一企一湖,业务洞见更准,价值兑现更快。让政企用户更方便快捷高效地用好数据,加速数字化转型升级。 8月31日,华为云TechWave大数据专题日成功举办。让我们看金融、运营商等行业趋势,听顶级高校人才培养之道,学华为大数据领先技术,各路领军人物“华山论数”,精彩内容更能回看!大数据专题日地址:https://www.huaweicloud.com/about/techwave_bigdata.html 华为云大数据调查问卷: 有奖观影活动:
-
“2020年疫情突发,广东移动通过用户注册提交信息,快速组装业务逻辑,注册大数据标准服务OPENAPI,以100个通道同时向外发布数据查询能力。结合大数据平台的快速能力,24小时内组装出‘健康码’的应用,查询返回时间小于1秒钟,每天响应200万的并发查询量,峰值达400万,高效助力疫情防控。”8月31日,华为云TechWave大数据专题日在线上举行,中国移动通信集团广东有限公司信息系统部总经理谭丽丽分享了运营商大数据创新应用实践。 广东移动信息系统部总经理谭丽丽数据价值日益显现,广东移动积极拓展大数据应用 近年来,在云计算、大数据、人工智能等ICT技术的推动下,数字化转型方兴未艾,数据的作用越来越重要。据GIV@2025预测,到2025年,全球97%的大企业将采用AI,90%的人口将拥有个人智能终端助理,58%的人口将享有5G服务。与此同时,企业的数据利用率将达86%,全球年存储数据量高达180ZB。这意味着,数据已成为至关重要的生产要素,蕴藏着巨大的价值和潜能。 据悉,作为运营商领域的创新排头兵,中国移动通信集团广东有限公司信息系统部总经理(以下简称“广东移动”)一直致力于拓展大数据应用,早在2015年10月便启动了大数据平台建设工作,并在2016年建立子公司统一的大数据生态,依托大数据平台来实现内部业务效率提升和外部用户服务。经过近五年的建设,广东移动大数据集群规模已超2500节点,存储容量达到80PB,覆盖移动用户数超1.3亿,是全国运营商领域覆盖用户数量最多,规模最大以及技术领先的大数据平台。 随着5G商用进程的深化,5G 技术将推动移动互联网、物联网、大视频、大数据、云计算、人工智能等关联领域裂变式发展,数据进一步迎来爆发式增长。为满足中国移动公司“5G+”战略布局及业务发展的需求,更好释放运营商大数据的强大生产力,用好数据、技术等资源,提高广东移动大数据平台的能力,广东移动基于华为云智能数据湖解决方案FusionInsight构建大数据智慧平台,积极创新面向个人客户的应用服务,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用。华为云提供数字底座,助力广东移动构建大数据智慧平台 为全面释放数据价值,广东移动大数据智慧平台分为基础设施资源层、技术平台层、数据平台层和应用层。其中,技术平台以华为云智能数据湖FusionInsight为数字底座,为上层大数据平台和应用提供数据采集和分发、Hadoop大数据处理、高性能资源调度器、增强实时计算和数仓等服务,通过数据虚拟化的统一SQL查询、分布式计算、高速传输优化及Redis内存优化、Flink内存管理优化等技术,大幅提升大数据处理效率。 在构建大数据智慧平台的过程中,广东移动还积极进行技术创新,包括自主搭建运营商数据平台,提供安全的、高并发、快速组装应用服务能力:引进无感知滚动升级,实现在线扩容而不中断业务;自主研发超级资源调度引擎Superior,提升系统资源调度效率4倍以上;自主研发跨集群协同技术,为5G高速发展提供技术储备等。广东移动大数据智慧平台 得益于华为云FusionInsight智能数据湖提供的数字底座,及上述多方面的技术创新,广东移动基于大数据智慧平台打通了数据全生命周期链路,实现了对内业务支撑、对外应用赋能。而依托数据平台高可靠、高并发、快速组装应用服务的能力,广东移动为各行各业研发了多个行业解决方案,全面支撑了包括疫情防控在内的各类政务、民生等工程的应用服务。在政务应用方面:广东移动智慧平台面对政府机关、事业单位的公共服务和公益类服务提供的精准短信推送能力,可依托大数据的标签洞察及客户触达能力,精准筛选用户,进行短信的精准投放。在旅游应用方面:通过数据平台组装大数据旅游应用,可圈定旅游地区,实时解析旅游区内的数据,定期生成景区热力图,并发布数据给大数据旅游系统。在精准扶贫方面:数据平台组装成大数据精准扶贫应用“岭南优品”,打造全国首个电商扶贫平台,为大数据精准扶贫提供智慧化平台。目前该平台用户规模达到670万,完成交易订单723万,交易额达2.2亿元。在防诈骗监控方面:通过数据平台提供的分析模型,组装防诈应用,对于异常外呼用户,优化过滤算法,识别出异常群体,及时阻断、回溯诈骗行为,减少人民群众损失。在保障春运安全方面:数据平台提供基础能力,组装大数据交通应用,定期生成交通枢纽热力图,并发布数据给大数据交通系统。 数字化大潮浩浩荡荡,大数据价值亟待释放。未来,华为云将持续助力广东移动大数据技术创新,携手广东移动及全国各地运营商伙伴,全力推动5G服务百姓、融入百业,更好地满足广大客户对美好数字生活的向往。十多年来FusionInsight 致力于为全球60+国家地区、3000+政企客户构建企业级智能数据湖,结合平台+生态战略,与800+商业合作伙伴 ,广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业,在政企数字化转型中,释放数据价值,助力政企客户业务高速增长。MRS源于开放的大数据生态,叠加了企业级的关键能力,既保持了开放性,又给客户提供了企业级融合大数据平台,帮助客户实现T+0数据入湖,一站式融合分析,让数据“慧”说话。相关文章:华为云TechWave大数据专题日,解密金融业为何“偏爱”华为云?2020中国大数据企业50强重磅发布,华为云大数据连续四年荣登榜首0业务中断!全国首个1000+大数据集群成功升级!再获殊荣!华为云Fusioninsight智能数据湖、GaussDB(DWS)数据仓库斩获业界两项大奖FusionInsight亮相华为云与计算城市峰会深圳站FusionInsight MRS 技术解读:单集群如何做到2万+规模华为云FusionInsight MRS融合大数据平台进阶之路华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模重磅发布!华为云EI智能数据湖FusionInsight 8.0 MRS 6月30日发布新特性,更快更安全,小伙伴们快来GET√+CarbonData,华为云EI智能数据湖FusionInsight让数据处理飞起来!华为云EI智能数据湖FusionInsight携手Kyligence助力保险业数字化转型!华为云EI智能数据湖FusionInsight MRS大数据在银行业的应用探索与典型案例直击痛点!华为云EI智能数据湖FusionInsight助力政企客户释放数据价值!
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签