• [技术干货] 华为云FusionInsight与世界同行,持续创新,引领大数据技术发展
            近期,美国知名科技企业风投机构A16Z总结出一套通用的技术架构服务,分为以下三种场景。一、数据基建架构全景图片来源于网络        数据流向显示,左侧的数据源经数据处理(批量、实时流、事件流等)将数据统一汇聚到数据湖或数仓中,通过数据科学或机器学习进行AI分析,通过AD Hoc和实时分析为客户或APP提供敏捷的结果数据。华为云FusionInsight为政企客户提供一站式全场景的云原生数据湖,围绕政企客户在采存算管用等数据全生命周期提供领先的整体解决方案,方案主要包含MRS云原生数据湖、DWS数据仓库、一站式数据治理中心等云服务,助力政企客户释放海量数据价值!其架构如下:华为云FusionInsight智能数据湖架构图        上千个大型客户已经基于FusionInsight架构构建其大数据应用平台。        A16Z经过调查相关业内人士得出一个结论:一个统一的现代化的数据基建需要三类架构来实践三种不同的应用场景。现代化 BI 架构多模式数据处理架构人工智能和机器学习架构        1.现代化 BI 架构 图片来源于网络        这是对小型数据团队和预算有限的企业的默认选项,企业逐渐从传统数仓迁移到这个架构,利用云的灵活度和可扩展性。        应用场景包含:报表,仪表盘,自助式分析,主要使用SQL来分析结构化数据。优势:前期投入低,启动快,市场上人才储备充分。缺陷:对于数据场景复杂的团队不适用,比如需要数据科学,机器学习,或者实时场景。    传统的小型数据团队其面对的数据基本以核心交易系统的RDBMS结构化数据为主,数据量在GB级,普通的数仓都可支持其数据的分析挖掘,无需大数据支撑就可完成,这种处理方式在2008年时的大型企业中也较为常见,其数据量较小基本上使用数仓就可完成日常的数据大屏、数据分析等工作。这是对小型数据团队和预算有限的企业的默认选项,利用云的灵活度和可扩展性,企业逐渐从传统数仓迁移到这个架构。    华为云FusionInsight可提供企业级数仓,DWS目前服务于全球1000+大型客户,广泛应用于政府、金融、运营商、大企业等领域。产品始于2011年,经历将近10年技术积累,已取得180+国内外授权专利。DWS可支撑日常的结构化数据分析,其具有如下特点:大规模:DWS基于分布式架构,在保证ACID的基础下,突破大规模分布式场景下集群通信(Multi-Streams)、逻辑集群(Multi-Groups)技术,具备2048节点扩展能力。值得一提的是,逻辑集群可将ODS、数据仓库、数据集市、自助分析等不同业务负载,有机的统一起来,有效隔离、有效共享。高性能:DWS具备多层级全并行计算引擎。支持多个物理节点并行计算,在一个物理节点内部,支持多个CPU核心并行计算,在一个CPU核心的指令序列中,支持SIMD指令,实现一个指令同时操作多条数据。将并行能力发挥到极致,为业务提供极致的性能。另外,Multi-Cores技术使得在鲲鹏上性能相比同代x86芯片提升30%以上。高可靠:DWS具备多层级容灾能力,在AZ、集群、节点及进程出现软硬件异常的情况下能够平滑处理。另外,Server端Multi-Retries技术大幅减少故障失败的业务感知;其次,在棘手的亚健康问题上,DWS也有完善的检测和处理机制;最后,离线扩容、半在线扩容、在线扩容技术能够从容应对客户不同的扩容需求。    华为云DWS数据仓库技术核心是分布式架构,过去十年一直围绕分布式构筑竞争力。未来,DWS数据仓库将基于分布式架构持续演进,围绕云、大数据、5G/IoT、人工智能,构筑下一代开放的、全场景分析型数据库。        2.多模式数据处理架构图片来源于网络        这个架构通常用于大型企业和科技公司,用来满足复杂的数据需求场景。        应用场景包括:BI及高级功能,包括AI/ML,低延时分析,大规模数据转换,多类型的数据处理(文字,图像和视频)使用各种语言(JAVA/SCALA,Python和SQL)优势:能灵活的支持各种应用,工具和UDF和部署环境。在大规模数据集上的成本优势。缺陷:不适合小型数据团队,维护这套架构需要较多的时间,费用和专家资源投入。        在现实世界中,需求侧觉醒的同时,在平行的赛博世界中,技术的进化也一直在持续。自从2006年Apache Hadoop架构发布以来,到2011年,企业逐渐采用Hadoop架构演进出来的开源或商用大数据软件,开启了离线计算时代;2012年,以Spark等为核心的流式计算开启了实时计算时代,在线分析和实时计算的场景也开始逐渐应用,但这一阶段的使用者主要是开发人员;2013年至今,随着数据的激增,大数据平台演进成了融合大数据平台,而随着AI等技术的突飞猛进,从数据分析到数据挖掘,大数据平台向着智能化进行演进。权威调研机构IDC表示,“数字化时代下的竞争正在加速,市场参与者要么通过数字化转型成为领头企业形成规模化优势,要么将逐渐被市场淘汰”。随着5G、AI、IoT等技术的迅猛发展,到2025年,全球数据量将从2018年的33ZB快速增长到180ZB,全球数字经济总量将达25万亿,CEO也越来越重视,参与度高达67%,数字化技术让投资回报率达到6.7倍,政企数字化进程为64%。综上可知,数字化转型是政企充分释放复杂场景用数需求的必经之路。华为云FusionInsight MRS架构特性        数字底座如此关键,那么大数据作为主要承载技术,自然是其重中之重。华为云FusionInsight提供MRS云原生数据湖服务,让政企客户在一个大、快、融、稳的云原生数据湖架构下持续演进:大:支持最大2万+节点大规模集群,可集群联邦无限扩容;快:可T+0实时增量更新同步,可毫秒级高效实时OLAP,缩短分析链路,实现实时数据湖;融:通过HetuEngine打破多引擎、多源、跨地域的限制,消除数据孤岛,统一SQL接口融合分析,简化用数,全民BI;稳:支持在线滚动升级,无需拆集群、搬应用,使客户一个架构持续演进,十年无忧!云原生数据湖:通过统一元数据,让数据全局可视;通过存算分离的企业级EC,降低TCO。        华为云大数据,自2008 年开始投入研究,最早于2014年推出商用产品,秉承开源开放的心态,践行“平台+生态”战略,华为云踩对了历史的进程,围绕政企大数据全生命周期,华为云FusionInsight是一个技术领先的云原生智能数据湖,是华为云三大使能之数据使能方案的坚实数据底座。        3. 人工智能和机器学习架构图片来源于网络        应用机器学习的公司已经在使用这套架构的一部分技术。深度使用机器学习的企业会部署整套架构,甚至自研新的工具。场景:数据驱动的内外部应用程序,场景有实时的或批处理的。优势:完全掌控整体的开发过程,将机器学习打造为企业核心且长期的能力。缺陷:不适合尚在探索机器学习,只为小范围的内部应用场景。大规模应用机器学习仍是当前最大的数据挑战 ModelArts AI平台架构图        华为云ModelArts为政企客户提供一站式的AI训练和推理平台,其具有如下特点:支持AI全栈、全流程、全场景开发训练支持资源统一管理、统一池化调度支持业界主流引擎和自研引擎,实现零成本迁移提供多维度功能特性,满足各类用户        在近日发布的《IDC MarketScape: 中国大数据管理平台厂商评估,2020》(以下简称IDC大数据报告)报告中,对中国主流大数据厂商从能力、战略、市场份额三个维度进行了全面评估,华为云位居领导者象限领先位置,并在技术实力和市场份额两大维度双领先在技术上持续创新打磨之外,华为云FusionInsight也是“最懂行”的大数据解决方案:        在政府领域,国内50%的智慧城市都有华为云FusionInsight的孜孜不倦的身影,华为云大数据已支撑多个部委和各省市地区建设“大数据+政务”。在某市,华为云FusionInsight联合伙伴建成“一云二网三平台”,在统一的政务数据逻辑模型的指导下,针对民生、产业、政府的“痛点”和“难点”,从构建城市数据资源库为开端,以大数据分析支撑政府智慧决策,以建设智慧应用为抓手,打破信息孤岛,实现信息资源交换共享,在 “数聚惠民”、“数聚兴业”、“数聚善政”三大方面,发挥大数据的威力,支撑 “一号、一窗、一网” 政务服务,让简政放权、百姓办业务“最多跑一次”成为现实。        在金融领域,国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight构建其大数据平台。某行使用华为云FusionInsight构建大数据基础平台,支撑了银行企业级数据湖、数据仓库、集团信息库为核心的“一湖两库”建设,承载了总行及各支行业务系统,支撑日常银行BI、AI、数据挖掘、数据分析等,实现了一份数据全局可用,免除数据搬迁,提升协同效率10倍,存储周期提升2倍,资源利用率最大可达90%,加速银行数字化转型进程。        在运营商领域,国内三大运营商均使用华为云FusionInsight构建其大数据平台。广东移动基于华为云FusionInsight,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用,打通数据全生命周期链路,实现对内业务支撑、对外应用赋能,全面支撑了各类政务、民生等大数据应用服务。        在交通领域,深圳地铁在6、10号线采用华为云FusionInsight构建大数据分析平台,打造领先的5G+大数据方案,并构建其数据资产中心和运行监控中心,承载地铁各业务系统,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析,数据分析效率从周级缩短至分钟级,实现高效运营,推动深圳步入更美好的全联接数字化轨道交通新时代…        除过在以上各行业的应用,在环境保护方面,青海绿能数据有限公司基于华为云FusionInsight构建了国内首个能源大数据创新平台,实现了规划辅助决策、用气象数据科学指导发电等创新业务,为上下游产业链企业提供25类47项数据服务,推动28座新能源场站实现了“无人值班、少人值守”,并有效支撑了青海“绿电15日”,以大数据为基石,建设绿色新青海,守护高原和谐生态。        同时,华为坚持“自己的降落伞自己先跳”,华为集团IT通过FusionInsight构建OneData大数据集群,实现大数据平台在大规模场景下的开拓,OneData集群其规模已至1万+节点;同时,实现了统一的数据管理服务,在菩提海UniDB产品中,通过逻辑统一方式,把50+物理分散的计算集群(Hadoop+MPP),基于五统一(数据安全,元数据目录,数据集成,数据访问,任务调度),整合成湖仓一体的架构,支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS+DWS 的“+治理,+AI,+运营,+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用,未来可期。        以上只是“冰山的一角”,华为云FusionInsight一方面不断深入理解客户不断发展的业务诉求,另一方面,持续技术创新并引领行业发展,商业诉求+技术创新双轮驱动行业可持续、高质量发展,“用数”助力客户商业成功!上面的论述已经充分证明,华为云是“懂行”的大数据领导者,真正让客户用好数、管好数、放心用。    据了解,截至2020 年10月底,华为云FusionInsight 智能数据湖已服务60+个国家和地区,3,000+客户,覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造、互联网等行业。PS:华为云FusionInsight智能数据湖将参加2020高交会,参展时间:11月11日-15日,展馆地址:深圳市会展中心1号馆1A16,感兴趣的朋友不要错过,每天更有好礼等着你!更多内容,华为云FusionInsight系列文章:https://bbs.huaweicloud.com/forum/thread-66105-1-1.html 免责声明:文中部分图片来源于网络,如有版权问题请联系作者删除。
  • [技术干货] 华为云FusionInsight湖仓一体解决方案的前世今生
            伴随5G、大数据、AI、IoT的飞速发展,数据呈现大规模、多样性的极速增长,为了应对多变的业务诉求,政企客户对数据处理分析的实时性和融合性提出了更高的要求,“湖仓一体”的概念应运而生,它打破数据湖与数仓间的壁垒,使得割裂数据融合统一,减少数据分析中的搬迁,实现统一的数据管理。华为云CTO张宇昕在2020HAS上提出“湖仓一体”概念        早在2020年5月份的华为全球分析师大会上,华为云CTO张宇昕提出了“湖仓一体”,在刚结束的HC2020上,张宇昕在发布新一代智能数据湖华为云FusionInsight时再次提到了湖仓一体。那我们就来看看湖仓一体的来世今生。数据湖和数据仓库的发展历程和挑战        早在1990年,比尔·恩门(Bill Inmon)提出了数据仓库,主要是将组织内信息系统联机事务处理(OLTP)常年累积的大量资料,按数据仓库特有的资料储存架构进行联机分析处理(OLAP)、数据挖掘(Data Mining)等分析,帮助决策者快速有效地从大量资料中分析出有价值的资讯,以利决策制定及快速响应外在环境变化,帮助构建商业智能(BI)。        大约十年前,企业开始构建数据湖来应对大数据时代,它通常把所有的企业数据统一存储,既包括源系统中的原始副本,也包括转换后的数据,比如那些用于报表, 可视化, 数据分析和机器学习的数据。        纵观数据湖与数据仓库的技术发展,不难发现两者有着各自的优劣,具体表现如下:特性数据湖数据仓库数据源来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的非关系和关系来自交易系统、运营数据库和业务线应用程序的关系Schema在分析时写入(读取型 Schema)在 DW 实现之前设计(写入型 Schema)性价比低成本存储获得较快的查询结果较高成本的存储获得最快的查询结果数据质量任何可以或无法进行监管的数据 (例如原始数据)可作为重要事实依据的高度监管数据用户数据科学家、数据开发人员、业务分析师业务分析师分析机器学习、预测分析、数据发现和描述批处理报告、BI 和可视化        企业在进行系统架构设计选型时,需要从具体的分析场景出发,单一的模式已经无法满足企业发展的业务诉求,集中表现在以下两个痛点:湖仓对比, 各有千秋数据湖主要以离线批量计算为主,因为不支持数据仓库的数据管理能力,难以提高数据质量;数据入湖时效差不支持实时更新,数据无法强一致性;主题建模不友好,无法直接历史拉链建模;同时交互分析通常将数据搬迁到数据仓库平台,造成分析链路长,数据冗余存储;批&流等场景融合不够,无法满足企业的海量数据处理诉求。数据仓库满足不了非结构化数据的分析需求,性价比不高;同时仓&湖间难以互联互通,数据协同效率较低,无法支持跨平台透明访问,形成了事实上的数据孤岛,找数困难;缺乏全局数据视图,不同平台接口差异和不同开发管理工具,造成用户开发使用复杂,数据分别管理维护代价高体验差。数据湖和数据仓库正在从两条技术演进路线走向融合        综上,数据湖和数据仓库在企业数据分析场景分别承担一湖一仓的重要角色,形成了完整的数据分析生态系统,上述企业场景面临的2个关键痛点也在驱动数据湖和数据仓库在技术演进上走向融合:        第一个融合方向是基于Hadoop体系的数据湖向数据仓库能力扩展,湖中建仓,从DataLake进化到LakeHouse。LakeHouse结合了数据湖和数据仓库特点,直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。目前业界已经涌现了一些LakeHouse产品,如Netflix开源Iceberg、Uber开源Hudi、Databricks的 DeltaLake。从DataLake进化到LakeHouse,数据湖扩展数仓能力         以目前生态发展迅速的Apache Hudi为例:统一数据存储,分布式存储不同应用所需的各种类型数据;数仓模式执行和治理,实现事务&更新机制,保证数据完整性和一致性,具有健壮的治理&审计机制;支持各种分析引擎,统一数据存储通过开放和标准化的存储格式(如Parquet),提供API以便各类工具和引擎(包括机器学习和Python / R库)直接有效地访问数据。        虽然LakeHouse并不能完全替代数据仓库,但通过增强性能,支持实时入湖、建模、交互分析等场景,将在企业分析环境中发挥更大作用。        第二个融合方向是数据湖和数据仓库协同起来向湖仓一体的融合分析架构发展,随着企业数据量快速增长,不仅是结构化数据,也有非结构化数据,同时提出了对搜索/机器学习更多的能力要求,使得原来数仓技术不能够有效的处理复杂场景,为此需扩展原有系统,引入Hadoop大数据平台实现新类型数据、新业务场景的支持。在这个背景下由Gartner在2011年提出逻辑数据仓库的概念,预测企业数据分析倾向于转向一种更加逻辑化的架构,利用分布式处理、数据虚拟化以及元数据管理等技术,实现逻辑统一物理分开的协同体系。逻辑数仓的高阶架构        湖仓一体可以认为是逻辑数据仓库架构理念下针对Hadoop数据湖和MPPDB数据仓库的融合架构的最好诠释,数据对用户将完全实现虚拟化,以逻辑统一的数据分析系统为企业提供数据分析服务:        用户使用层面提供统一元数据管理和数据视图,实现全局数据可见可查,支持标准统一访问接口简化用户开发,提供统一开发和治理的工具体系。        平台层面Hadoop与MPPDB具备数据共享和跨库分析能力,支持互联互通、计算下推、协同计算,实现数据多平台之间透明流动。华为云FusionInsight湖仓一体解决方案参考架构           华为云FusionInsight智能数据湖涵盖了分布式存储、大数据、数据仓库、数据治理等,融合了上述两个技术演进方向,为企业用户提供云原生湖仓一体解决方案,整体的参考架构如下:华为云FusionInsight湖仓一体解决方案参考架构        下面一起来看看:        数据存储层:通过OBS统一管理湖&仓的存储底座,将存储在EC(Erasure Code纠错码)、可靠性方面的优势融入进了大数据生态:云原生架构领先:基于云原生架构的OBS存储,具有高带宽,大并发,分布式元数据等特征,因此相同成本的华为存算分离的湖仓一体化集群,数据读写性能领先业界30%。存储计算分离有效降低TCO:支持大比例EC, 副本数从3最低可降低至1.09,TCO下降20%+。统一元数据管理实现湖仓共享存储资源池:通过独立的Data Lake Catalog提供统一元数据管理,兼容Hive Metastore接口,可以无缝对接各类大数据组件。实现针对同一份元数据定义支持各类场景、对象、文件、大数据等不同协议间的数据共享,让数据仓库、数据湖、图引擎、AI等多种计算引擎共享统一的数据存储池。此方案不仅消除了孤立系统中的数据副本,还使得客户可以按照业务按需使用计算存储资源,不仅降低了CAPEX,还简化了运维,从而达成最佳TCO。同时,Data Lake Catalog开放接口,支持和第三方的计算引擎层、数据治理层对接。        计算引擎层:把事务能力引入数据湖,通过HetuEngine标准SQL实现跨域多源统一访问,湖&仓数据互通协同计算,数据免搬迁:CarbonData & Hudi数据实时入湖,实现数据湖事务能力:企业内部许多数据管道通常会并发读写数据,我们通过CarbonData& Hudi数据存储引擎实现数据实时、增量更新,数据T+0实时入湖,大幅缩短传统T+1、T+2时延;引入的增量处理框架,实现了数据湖事务能力,支持入湖过程中的Update/Delete等。HetuEngine支持跨源跨域统一SQL访问,简单易用:用户层基于统一的标准SQL接口,对接多个数据源(HDFS, HBase, DWS等),提供秒级交互式访问,满足各种统计分析、多表Join关联等,让分析建模人员数据分析更容易,降低访问门槛。HetuEngine & DWS-Express打破数据墙,数据免搬迁创新更敏捷:支持数据湖与数据仓库间的数据互联互通、跨平台协同计算,数据免搬迁。HetuEngine在湖内基于统一数据目录,实现高并发,高性能的交互式查询,基于一份数据进行批、流、交互式融合分析,贴源加工、整合关联、主题加工等都在湖内,数据不出湖,分析链路短,加速业务创新;用户可使用DWS-Express提供由成百上千节点组成的加速集群,对存储在OBS上的海量数据进行在线分析,相比本地托管集群,效率提升数百倍。自研Superior调度器支持单集群2万+节点规模,业界最佳:在一个集群内,通过华为自研的Superior调度器支持各种工作负载统一调度,包括数据科学、机器学习以及SQL和分析,调度速率达35万Container/s,资源利用率达90%+,大幅降低企业投入成本。数据冷热分级存储实现更高效的全生命周期管理:DWS具备与OBS的双向互通的能力,既能直接读取OBS上的海量历史数据,也能够直接写入数据到OBS。通过这个特性,我们可以对企业中的海量数据进行更加高效的全生命周期管理,分析中经常使用到的热/温数据存放在DWS中,较少使用的冷数据存放到OBS中,兼顾企业对分析性能和存储经济性的诉求。无缝衔接AI挖掘更多数据价值:深度优化一站式开发平台ModelArts&分布式图计算引擎GES提高开发效率。提供基于数据湖的AI训练推理能力,减少数据搬迁次数,基于100+机器学习算子和NLP算法,实现海量数据快速价值挖掘,满足场景预测、自然语言处理及企业知识图谱等应用; 让GES更快捷地为金融等场景提供关系网络分析等服务。        运营管理层:通过DAYU实现了湖&仓统一的数据集成、开发、目录、治理、开放服务等的运营管理:数据集成:实现多源异构数据高效入湖,支持批/流/实时数据多种方式接入。其中,批量数据迁移基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构;流和实时数据接入每小时可从数十万种数据源(例如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。数据开发:提供一站式敏捷数据开发平台,提供可视化的图形开发界面、丰富的数据开发类型(脚本开发和作业开发)、全托管的作业调度和运维监控能力,内置行业数据处理pipeline,一键式开发,全流程可视化,支持多人在线协同开发,支持管理多种大数据云服务,极大地降低了用户使用大数据的门槛,帮助用户快速构建数据湖数据处理中心。数据治理:为企业提供数据体系标准和数据规范定义的方法论,统一数据语言和数据建模;为普通业务人员提供高效、准确的数据搜索工具,高效找到数据;提供技术元数据与业务元数据的关联,业务人员快速读懂数据;为数据提供有效的质量管控和评估手段,数据可信质量高。数据开放:为数据湖搭建统一的数据服务总线,帮助企业统一管理对内对外的API服务,支撑业务主题/画像/指标的访问、查询和检索,提升数据消费体验和效率;支持100+开放API,拥有10+行业模板,使能行业ISV快速集成,助力客户数据标准资产沉淀。        综上所述,正是在三层架构都打通了湖仓的技术壁垒,我们才看到了真正的湖仓一体:        数据存储层基于云原生领先架构,存算分离有效降低TCO,统一元数据管理实现湖仓共享存储资源池,针对同一份元数据定义支持各种场景,提供API方便各类工具和引擎(包括机器学习、Python、R等)直接有效地访问数据,这是实现湖仓一体的一个关键点;        计算引擎层为数据湖增加了事务能力提升了数据质量;利用HetuEngine通过标准SQL访问跨域多源数据,实现湖&仓数据关联分析协同计算,简单易用; 打破数据墙,在湖内基于统一数据目录,可基于数据湖实现融合分析&AI训练推理,减少数据搬迁,实现海量数据快速价值挖掘。        运营管理层则提供统一的数据开发和治理环境,具备安全管理功能,支持多引擎任务统一开发和编排,数据统一建模和质量监测,实现湖仓一致的开发治理体验。未来展望        华为云FusionInsight智能数据湖基于客户需求和技术演进趋势持续创新,为企业客户提供湖仓一体解决方案,致力于打造业界最佳的数据底座,让企业业务的创新更敏捷,业务洞察更准确,加速释放数据价值,和数据使能协同更好地服务千行万业!
  • [行业动态] 华为云FusionInsight大数据技术普惠创新,释放千行百业数据价值
            8月31日,华为云举办TechWave大数据专题日,围绕“大数据技术普惠创新,释放千行百业数据价值!” 主题,从金融、运营商等行业在大数据创新的实践,顶级高校的大数据顶尖人才培养和科学研究,以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面,以产学研深度融合的方式展开分享和探讨。专题日上,还重磅发布实时数仓新品。大会的精彩内容,让我们一起来看下吧!大数据技术普惠创新,释放千行百业数据价值        上世纪90年代至今,人们经历了PC时代、互联网时代、移动互联网时代,当前正在迈入智能数据时代。随着技术的演进,数据也发生了巨大变化。数据规模越来越大、数据种类呈现多样性、数据处理时效性要求越来越高,同时,对数据融合分析要求越来越强烈。        华为云人工智能领域总裁贾永利表示,“为了应对企业应用大数据面临的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在采存算管用等数据全生命周期提供整体解决方案。“方案包含了MRS大数据、DWS数仓、DAYU数据运营等产品,并由华为云博士天团进行详细解读。        同时,为了响应政企客户在数据仓库方面对时效性的需求,专题日还重磅发布了DWS实时数仓新品,其具备快、易、简、省四大特点,具体如下:快:实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库,并可线性扩展。易:支持基于SQL完成复杂流式计算语义定义,简化开发。以Druid监控的一个场景为例,仅用150行SQL代码实现了原有1900 行Druid脚本同样的功能。简:实现了1 = N。在一个平台内,同时实现Flink/Spark Streaming(流数据处理)+Druid(流数据预聚合)+InfluxDB(时序数据处理),简化了开发和运维工作。省:时序数据经过实时数仓的自适应压缩算法,最高可达40:1的压缩比,将多维度行列存储优化,数据冷热温自动分区,极大地减少存储空间,节省用户成本。        华为云DWS实时数仓,适用于IoT和运维监控场景,已经在华为流程IT运维大数据平台上线使用。工商银行、广东移动分享大数据创新实践        大数据专题日中,工商银行、广东移动作为行业的领军者,分别分享了基于华为云FusionInsight的大数据创新实践。        工商银行软件开发中心总经理刘承岩表示:“在智能化阶段,我们引入了华为云FusionInsight、GaussDB等产品,搭建了自主可控的大数据云平台,解决了大数据全场景生态化应用的存储、算力和算法挑战,支撑了我行企业级数据湖、数据仓库、集团信息库的一湖两库建设,数据智能服务由事后快速演进到事前、事中的阶段;在生态化阶段,我行进一步深化和华为云的合作,实现大数据云平台和华为云Stack云基础设施的融合,进一步提升大数据云平台的高可用和弹性灵活扩展能力,全面支撑金融数据湖的生态化建设,更好的服务于我行数字工行转型!”         同时,中国移动通信集团广东有限公司信息系统总经理谭丽丽表示:“为更好释放运营商大数据的强大生产力,用好数据、技术等资源,提高广东移动大数据平台的能力,广东移动基于华为云FusionInsight构建智慧大数据平台,积极创新面向个人客户的应用服务,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用,全力推动5G+大数据,服务百姓、融入百业,更好地满足广大客户对美好数字生活的需要!”清华大学:产学研深度融合,培养大数据领军人才        清华大学软件学院院长、信息学院副院长、大数据研究中心执行主任王建民分享了他对大数据顶尖人才培养的看法。他认为,大数据作为一种新型战略资源,其运用将改变人们的传统认知,对大数据开展持续深入的研究,不仅将引发学科建设、科学研究等方面的深刻变革,还将极大的推动人才培养和教师队伍建设。未来,清华大学将持续不断的培养大数据领域的专门人才,在数字中国、数字经济、新基建等重大领域,让大数据人才“学以致其道,算以致其用”。同时,依托大数据研究中心,持续与华为等企业一起,创新合作机制。持续探索与兄弟院系、学校开展跨学科、跨领域的深度融合, 打造顶尖的大数据科学研究团队,突破大数据关键领域与技术,培养一批有水平,有远见,有担当的大数据领军人才,为社会繁荣发展做出贡献!华为云FusionInsight引领全球大数据技术发展        华为云FusionInsight解决方案首席架构师洪福成为我们解读了华为云FusionInsight整体架构解决方案。        华为云FusionInsight智能数据湖为政企客户提供了一站式大数据分析平台,其主要有以下四个特点:大集群:支持单集群2万节点。华为自研Superior超级调度器,可以调度2万+节点规模;单跨机房部署,解决空间不足;业务自动感知;支持滚动升级,业务运行0中断,用户体验无感知。湖仓一体:批处理和交互式查询融合, “0”数据搬移。基于HetuEngine组件实现交互式查询,数据“0”搬迁;资源基于YARN进行统一调度,资源利用率高 、成本更低;支持多租户,多部门业务任务并行处理。实时数据湖:数据T+0实时入库、消费、分析。数据增量更新入库:基于行级Delta文件,IO小,面向实时更新优化,T+0时效;支持ACID事务,确保数据一致性,多方并发读写数据;Carbon支持索引,精确点查比Parquet性能提升100倍,1PB数据精确点查30内响应。一个企业一个湖:集约高效、易管理。资源利用率高:湖内全量数据批、流、交互式多引擎融合,多租户权限隔离,统一资源调度,资源利用率提升至90%;分析效率高:数据在统一数据湖内,数据流转链路短,分析效率高;易管理、易维护:统一集群,一个版本;滚动升级,业务“0”中断。CarbonData释放海量数据价值 尽显数据湖之美        华为云大数据高级架构师郝行军博士为我们解读了华为自研的CarbonData数据存储引擎。        其面对复杂业务场景可实现全局一份数据到处使用,免去数据搬迁的困扰;面对海量数据的查询使用,针对性优化了查询加速,可实现PB级数据30秒内响应;在时间就是金钱的信息时代,时效性的突出优势被企业所看好,同时CarbonData支持大数据更新,可实现数据T+0实时入湖,优化了传统T+1、T+2的可见时延。    DWS新一代、全场景、云数据仓库    华为云DWS总经理叶涛分享了数据仓库的大、快、稳等特性。 大: 分布式架构、高扩展,容纳海量数据和业务DWS从架构源头上采用了Share-Nothing无共享的分布式架构,单集群PB级以上的数据容量,最大可扩展至2048个节点。随着节点数增加,集群的性能和容量线性增长,线性加速比>0.9。快:聚合海量算力、最优效率,导入和分析快如闪电采用了全并行计算的架构。支持多个物理节点并行计算。同时,实现了新一代智能优化器技术、高效的算子算法、动态编译等核心技术,带来了高效的指令效率。稳:多层备份、多级保护,实现数据无忧、持续可用在GaussDB(DWS)的系统部署中,关键硬件都有冗余备份。 所有的软件组件都能实现实例多活或者Active-Standby的互备。同时,实现了全方位的软硬件故障检测,一旦出现了硬件和软件的故障,集群都可以快速的检测和响应,自动的故障切换,实现数据无忧,业务持续可用。DAYU一站式数据运营,管好数,用好数       华为云大数据产品总监杨兴华分享了一站式数据运营平台DAYU,协同伙伴,使能“从比特到信息”的价值发现,释放数据之美,助力企业管好数,用好数。        其核心特点如下:全域联邦数据资产管理:支持超过30+的数据源对接,形成数据融合协同,同时也不破坏原有的IT系统建设,支撑达到“立而不破”的效果。开放的架构体系:DAYU围绕数据使用,今年重构了整体架构,重心面向伙伴协同,打造开放体系,提供分层API接口供伙伴调用,包括基础的集成开发,元数据管理、安全管理,数据开放,以及高级的质量管理,数据模型,资产运营等,伙伴可以根据自身系统和业务特点按需集成;共享型行业资产模型:在资产运营管理框架基础上,采用模型驱动的理念实现资产的一键注入、导出、自动化管理,数据资产化效率实现3倍提升,支撑伙伴快速构筑行业数据资产生态。        此外,DAYU围绕数据目录,资产地图,数据血缘,打造了进阶式的数据资产管理体系。在数据安全方面,DAYU从最开始就围绕数据规划了完善的安全管理能力,包括权限管控、合规审计、敏感发现、隐私保护和风险管理,让用户放心用数。        DAYU推出一年多以来,其端到端全流程数据可视管理,一键式资产沉淀能力,加速了企业数字化转型的进程,受到行业伙伴和客户的欢迎。未来将继续围绕数据价值使能,坚持架构开放,持续丰富各层级的API,进一步普惠伙伴,助力沉淀行业数据资产。        目前,华为云FusionInsight智能数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业,已为全球60多个国家和地区的3000多家政企客户提供服务。未来,华为云FusionInsight将与800多家合作伙伴一起,携手客户创新应用实践,基于FusionInsight智能数据湖构建领先的数据基础平台,实现一企一湖,业务洞见更准,价值兑现更快。让政企用户更方便快捷高效地用好数据,加速数字化转型升级。        8月31日,华为云TechWave大数据专题日成功举办。让我们看金融、运营商等行业趋势,听顶级高校人才培养之道,学华为大数据领先技术,各路领军人物“华山论数”,精彩内容更能回看!大数据专题日地址:https://www.huaweicloud.com/about/techwave_bigdata.html    华为云大数据调查问卷:    有奖观影活动:
  • [行业动态] 华为云FusionInsight助力广东移动利用大数据技术应对5G数据浪涌,释放海量数据价值
        “2020年疫情突发,广东移动通过用户注册提交信息,快速组装业务逻辑,注册大数据标准服务OPENAPI,以100个通道同时向外发布数据查询能力。结合大数据平台的快速能力,24小时内组装出‘健康码’的应用,查询返回时间小于1秒钟,每天响应200万的并发查询量,峰值达400万,高效助力疫情防控。”8月31日,华为云TechWave大数据专题日在线上举行,中国移动通信集团广东有限公司信息系统部总经理谭丽丽分享了运营商大数据创新应用实践。 广东移动信息系统部总经理谭丽丽数据价值日益显现,广东移动积极拓展大数据应用        近年来,在云计算、大数据、人工智能等ICT技术的推动下,数字化转型方兴未艾,数据的作用越来越重要。据GIV@2025预测,到2025年,全球97%的大企业将采用AI,90%的人口将拥有个人智能终端助理,58%的人口将享有5G服务。与此同时,企业的数据利用率将达86%,全球年存储数据量高达180ZB。这意味着,数据已成为至关重要的生产要素,蕴藏着巨大的价值和潜能。        据悉,作为运营商领域的创新排头兵,中国移动通信集团广东有限公司信息系统部总经理(以下简称“广东移动”)一直致力于拓展大数据应用,早在2015年10月便启动了大数据平台建设工作,并在2016年建立子公司统一的大数据生态,依托大数据平台来实现内部业务效率提升和外部用户服务。经过近五年的建设,广东移动大数据集群规模已超2500节点,存储容量达到80PB,覆盖移动用户数超1.3亿,是全国运营商领域覆盖用户数量最多,规模最大以及技术领先的大数据平台。        随着5G商用进程的深化,5G 技术将推动移动互联网、物联网、大视频、大数据、云计算、人工智能等关联领域裂变式发展,数据进一步迎来爆发式增长。为满足中国移动公司“5G+”战略布局及业务发展的需求,更好释放运营商大数据的强大生产力,用好数据、技术等资源,提高广东移动大数据平台的能力,广东移动基于华为云智能数据湖解决方案FusionInsight构建大数据智慧平台,积极创新面向个人客户的应用服务,联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频应用等系列标杆应用。 华为云提供数字底座,助力广东移动构建大数据智慧平台        为全面释放数据价值,广东移动大数据智慧平台分为基础设施资源层、技术平台层、数据平台层和应用层。其中,技术平台以华为云智能数据湖FusionInsight为数字底座,为上层大数据平台和应用提供数据采集和分发、Hadoop大数据处理、高性能资源调度器、增强实时计算和数仓等服务,通过数据虚拟化的统一SQL查询、分布式计算、高速传输优化及Redis内存优化、Flink内存管理优化等技术,大幅提升大数据处理效率。        在构建大数据智慧平台的过程中,广东移动还积极进行技术创新,包括自主搭建运营商数据平台,提供安全的、高并发、快速组装应用服务能力:引进无感知滚动升级,实现在线扩容而不中断业务;自主研发超级资源调度引擎Superior,提升系统资源调度效率4倍以上;自主研发跨集群协同技术,为5G高速发展提供技术储备等。广东移动大数据智慧平台        得益于华为云FusionInsight智能数据湖提供的数字底座,及上述多方面的技术创新,广东移动基于大数据智慧平台打通了数据全生命周期链路,实现了对内业务支撑、对外应用赋能。而依托数据平台高可靠、高并发、快速组装应用服务的能力,广东移动为各行各业研发了多个行业解决方案,全面支撑了包括疫情防控在内的各类政务、民生等工程的应用服务。在政务应用方面:广东移动智慧平台面对政府机关、事业单位的公共服务和公益类服务提供的精准短信推送能力,可依托大数据的标签洞察及客户触达能力,精准筛选用户,进行短信的精准投放。在旅游应用方面:通过数据平台组装大数据旅游应用,可圈定旅游地区,实时解析旅游区内的数据,定期生成景区热力图,并发布数据给大数据旅游系统。在精准扶贫方面:数据平台组装成大数据精准扶贫应用“岭南优品”,打造全国首个电商扶贫平台,为大数据精准扶贫提供智慧化平台。目前该平台用户规模达到670万,完成交易订单723万,交易额达2.2亿元。在防诈骗监控方面:通过数据平台提供的分析模型,组装防诈应用,对于异常外呼用户,优化过滤算法,识别出异常群体,及时阻断、回溯诈骗行为,减少人民群众损失。在保障春运安全方面:数据平台提供基础能力,组装大数据交通应用,定期生成交通枢纽热力图,并发布数据给大数据交通系统。        数字化大潮浩浩荡荡,大数据价值亟待释放。未来,华为云将持续助力广东移动大数据技术创新,携手广东移动及全国各地运营商伙伴,全力推动5G服务百姓、融入百业,更好地满足广大客户对美好数字生活的向往。十多年来FusionInsight 致力于为全球60+国家地区、3000+政企客户构建企业级智能数据湖,结合平台+生态战略,与800+商业合作伙伴 ,广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业,在政企数字化转型中,释放数据价值,助力政企客户业务高速增长。MRS源于开放的大数据生态,叠加了企业级的关键能力,既保持了开放性,又给客户提供了企业级融合大数据平台,帮助客户实现T+0数据入湖,一站式融合分析,让数据“慧”说话。相关文章:华为云TechWave大数据专题日,解密金融业为何“偏爱”华为云?2020中国大数据企业50强重磅发布,华为云大数据连续四年荣登榜首0业务中断!全国首个1000+大数据集群成功升级!再获殊荣!华为云Fusioninsight智能数据湖、GaussDB(DWS)数据仓库斩获业界两项大奖FusionInsight亮相华为云与计算城市峰会深圳站FusionInsight MRS 技术解读:单集群如何做到2万+规模华为云FusionInsight MRS融合大数据平台进阶之路华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模重磅发布!华为云EI智能数据湖FusionInsight 8.0 MRS 6月30日发布新特性,更快更安全,小伙伴们快来GET√+CarbonData,华为云EI智能数据湖FusionInsight让数据处理飞起来!华为云EI智能数据湖FusionInsight携手Kyligence助力保险业数字化转型!华为云EI智能数据湖FusionInsight MRS大数据在银行业的应用探索与典型案例直击痛点!华为云EI智能数据湖FusionInsight助力政企客户释放数据价值!
  • [技术干货] 0业务中断!全国首个1000+大数据集群成功升级!
    8月4日,广东移动大数据平台再获重大突破,全国首个1000+大数据集群升级成功,打破传统离线升级方式迫使业务中断的桎梏,通过滚动升级完成了大数据平台的平滑演进,实现业务0中断,升级无感知,用户体验持续在线。此次升级意义重大,正式开启了广东移动大数据平台的融合时代,全面提升用户体验。广东移动大数据平台简介广东移动大数据平台自2016年建设以来,对内为省市各业务部门、对外为各行业提供大数据分析处理能力。大数据平台整体规模达到1500+节点、平台承载租户282个,日均处理21万+作业量,陆续完成了各个重大节假日(春节、国庆、70周年、灯光节等)的活动支撑与保障工作。广东移动大数据平台架构图伴随5G、互联网、AI的高速发展,数据种类和量级呈指数级增长,这对大数据平台分析处理的准确性与及时性提出了更高的要求,现网大数据平台在应对数据浪涌中逐渐显露疲态。为此,广东移动大数据平台的升级项目势在必行。项目升级面临巨大挑战广东移动大数据平台作为业界首个1000+节点的大数据生产集群平台,实现版本从V100R002C70跨版本升级6.5.1,面临着三大挑战:l  业界首次大集群跨版本升级:广东移动大数据平台升级工程是现网同类大数据局点中首个大集群跨版本升级改造工程。集群规模大,滚动升级时间周期长,业务应用多,需要根据不同业务的闲忙时间段,合理制定升级批次计划;升级工程计划制定无参考案例,现场根据前期调研、业务评估、测试验证后制定大集群的批次升级计划;l  集群规模大,服务组件多,方案复杂:三水大数据集群是广东移动大数据平台中规模最大的单集群,节点数达到1000+,同时提供多种组件服务和场景解决方案。多方案混合应用的集群的升级工程在技术上第一次商用场景下实施,多组件混合应用的业务场景多,对升级期间平台稳定性要求高;l  业务种类多,且不便不中断:广东移动大数据平台承载业务项目达200+,日处理业务量达21万+,月增长数据量接近1PB,日查询作业峰值达23W+;每天需运行关键业务,如对内精准营销、收入稽核,对外广告精准投放等;大量运行中的业务和关键业务在升级过程中不允许被中断。作为承载广东省大数据分析处理的核心平台,时刻存在关键业务的运作,传统大数据平台离线升级方式,对业务的顺利进行有着极大的制约。例如,新版本发布后,如果想使用特定的补丁版本,在安装/升级场景下,需要先升级到新版本后,再安装补丁;如此一来,不仅变更次数多,还需多次重启集群操作,变更操作难度高且效率低下,按当前平台规模采用离线方式升级,预计中断业务72小时以上。        全力应对,逐个攻破为保障大集群升级过程的平滑,广东移动携手华为云FusionInsight智能数据湖,端到端分步骤的完成滚动升级,实现升级过程中的可视化控制和管理。为应对上述挑战,此次升级主要进行了以下操作:l  在开源社区部分组件并不支持大版本滚动升级的背景下,我们解决了社区协议和元数据格式不相同、及API变化等导致的兼容性问题,实现了在滚动升级过程中,仍可继续使用未升级的软件设备进行业务处理的方法,降低大集群跨版本升级改造工程对现有业务的干扰影响;l  面对集群规模大、服务组件多、方案复杂的升级场景,为避免各种突发事件中断升级进程,我们提供了故障节点隔离能力。在故障发生时,可以跳过该节点的升级动作,使得故障处理和升级可以有序进行;l  为降低在升级过程中对关键任务SLA的影响,我们新增按升级批次进行暂停的能力,关键作业或者作业高峰时段,可以暂停升级动作,保障关键任务平稳执行。本次操作使得1000+大数据集群获得滚动升级,新的平台版本6.5.1,在平台组件内核版本升级的同时,提供了精细化指标监控、统一在线日志检索等功能,支持ARM生态以及ARM&X86混合部署(全球唯一)、计算存储分离方案、引入ZooKeeper防过载特性等,并做到了全面的优化提升。6.5.1版本平台架构组件版本变更提前部署,稳步推进l  前期准备,经过近半年的不断测试、预演、与100+个重要关键租户协调沟通项目后,确认升级改造工程实施方案;l  7月8日-7月23日,历时半个月,在0业务中断的情况下,顺利完成大数据平台的平滑升级,实现大数据技术及组件的最新版本更新;l  7月24日-8月3日,业务观察期内平台业务稳定无任何故障;l  8月4日,广东移动大数据Hadoop平台大版本升级宣告成功。广东移动站在了大数据技术前端,紧随社区技术的快速发展,大数据平台本次Hadoop版本由2.7.2版本直接升级到3.1.1版本,实现了一个升级无感知的融合大数据平台,大幅提升了用户体验。未来,广东移动将继续推进技术创新,助力大数据平台进一步更新迭代。华为将持续以客户为中心,为客户提供一站式,易使用,高可靠,可持续演进的FusionInsight融合大数据平台。        截至目前,华为云FusionInsight智能数据湖已是60+国家,3000+客户的共同选择,广泛应用于政府、金融、运营商、大企业、互联网等领域。面向未来,华为云联合800+合作伙伴,用智能数据湖帮助企业构建领先的数据基础平台,释放政企数据价值,让数据“慧”说话,使企业更智能。相关文章:再获殊荣!华为云Fusioninsight智能数据湖、GaussDB(DWS)数据仓库斩获业界两项大奖FusionInsight亮相华为云与计算城市峰会深圳站FusionInsight MRS 技术解读:单集群如何做到2万+规模华为云FusionInsight MRS融合大数据平台进阶之路华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模重磅发布!华为云EI智能数据湖FusionInsight 8.0 MRS 6月30日发布新特性,更快更安全,小伙伴们快来GET√+CarbonData,华为云EI智能数据湖FusionInsight让数据处理飞起来!华为云EI智能数据湖FusionInsight 成功助力10000+大数据集群滚动升级!华为云EI智能数据湖FusionInsight携手Kyligence助力保险业数字化转型!华为云EI智能数据湖FusionInsight MRS大数据在银行业的应用探索与典型案例进而有为!华为云EI智能数据湖FusionInsight亮相华为云与计算城市峰会南京站!直击痛点!华为云EI智能数据湖FusionInsight助力政企客户释放数据价值!
  • [生态对接] FusionInsight与第三方组件对接指导汇总贴
    ## 本帖收集所有涉及第三方工具对接的指导帖### 数据集成----- [kettle对接FusionInsight Hetu](https://bbs.huaweicloud.com/forum/thread-67689-1-1.html)### 数据可视化&分析----- [永洪BI对接FusionInsight Hetu](https://bbs.huaweicloud.com/forum/thread-63680-1-1.html)- [KyligenceEnterprise 4.0对接FusionInsight 6.5.1](https://bbs.huaweicloud.com/forum/thread-63255-1-1.html)- [tableau对接HetuEngine指导](https://bbs.huaweicloud.com/forum/thread-93050-1-1.html)### 集成开发环境----- [DBeaver对接FusionInsight Hive](https://bbs.huaweicloud.com/forum/thread-66023-1-1.html)- [DBeaver对接FusionInsight Hetu](https://bbs.huaweicloud.com/forum/thread-63172-1-1.html)- [JupyterNotebook对接FusionInsight HDFS](https://bbs.huaweicloud.com/forum/thread-65639-1-1.html)- [JupyterNotebook对接FusionInsight Hive](https://bbs.huaweicloud.com/forum/thread-65636-1-1.html)- [JupyterNobetook安装以及对接FusionInsight Spark2x组件](https://bbs.huaweicloud.com/forum/thread-65634-1-1.html)### 其他----- [Apache Beam对接FusionInsight Spark](https://bbs.huaweicloud.com/forum/thread-68236-1-1.html)- [Filebeat对接FusionInsight Elasticsearch](https://bbs.huaweicloud.com/forum/thread-67507-1-1.html)- [Logstash对接FusionInsight Elasticsearch](https://bbs.huaweicloud.com/forum/thread-67504-1-1.html)- [Kibana对接FusionInsight Elasticsearch](https://bbs.huaweicloud.com/forum/thread-66788-1-1.html)- [Cerebro对接FusionInsight Elasticsearch](https://bbs.huaweicloud.com/forum/thread-68719-1-1.html)- [第三方AD服务对接FusionInsight](https://bbs.huaweicloud.com/forum/thread-63306-1-1.html)### FusionInsight生态对接问题解决三板斧----## Kerberos认证相关问题总结- [生态对接常见问题总结之Kerberos篇(一)](https://bbs.huaweicloud.com/forum/thread-86710-1-1.html)- [生态对接常见问题总结之Kerberos篇(二)](https://bbs.huaweicloud.com/forum/thread-86713-1-1.html)- [生态对接常见问题总结之Kerberos篇(三)](https://bbs.huaweicloud.com/forum/thread-86748-1-1.html)- [生态对接常见问题总结之Kerberos篇(四)](https://bbs.huaweicloud.com/forum/thread-86751-1-1.html)## 集群配置相关问题总结- [生态对接常见问题总结之集群配置篇(一)](https://bbs.huaweicloud.com/forum/thread-86753-1-1.html)- [生态对接常见问题总结之集群配置篇(二)](https://bbs.huaweicloud.com/forum/thread-86754-1-1.html)- [生态对接常见问题总结之集群配置篇(三)](https://bbs.huaweicloud.com/forum/thread-86756-1-1.html)
  • [行业动态] FusionInsight亮相华为云与计算城市峰会深圳站
            7月28日,“深圳·进而有为 华为云与计算城市峰会2020”在深圳鹏瑞莱佛士酒店举行。深圳市人民政府领导、华为公司领导及企业代表和行业专家共同就发力新基建,培育新产业,构建智慧深圳等议题展开深入研讨。FusionInsight在近年来深入理解招商局、深交所、平安银行、深圳机场、深圳地铁、深圳万科等头部客户对大数据+人工智能的需求,助力深圳客户数字化转型,让数据“慧”说话,使政企客户业务场景更智能。华为公司高级副总裁、云与计算BG总裁侯金龙做峰会演讲        峰会现场设置了大面积展区,供与会者亲自体验华为的最新技术应用,感受科技的魅力。作为向上承接丰富应用,向下承载海量数据的大数据平台,华为云EI智能数据湖FusionInsight亮相峰会,吸引众多与会观众交流讨论!        如今,新基建浪潮袭来,5G、大数据、物联网等新一代信息技术高速发展,面对政企数字化转型带来的机遇和挑战,华为云 FusionInsight智能数据湖为业界提供了全融合、智能化、云化的湖仓一体解决方案。方案包含MRS大数据、DWS数据仓库、CSS云搜索、GES图计算、DAYU数据运营等云服务;支持大数据离线分析、实时流处理、实时检索、交互查询等常见大数据使用场景,为政府、金融、运营商、大企业等政企客户,提供建得快、存得省、用得好的智能数据湖,从海量数据中发掘数据价值,加速政企智能升级。华为云FusionInsight助力政企数字化转型一、化繁为简 建设大数据中心        企业高速发展,业务诉求随之增多,为满足不断增长的需求,大数据中心的资源扩容刻不容缓。传统大数据中心建设涉及诸多复杂繁琐的人为操作部署,费时费力且跟不上业务多变的需求。        FusionInsight实现大数据全面云化,支持资源的弹性发放,可根据业务需求自动调整资源分配的配置和策略,资源申请周期也从原来的22天缩短至1小时,轻松应对业务浪涌,简化了大数据中心建设的步骤,保障了业务的稳定高效运作,实现了大数据中心的快速建设。        同时, FusionInsight支持多集群统一运维,1000+的精细化运维指标,实时掌握集群运行状况,5分钟快速响应,问题定位提效30%,使得运维效率和能力大幅提升。二、存算分离 让数据每比特性价比最优        随着5G、IoT、AI的高速发展导致数据量的暴增,传统大数据中心使用原生Hadoop架构存储数据,1:3的备份方式,存储与计算耦合,扩容后易导致存储利用率高、CPU利用率低,造成资源浪费。加之系统建设烟囱林立,数据冗余现象严重,使得存储成本居高不下。        FusionInsight采用OBS存算分离技术替代Hadoop传统的本地HDFS存储,计算存储按需独立扩容。结合华为企业级EC技术将副本率降低至1:1.09,存储资源利用率由传统的33%提升至91%,数据存储周期提升2倍+,TCO下降30%,极大的降低了数据存储成本,让数据每比特性价比最优。三、算以致用 释放数据价值        大数据技术涉及的组件繁杂,需要专业的技术开发人员和运维人员进行开发和维护。很多大数据中心低水平运营,数据使用杂乱无章,无法跨源跨域协同分析,导致资源无法充分发挥价值,造成了数据中心资源的浪费。加上运维人才的短缺、运维能力跟不上数据中心建设速度,使得数据中心持续发展面临着严峻的挑战。        FusionInsight采用湖仓一体技术,把批量处理、实时处理、交互查询、实时查询等20+大数据分析技术统一资源池,结合HetuEngine引擎,实现一个接口、一个目录、一份数据,解决政企客户的取数难、找数难、用数难问题,分析提效2-10倍,助力政企释放数据价值,加速数字化转型。        行稳致远,进而有为。在新基建加速落地的智慧城市建设时代,华为云FusionInsight将继续大数据技术的创新,通过企业级的融合大数据平台,实现全部业务场景一站式解决方案,让数据有温度、用科技促发展,打造数字基础设施的黑土地,携手合作伙伴赋能千行百业。        十多年来FusionInsight 致力于为全球60+国家地区、3000+政企客户构建企业级智能数据湖,结合平台+生态战略,与800+商业合作伙伴 ,广泛应用于金融、运营商、政府、能源、医疗、制造、交通等多个行业,在政企数字化转型中,释放数据价值,助力政企客户业务高速增长。相关文章:FusionInsight MRS 技术解读:单集群如何做到2万+规模华为云FusionInsight MRS融合大数据平台进阶之路华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模重磅发布!华为云EI智能数据湖FusionInsight 8.0 MRS 6月30日发布新特性,更快更安全,小伙伴们快来GET√+CarbonData,华为云EI智能数据湖FusionInsight让数据处理飞起来!华为云EI智能数据湖FusionInsight 成功助力10000+大数据集群滚动升级!华为云EI智能数据湖FusionInsight携手Kyligence助力保险业数字化转型!华为云EI智能数据湖FusionInsight MRS大数据在银行业的应用探索与典型案例进而有为!华为云EI智能数据湖FusionInsight亮相华为云与计算城市峰会南京站!直击痛点!华为云EI智能数据湖FusionInsight助力政企客户释放数据价值!
  • [生态对接] FusionInsight Elasticsearch对接Kibana
    ## 对接场景Kibana提供了图形化操作界面,通过可视化界面对Elasticsearch进行索引构建、查询、分析等操作。本指导适用FusionInsight HD 6.5.1版本## 前提条件已下载安装Kibana。- 下载Kibana安装包“kibana-oss-6.7.1-linux-x86_64.tar.gz”并上传至任意EsMaster实例所在节点,例如`/opt`目录下。 开源社区下载地址:https://www.elastic.co/cn/downloads/past-releases/kibana-oss-6-7-1。- 解压安装包,并进入对应解压目录。 ``` cd /opt tar -zxvf kibana-oss-6.7.1-linux-x86_64.tar.gz cd kibana-6.7.1-linux-x86_64/ ``` > - 使用Dev Tools功能的用户,需要在elasticsearch组内。 > - 使用其他功能的用户,需要在supergroup组内。## 操作步骤修改配置并启动Kibana。- 如果当前系统为TaiShan服务器,需要下载Nodejs的ARM版本替换kibana解压目录下的node目录 下载node-v10.15.2-linux-arm64.tar.gz,解压后替换kibana-6.7.1-linux-x86_64下的node。下载地址:https://nodejs.org/dist/v10.15.2/ ``` tar -zxvf node-v10.15.2-linux-arm64.tar.gz -C /opt rm -rf /opt/kibana-6.7.1-linux-x86_64/node/* mv /opt/node-v10.15.2-linux-arm64/* /opt/kibana-6.7.1-linux-x86_64/node/ ``` - 修改`config/kibana.yml`配置,示例如下: ``` #Kibana在Elasticsearch中使用的索引名称。 #若需要启动多个Kibana,请确保不同用户的该配置项内容不重复。 kibana.index: ".kibana" #Kibana服务端口。 server.port: 5601 #当前节点ip,默认localhost。 server.host: "10.1.1.1" #需要访问的Elasticsearch节点IP及端口号,建议配置EsNode1实例的IP和端口号。普通模式下,请将https修改为http。 elasticsearch.hosts: ["https://10.1.1.1:24100"] #直接填写none即可。 elasticsearch.ssl.verificationMode: none #修改xxxxxx为“用户名:密码”的base64转码结果;普通模式不需要此项配置。 elasticsearch.customHeaders: {"custom-proxy-username":"xxxxxx"} #Kibana日志目录,根据实际场景自定义即可,请提前手动创建该文件。 logging.dest: /opt/kibana-6.7.1-linux-x86_64/log/kibana.log #Kibana健康检查周期,请根据实际使用场景合理填写,单位ms。 elasticsearch.healthCheck.delay: 60000 ``` > - elasticsearch.hosts禁止配置EsMaster节点的IP和Port。EsMaster实例为重要的管理进程,为确保Elasticsearch集群稳定性,不允许配置EsMaster节点IP和Port。 > - 因部分java库仍遵循RFC的Base64规定,在进行加密时会增加换行符,请保证elasticsearch.customHeaders配置项中的信息无换行符。 > - 可下载Elasticsearch客户端,导入RestClient二次开发样例,使用com.huawei.fusioninsight.elasticsearch.example.util.Base64Utils工具类进行Base64加密。 > - 请确保Base64转码结果在填写时,只替换“xxxxxx”部分。 例如,当前用户名为test,密码为123,“test:123”转base64后为“dGVzdDoxMjM=”,则配置项填写为:elasticsearch.customHeaders: {"custom-proxy-username":"dGVzdDoxMjM="}- 使用命令`./bin/kibana`启动Kibana > 如需后台运行,可执行如下命令`nohup ./bin/kibana &`启动Kibana:- 查看Kibana日志,确认启动成功后,登录Kibana界面。 在配置的Kibana日志文件中,找到如下类似日志,即表明Kibana已经启动成功,在浏览器输入日志中打印的链接即可,如http://10.1.1.1:5601。 ``` "type":"log","@timestamp":"2019-06-07T07:07:32Z","tags":["status","plugin:elasticsearch@6.7.1","info"],"pid":44252,"state":"green","message":"Status changed from yellow to green - Ready","prevState":"yellow","prevMsg":"Waiting for Elasticsearch"}{"type":"log","@timestamp":"2019-06-07T07:07:32Z","tags":["listening","info"],"pid":44252,"message":"Server running at http://10.1.1.1:5601"} ``` > - create index pattern等操作,Kibana会创建相关索引,默认为".kibana"开头。 > - Kibana会根据健康检查状态进行信息反馈,如果在healthCheck周期内,信息发生变化(例如切换登录用户),可能需要等到下一次healthCheck的反馈结果才会生效;同时,健康检查会发送多个http请求到Elasticsearch,为防止增加Elasticsearch集群的压力,请根据使用场景,合理配置kibana.yml中的健康检查周期,即参数elasticsearch.healthCheck.delay。
  • [赋能学习] 华为云FusionInsight系列文章
    奖项荣誉华为云FusionInsight三次蝉联中国大数据市场第一(华为云官微)https://mp.weixin.qq.com/s/-Fvv-A1KHv5Yq0oQX-WT-Q 华为云FusionInsight连续三次获得第一 加速释放数据要素价值http://ex.chinadaily.com.cn/exchange/partners/82/rss/channel/cn/columns/j3u3t6/stories/WS61f11154a3107be497a0410b.html(中国日报网)https://www.sohu.com/a/519191337_613292 (搜狐网)华为云再次位居中国政务大数据市场领导者位置https://mp.weixin.qq.com/s/03sf-oiSA8A2OU_w_3mUiw (华为云官微)大数据平台,第一!https://mp.weixin.qq.com/s/nRQ3XwWVonZbE8eopTPwfA (华为云官微)华为云位居IDC中国大数据平台市场研究报告第一https://blog.csdn.net/qq_19735585/article/details/118418889  (CSDN)华为云再次位居IDC MarketScape 中国大数据管理平台领导者象限,市场份额和技术实力维度双领先!https://www.huaweicloud.com/news/2020/20201103101142.html 巨头激烈竞逐大数据,“差异化”如何成就华为云的领导者地位(科技向令说)https://baijiahao.baidu.com/s?id=1682516174333252035强者恒强,华为云是如何走出自己的硬核大数据之路?(天极网)https://baijiahao.baidu.com/s?id=1682422802041458052   你要的真相来了!IDC报告指点中国大数据江山,华为云何以独占鳌头?(云报)https://mp.weixin.qq.com/s/AgTp3ToYSbMPyI3sD0U-3w创新、成长、基础能力全面领先,华为云领跑中国大数据厂商https://www.toutiao.com/i6960852206438351367/(华为云头条)https://baijiahao.baidu.com/s?id=1699456220819177122&wfr=spider&for=pc(人民网)https://bbs.huaweicloud.com/forum/thread-127824-1-1.html(视频证言)主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流https://mp.weixin.qq.com/s/5UHtqKXJHy3bfx_wd_llyw(InfoQ)数据战略高地,华为云FusionInsight再次领跑https://bbs.huaweicloud.com/forum/thread-127829-1-1.htmlhttps://blog.csdn.net/qq_19735585/article/details/117298405(CSDN)政务专区华为斩获2021中国领军智慧政务解决方案提供商大奖(华为数字中国官微)https://mp.weixin.qq.com/s/DyQApk63zLihbTum8L_jOg 1.19亿,软通智慧联合华为中标北京市社保卡项目,助力“互联网+人社”政务服务!https://www.modb.pro/db/61931 刚刚!十堰与华为签署战略合作协议!https://mp.weixin.qq.com/s/P6Wu6P2aXFLytLiEheiL0Q 27 亿!华为中标东莞“数字政府”https://mp.weixin.qq.com/s/bfT1FAuk1YOLh1IofQR0Tg华为北京总经理:“数”领新征程,助力打造数字北京名片https://mp.weixin.qq.com/s/sPk_ktekv8bIgGi1FulDdA深圳龙岗城市大脑:基层治理重器,让城市更聪明https://baijiahao.baidu.com/s?id=16969325713206770089428万元,华为中标吉安市智慧城市二期(城市大脑)项目https://mp.weixin.qq.com/s/ctuew8CdLeE7MxPGvvdvCA北京市西城区与华为签署战略合作协议 共同推动“数字孪生城市”建设https://baijiahao.baidu.com/s?id=1697645026731253420&wfr=spider&for=pc福州市与华为签署深化战略合作协议,持续推进建设“数字应用第一城”https://baijiahao.baidu.com/s?id=1698000099928529071&wfr=spider&for=pc大数据赋能 深圳推动治理能力现代化https://bbs.huaweicloud.com/forum/thread-81625-1-1.html数博会拍了拍我们,恭喜获奖https://mp.weixin.qq.com/s/L4HzybEUx0aJ10Ef4qi7yQ (华为云官微)· 华为云FusionInsight MRS IoTDB获2022数博会领先科技成果——优秀项目奖2021中国大数据企业50强重磅发布,华为云大数据连续六年入选榜单https://bbs.huaweicloud.com/blogs/288898 https://blog.csdn.net/qq_19735585/article/details/119221128 (CSDN)· 华为获2021中国大数据企业50强“民生信用卡-华为大数据联合创新实验室”荣获亚洲银行家“中国最佳AI创新实室”奖https://mp.weixin.qq.com/s/FHBfuZH-cBo1D8PPpQDVjg(微信公众号)https://bbs.huaweicloud.com/forum/thread-152860-1-1.html 华为云FusionInsight智能数据湖获2021中国大数据最佳解决方案奖https://www.toutiao.com/i6990612309869593092/  (头条)· 华为云FusionInsight智能数据湖获“2021中国大数据平台最佳解决方案”奖华为云斩获第七届中国国际大数据大会两项大奖https://baijiahao.baidu.com/s?id=1696012171244324397&wfr=spider&for=pc· 华为云FusionInsight MRS云原生数据湖获“2020年度大数据行业优秀解决方案”奖华为云FusionInsight MRS全面升级,斩获金融行业大数据最佳解决方案奖https://bbs.huaweicloud.com/forum/thread-93338-1-1.html https://www.toutiao.com/i6904920539622539784/#tt_daymode=1&tt_font=m(头条) · 华为云FusionInsight MRS云原生数据湖获“金融行业大数据最佳解决方案”奖华为云大数据创新普惠,释放海量数据价值,获2020中国大数据最佳解决方案奖https://blog.csdn.net/qq_19735585/article/details/110916699(CSDN)https://bbs.huaweicloud.com/forum/thread-75234-1-1.html · 华为云FusionInsight智能数据湖获“2020中国大数据平台最佳解决方案”奖· 华为云DWS获“2020中国大数据数据仓库领域最佳产品”奖· 华为云DAYU数据运营获“2020中国大数据数据治理领域最佳产品”奖2020中国大数据企业50强重磅发布,华为云大数据连续四年荣登榜首https://mp.weixin.qq.com/s/z-RzBvI1MxXKb3kU4EmQbw(华为云官微)https://bbs.huaweicloud.com/forum/thread-73641-1-1.html · 华为获2020中国大数据企业50强再获殊荣!华为云Fusioninsight智能数据湖、DWS数据仓库斩获业界两项大奖https://tech.china.com/article/20200730/072020_570371.html(中华网)https://bbs.huaweicloud.com/forum/thread-68803-1-1.html · 华为云FusionInsight智能数据湖获“2020中国信息通信大数据行业影响力奖”· 华为云数据仓库DWS获“2020中国信息通信大数据创新方案奖”华为云FusionInsight MRS通过信通院大数据能力评估 单集群突破2万+规模https://blog.csdn.net/qq_19735585/article/details/107235070(CSDN)https://bbs.huaweicloud.com/forum/thread-64554-1-1.html 视频专区华为云FusionInsight智能数据湖打造千行百业数据底座https://live.huawei.com/huaweiconnect/meeting/cn/9404.html 视频证言:华为云位居中国数据管理解决方案领导者位置https://e.huawei.com/cn/videolist/Cloud-BigData/big-data/6244d67edd6a4053b436c413ac847d76中国工商银行:金融数据创新应用实践https://bbs.huaweicloud.com/videos/103225  广东移动:运营商大数据创新应用实践https://bbs.huaweicloud.com/videos/103234 清华大学:产学研深度融合,培养大数据顶尖技术人才https://bbs.huaweicloud.com/videos/103228  华为FusionInsight广东移动大数据案例https://e.huawei.com/cn/videolist/Cloud-BigData/big-data/75205aa8c2fb4a60822f930e06c47a44   华为FusionInsight助力招商银行发现大数据的价值https://e.huawei.com/cn/videolist/video/bc9deda862494aa5a0227e490243e68c   青海绿能数据:绿色科技守护和谐生态https://e.huawei.com/cn/videolist/cloudandbigdata/5bcb14c585ad4a3f8780ce3f7135ef26   青海绿能数据有限公司总经理采访https://e.huawei.com/cn/videolist/cloudandbigdata/f76494639938485a892939c67c371598    技术解读视频华为云FusionInsight携手国家级大数据实验室,探索时序数据库IoTDBhttps://www.huaweicloud.com/about/techwave_dataenabling2021.html 金融行业智能数据湖创新与探索https://live.huawei.com/fsi2021/meeting/cn/8644.html华为云FusionInsight MRS,一个架构实现三种数据湖https://www.huaweicloud.com/about/techwave_cloudnative_2_0.html千级节点的大数据集群如何无业务中断升级?https://live.huawei.com/hdc2021/meeting/cn/8085.html跨源、跨域场景下如何实现海量数据分钟级分析?https://live.huawei.com/hdc2021/meeting/cn/8079.html大数据技术普惠创新,释放千行百业数据价值https://bbs.huaweicloud.com/videos/103226 华为云FusionInsight引领全球大数据技术发展https://bbs.huaweicloud.com/videos/103233 DWS,新一代全场景云数据仓库https://bbs.huaweicloud.com/videos/103231 CarbonData,释放海量数据价值,尽享数据湖之美https://bbs.huaweicloud.com/videos/103232  硬核技术解读【大架光临】第7期:湖仓一体天花板,大数据一站式SQL分析技术实践https://bbs.huaweicloud.com/blogs/323718 华为MRS基于Hudi和HetuEngine构建实时数据湖最佳实践https://bbs.huaweicloud.com/blogs/290858 基于MRS-Hudi构建数据湖的典型应用场景介绍https://bbs.huaweicloud.com/blogs/290866华为FusionInsight MRS实战 - Hudi实时入湖之DeltaStreamer工具最佳实践https://blog.csdn.net/devcloud/article/details/119322938 (CSDN)https://bbs.huaweicloud.com/blogs/289315 华为云FusionInsight携手国家级大数据实验室,探索时序数据库IoTDBhttps://bbs.huaweicloud.com/blogs/289305华为云FusionInsight MRS容灾:大数据两地三中心的容灾也可以如此省心https://bbs.huaweicloud.com/blogs/288765 MRS CDL架构设计与实现https://bbs.huaweicloud.com/blogs/286733深度解读MRS IoTDB时序数据库的整体架构设计与实现https://blog.csdn.net/devcloud/article/details/118297799 (CSDN)https://bbs.huaweicloud.com/blogs/280948 华为云FusionInsight MRS如何实现千余节点滚动升级无业务中断升级https://bbs.huaweicloud.com/forum/thread-123647-1-1.htmlhttps://huaweicloud.blog.csdn.net/article/details/116228342(CSDN)华为云FusionInsight MRS跨湖跨仓场景下如何实现海量数据分钟级分析https://bbs.huaweicloud.com/forum/thread-123648-1-1.htmlhttps://huaweicloud.blog.csdn.net/article/details/116261908(CSDN)华为云FusionInsight与世界同行,持续创新,引领大数据技术发展https://bbs.huaweicloud.com/forum/thread-86794-1-1.html  ClickHouse如何成为OLAP开源引擎的黑马?https://bbs.huaweicloud.com/forum/thread-86298-1-1.html  华为云FusionInsight湖仓一体解决方案的前世今生https://bbs.huaweicloud.com/forum/thread-85550-1-1.html    华为云FusionInsight MRS打造技术领先、越用越快、越用越省、越用越易、越用越稳的数据湖https://bbs.huaweicloud.com/forum/thread-84777-1-1.html  HC2020:华为云FusionInsight携手生态伙伴,共创行业新价值https://bbs.huaweicloud.com/forum/thread-79454-1-1.html 新一代智能数据湖华为云FusionInsight,用数据驱动业务增长新动能https://bbs.huaweicloud.com/forum/thread-79346-1-1.html华为云FusionInsight引领全球大数据技术发展https://bbs.huaweicloud.com/forum/thread-75260-1-1.html华为云TechWave大数据专题日,CarbonData释放海量数据价值https://bbs.huaweicloud.com/forum/thread-75236-1-1.html 从比特到信息 华为云DAYU使能行业数据价值释放https://bbs.huaweicloud.com/forum/thread-75172-1-1.html 华为云FusionInsight MRS融合大数据平台进阶之路https://bbs.huaweicloud.com/forum/thread-67635-1-1.html FusionInsight MRS 技术解读:单集群如何做到2万+规模https://bbs.huaweicloud.com/forum/thread-65063-1-1.html 重磅发布!FusionInsight 8.0 MRS新特性,更快更安全,小伙伴们快来GET√https://bbs.huaweicloud.com/forum/thread-62780-1-1.html +CarbonData,华为云智能数据湖让数据处理飞起来!https://bbs.huaweicloud.com/forum/thread-58111-1-1.html Spark 3.0.0 is cominghttps://bbs.huaweicloud.com/forum/thread-44507-1-1.html FusionInsight大数据存算分离,使客户每比特成本最优https://bbs.huaweicloud.com/forum/thread-43134-1-1.html (2019)FusionInsight,一个融合的大数据平台https://www.sohu.com/a/291005389_615309  最新资讯报道清华大学携手华为云FusionInsight探索软件创新体系之路https://bbs.huaweicloud.com/forum/forum/thread-157506-1-1.html永洪BI携手华为云FusionInsight,让数据分析更敏捷https://bbs.huaweicloud.com/forum/forum/thread-157830-1-1.html华为全联接2021:华为云FusionInsight智能数据湖观影一览https://bbs.huaweicloud.com/forum/forum/thread-156955-1-1.htmlHC2021揭秘华为云FusionInsight智能数据湖 8.1.0 版本新能力https://bbs.huaweicloud.com/forum/forum/thread-157104-1-1.html 华傲数据携手华为云FusionInsight打造政务“三算一景”方案,加速释放“数字红利”https://bbs.huaweicloud.com/forum/forum/thread-157173-1-1.html 东华博泰携手华为云FusionInsight发布能源大数据的解决方案https://bbs.huaweicloud.com/forum/forum/thread-157178-1-1.html 华为云提出 “DIGITS”理念,最大化释放数据要素价值https://www.infoq.cn/article/XPWgwkcbRf1sZ1yrRi9u (InfoQ)华为云FusionInsight智能数据湖加速政企数字化转型https://bbs.huaweicloud.com/forum/thread-134870-1-1.html重磅!AI&数据系列新品发布,加速千行百业智能升级https://mp.weixin.qq.com/s/Pn4trpyNZsQWDVvAPyOHTA (华为云)让数据成为新的生产要素,解读华为云数据领域最新进展与布局https://mp.weixin.qq.com/s/y8jbcMiQVobDKPXlSoFwBw (公众号)再推数据、AI新品,华为云又有哪些能力升级?https://mp.weixin.qq.com/s/9B702TA7xLBSjTcgNbYv8Q (InfoQ)中国信通院发布《2021大数据十大关键词》https://city.huanqiu.com/article/43fZj0e0By4(环球网)https://bbs.huaweicloud.com/forum/thread-134535-1-1.html6月18日,华为云FusionInsight MRS云原生数据湖为你解密如何提升大数据分析时效性https://bbs.huaweicloud.com/forum/thread-133027-1-1.html华为云FusionInsight湖仓一体,加速金融行业数字化转型升级https://www.toutiao.com/i6969894324725137932/(头条)https://bbs.huaweicloud.com/forum/thread-131953-1-1.htmlAI与数据双轮驱动金融业务创新,构建全场景智慧金融https://www.toutiao.com/i6971315409580524046/(头条)华为云数据使能,加速金融数据资产化https://www.toutiao.com/i6970961244908077575/(头条)一架构三湖,解密华为云FusionInsight MRS组件新特性https://bbs.huaweicloud.com/forum/thread-129527-1-1.html华为云FusionInsight MRS云原生数据湖携合作伙伴共建繁荣生态https://bbs.huaweicloud.com/forum/thread-129231-1-1.htmlhttps://www.163.com/news/article/GACJ8H6T00019OH3.html业界领先的FusionInsight MRS湖仓一体方案,如何用1个架构实现3种数据湖?5月20日华为云带你一起解密https://bbs.huaweicloud.com/forum/thread-127255-1-1.htmlhttps://baijiahao.baidu.com/s?id=1699550446141551411&wfr=spider&for=pcHDC.Cloud2021 | 一文回顾华为云FusionInsight MRS云原生数据湖亮点https://bbs.huaweicloud.com/forum/thread-123646-1-1.htmlhttps://huaweicloud.blog.csdn.net/article/details/116200119华为云TechWave全球技术峰会成功召开,数据使能,驱动业务增长https://mp.weixin.qq.com/s/rBGe4dRuYrunGYLGt4huew  https://bbs.huaweicloud.com/forum/thread-119722-1-1.html 华为云TechWave数据使能分论坛,“鹏城论数”邀您来https://mp.weixin.qq.com/s/OGSkJaMtu4g77hGMqXBi9Q  https://bbs.huaweicloud.com/forum/thread-119009-1-1.html 业务0中断,金融行业首个1000+大数据集群滚动升级成功https://bbs.huaweicloud.com/forum/thread-105692-1-1.html云原生2.0,华为云FusionInsight智能数据湖构建坚实数据底座https://bbs.huaweicloud.com/forum/thread-92712-1-1.html华为云FusionInsight MRS云原生数据湖直击传统大数据三大痛点,赋能新云原生企业https://bbs.huaweicloud.com/forum/thread-97523-1-1.html华为云TechWave云原生2.0数据服务分论坛,精彩内容抢先知!https://bbs.huaweicloud.com/forum/thread-97524-1-1.html华为参与编制的《信息技术 大数据 系统运维和管理功能要求》国家标准正式实施https://bbs.huaweicloud.com/forum/thread-87833-1-1.html  华为云FusionInsight亮相高交会 三大硬核能力成就最懂行的大数据领导者https://bbs.huaweicloud.com/forum/thread-87749-1-1.html  精彩不断,好礼不停!尽在华为云FusionInsight高交会展台!https://bbs.huaweicloud.com/forum/thread-86948-1-1.html  问卷抽奖,好礼不断。我为华为云FusionInsight打Call!https://bbs.huaweicloud.com/forum/thread-86853-1-1.html华为云FusionInsight领跑中国大数据管理平台头部阵营https://bbs.huaweicloud.com/forum/thread-86267-1-1.html  HC2020精彩回顾,华为云FusionInsight智能数据湖点亮数据未来https://bbs.huaweicloud.com/forum/thread-79850-1-1.html 请保持清醒:开源是和世界同步的绝佳机会https://bbs.huaweicloud.com/forum/thread-76021-1-1.html Flink 1.11:更好用的流批一体 SQL 引擎https://bbs.huaweicloud.com/forum/thread-76196-1-1.html 华为云FusionInsight大数据技术普惠创新,释放千行百业数据价值https://bbs.huaweicloud.com/forum/thread-74985-1-1.html 华为云TechWave大数据专题日独家播报https://mp.weixin.qq.com/s/1dgU_H22LGYQgL1boCKAlw  华为云TechWave大数据专题日,清华大学王建民院长畅谈大数据顶尖人才培养之道https://bbs.huaweicloud.com/forum/thread-74854-1-1.html 亮点抢先看,华为云 TechWave 大数据专题日有啥料?https://bbs.huaweicloud.com/forum/thread-74154-1-1.html 有奖观影:华为云TechWave大数据专题日好礼不断https://bbs.huaweicloud.com/forum/thread-74107-1-1.html FusionInsight亮相华为云与计算城市峰会深圳站https://bbs.huaweicloud.com/forum/thread-68226-1-1.html 进而有为!华为云EI智能数据湖FusionInsight亮相华为云与计算城市峰会南京站https://bbs.huaweicloud.com/forum/thread-61755-1-1.html 重磅发布!Apache CarbonData 2.0线上发布会,6月3日见!https://bbs.huaweicloud.com/forum/thread-57851-1-1.html 2020年华为FusionInsight大数据开启渠道与伙伴线上赋能https://bbs.huaweicloud.com/forum/thread-43621-1-1.html 实操案例分析金融交通银行携手华为云FusionInsight,加速建设数字化新交行https://bbs.huaweicloud.com/forum/thread-157504-1-1.html工商银行携手华为云FusionInsight共建大数据体系https://bbs.huaweicloud.com/forum/thread-157089-1-1.html  数字化转型提升太平洋保险风险治理能力https://bbs.huaweicloud.com/forum/thread-134867-1-1.html  华为云FusionInsight MRS在金融行业存算分离的实践https://blog.51cto.com/u_15080030/4600764  (51CTO)https://blog.csdn.net/devcloud/article/details/113842659 (CSDN)https://bbs.huaweicloud.com/forum/thread-106509-1-1.html 华为云FusionInsight助力宇宙行打造金融数据湖新标杆https://huaweicloud.blog.csdn.net/article/details/113546275(CSDN)https://bbs.huaweicloud.com/forum/thread-105304-1-1.html 华为云FusionInsight MRS金融行业首个1000+大集群滚动升级成功https://huaweicloud.blog.csdn.net/article/details/113415884(CSDN)https://bbs.huaweicloud.com/forum/thread-104703-1-1.html 华为云TechWave大数据专题日,解密金融业为何“偏爱”华为云?https://bbs.huaweicloud.com/forum/thread-74843-1-1.html 招商银行借助华为FusionInsight变革金融服务https://bbs.huaweicloud.com/blogs/146763 华为云FusionInsight携手Kyligence助力保险业数字化转型https://bbs.huaweicloud.com/forum/thread-60565-1-1.html 大数据在银行业的应用探索与典型案例https://bbs.huaweicloud.com/forum/thread-61865-1-1.html (2018)上交所大数据平台建设 华为FusionInsight解决方案功不可没http://www.dostor.com/p/51137.html 运营商华为云FusionInsight助力广东移动利用大数据技术应对5G数据浪涌,释放海量数据价值https://bbs.huaweicloud.com/forum/thread-74850-1-1.html 0业务中断!全国首个1000+大数据集群成功升级!https://bbs.huaweicloud.com/forum/thread-71008-1-1.html 浙江移动携手华为FusionInsight打造0业务中断的融合大数据平台https://bbs.huaweicloud.com/forum/thread-43249-1-1.html 大企业城轨信息化优秀案例分享 | 深圳地铁数字地铁项目https://mp.weixin.qq.com/s/WxTWI3t-F62uZrYWbcxzyg 智慧民航先行者!华为为民航运行中枢装上“智慧大脑” https://www.sohu.com/a/345866982_615309 华为云FusionInsight+永洪BI共建政企用数之道,普惠千行百业https://mp.weixin.qq.com/s/NYQ6XZyO3AKYwmNGQTf_5g 深圳地铁6号线、10号线采用华为城轨云,以实现5G覆盖https://baijiahao.baidu.com/s?id=1675359146808624688 华为与中国铁路西安局合作开发首台“5G+AI智慧机务系统”正式投用https://baijiahao.baidu.com/s?id=1643810563228081483&wfr=spider&for=pc 华为云EI智能数据湖FusionInsight 成功助力10000+大数据集群滚动升级!https://bbs.huaweicloud.com/forum/thread-53626-1-1.html HDC期间华为云FusionInsight提供HetuEngine展点直播以及合作伙伴华傲数据线上展点https://bbs.huaweicloud.com/forum/thread-48587-1-1.html 
  • [赋能学习] 华为云FusionInsight学习视频
    免费视频在线教学,从概述到细节让你充分了解FusionsInsight零基础入门FusionInsight Hadoop系列视频https://bbs.huaweicloud.com/forum/thread-94451-1-1.html  大数据进阶之路,华为云FusionInsight MRS二次开发训练营视频直播https://bbs.huaweicloud.com/forum/thread-93320-1-1.html  华为云大数据FusionInsight MRS邀您来学培训视频及课件宝典https://bbs.huaweicloud.com/forum/thread-90936-1-1.htmlFusionInsight MRS关键价值解读https://bbs.huaweicloud.com/videos/103242FusionInsight MRS关键技术解读(一)https://bbs.huaweicloud.com/videos/103208FusionInsight MRS关键技术解读(二)https://bbs.huaweicloud.com/videos/103209FusionInsight MRS关键场景解读(一)https://bbs.huaweicloud.com/videos/103211FusionInsight MRS关键场景解读(二)https://bbs.huaweicloud.com/videos/103210FusionInsight MRS关键特性carbondatahttps://bbs.huaweicloud.com/videos/103212FusionInsight MRS关键特性HetuEnginehttps://bbs.huaweicloud.com/videos/103213FusionInsight MRS关键特性Rangerhttps://bbs.huaweicloud.com/videos/103215FusionInsight MRS关键特性多租户https://bbs.huaweicloud.com/videos/103216FusionInsight MRS关键特性managerhttps://bbs.huaweicloud.com/videos/103217FusionInsight MRS二次开发https://bbs.huaweicloud.com/videos/103219FusionInsight MRS技术生态https://bbs.huaweicloud.com/videos/103218FusionInsight MRS运维HDFS/Hive问题定位解决https://bbs.huaweicloud.com/videos/103220FusionInsight MRS运维HBase/Spark问题定位解决https://bbs.huaweicloud.com/videos/103222FusionInsight MRS运维ES问题定位解决https://bbs.huaweicloud.com/videos/103221FusionInsight MRS规划部署实https://bbs.huaweicloud.com/videos/103223FusionInsight MRS巡检升级补丁https://bbs.huaweicloud.com/videos/103224华为大学大数据相关在线视频课程https://ilearningx.huawei.com/portal/courses?q=%E5%A4%A7%E6%95%B0%E6%8D%AE
  • [活动分享] FusionInsight 在腾讯云机器部署出现问题
    FusionInsight 在腾讯云机器部署出现问题,有没有经验的人搞过?
  • FusionInsight源报404错误
    FusionInsight源什么也没有,报404错误
总条数:132 到第
上滑加载中