视频：文档见附件

视频：文档见附件

视频：文档见附件

视频：生态地图地址： https://fusioninsight.github.io文档见附件

视频：文档见附件样例代码见附件

视频：文档见附件

视频：文档见附件

视频：文档见附件

视频：文档见附件

视频：

视频：

视频：

当下，数字经济来临，新技术带来便利的同时，更多的企业面临着机遇和挑战。从社会趋势来讲，生产要素已由农业经济发展到工业经济再到数字经济，数据成为新生产要素，智能成为新生产力。 从Gartner趋势分析表明，企业面临着资源分散、数据不通、应用孤立等问题，这类烟囱式应用和数据孤岛已成为企业数字化转型的阻碍；企业数据逐步多元化，数字化业务井喷增长，驱动企业需要构建一个跨越多域数据、简单、一致的数字化运营生态系统。随着技术的发展，探索数据价值一直在持续，数据平台技术架构也逐步在进化。华为云针对企业上云与治理提出了一套适用于互联网、金融、游戏、产业云等行业的解决方案，数据采集到数据处理与汇聚，再到数据计算与分析，最后到应用与消费层，通过对数据的一系列操作（采集、处理、分析和应用），构建了全场景数据服务助力企业数字化转型，最终实现从数据到价值的闭环。                                               图1 数据技术平台整体技术架构 数据采集与处理对核心关键应用如ERP、CRM、PDM等产生的数据来讲，经过数据复制服务DRS采集后，迁移至云上数据库，华为云数据库具备轻松实现存储容量扩容、快速便捷的实例规格变更，内核深度优化，业务并发量1000+时性能依然保持稳定，扩容仅需几分钟。具有超高的数据可靠性等特点，保障客户业务稳定运行。对于邮件，文档，网页，监控、车辆等非结构化数据，此类面向分析型场景，将通过实时数据接入kafka等服务进行数据采集，可存入对象存储服务OBS，通过流查询，交互式查询等方式，对数据进行挖掘和批处理和批计算。同时以全栈大数据MapReduce服务为基础，提供一站式大数据平台解决方案，一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台，并且与华为云IOT物联网、ROMA平台、数据湖工厂及数据可视化等服务对接，轻松解决数据通道上云、大数据作业开发调度和数据呈现的困难，使用户从复杂的大数据平台构建和专业大数据调优和维护中解脱出来，更加专注行业应用，完成一份数据多业务场景使用的诉求，实现自动伸缩，按需使用和计算存储分离，更低成本更高性能。数据分析与应用面向操作型场景，数据库的管理可以由数据管理服务DAS实现，DAS是用来登录和操作数据库的Web服务，提供数据库运维开发功能以及 DevOPS服务。为方便用户使用和运维华为云RDS，提供数据和表结构的同步、在线编辑，SQL输入的智能提示等丰富的数据库开发功能。同时面向大企业提供基于权限最小化控制和审批流程机制，提供数据保护、变更审核、操作审计、研发自助化等数据库DevOPS平台，帮助企业实现大规模数据库下的标准化、规范化、高效率、超安全的管理手段。面向分析型场景中，用于计算与分析的数据仓库服务GaussDB(DWS)，是实时、简单、安全可信的企业级融合数据仓库，可借助GaussDB(DWS) Express将查询分析扩展至数据湖。华为云数据上云方案，可实现贯穿数据全流程一站式开发运营平台，提供全域数据集成、标准数据规范架构研发、连接并萃取数据价值、统一数据资产管理、数据智能分析与可视化、数据开放服务，可帮助企业构建完整数据**解决方案。同时跨源分析选择数据湖探索DLI服务，数据免搬迁，是完全兼容Apache Spark和Apache Flink生态， 实现批流一体的Serverless大数据计算分析服务，无需大数据背景，会SQL就会大数据分析。通过一系列流转将数据转化为资产，企业将IT系统、数据及IT服务集中到统一的云管资源池中，将会提高提升整体资源利用率和工作效率，改善流程，降低运营成本。号外：828企业上云节，来企业数据上云和治理专场，数据上云难题一站式解决，不但有亿元上云补贴，还有新购满额送华为手机P40 Pro 5G，更多豪礼等你来拿~扫码立即抢购，还可免费获取超高价值的产品白皮书噢！

产品域服务名称博文日期博文标题智能数据MRS2020/6/4Presto性能调优小结智能数据MRS2020/5/28Hadoop   文件系统操作智能数据MRS2020/5/28JAVA的反射类讲解智能数据MRS2020/5/25使用Flume消费kafka   topic数据并存储到Hbase智能数据MRS2020/5/25window下搭建kafka运行环境智能数据MRS2020/5/24MRS   HADOOP/SPARK 代码访问OBS方式介绍智能数据MRS2020/5/21MRS Spark   中使用自编译python智能数据MRS2020/5/21使用Python连接Kerberos的Presto智能数据MRS2020/5/20Hive概述智能数据MRS2020/5/18服务器中流利的使用VI智能数据MRS2020/4/27离线大数据迁移五智能数据MRS2020/4/24离线大数据迁移四智能数据MRS2020/4/23离线大数据迁移到MRS（三） 智能数据MRS2020/4/23离线大数据迁移到MRS（二） 智能数据MRS2020/4/22离线大数据迁移到MRS（一） 

Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQL语句查询src_data表中的数据，最后可将src_data表删除。前提条件将OBS数据源中的数据写入Spark SQL表中时，需要先获取AK/SK。获取方法如下：登录管理控制台。单击用户名，在下拉列表中单击“我的凭证”。单击“访问密钥”。单击“新增访问密钥”，进入“新增访问密钥”页面。输入登录密码和短信验证码Email验证码，单击“确定”，下载密钥，请妥善保。操作步骤准备使用Spark SQL分析的数据源。样例txt文件如下：abcd3ghjiefgh658ko1234jjyu97h8kodfg1kk99icxz3上传数据至OBS。登录OBS控制台。单击“创建桶”，创建一个名称为sparksql的桶。sparksql仅为示例，桶名称必须全局唯一，否则会创建桶失败。单击sparksql桶名称，并选择“对象”。单击“新建文件夹”，创建input文件夹。进入input文件夹，单击“上传对象 > 添加文件”，选择本地的txt文件，然后单击“上传”。上传完成后如图 上传文件所示。图1 上传文件登录MRS控制台，在左侧导航栏选择“集群列表 > 现有集群”，单击集群名称。将OBS中的txt文件导入至HDFS中。选择“文件管理”。在“HDFS文件列表”页签中单击“新建”，创建一个名称为userinput的文件夹。进入userinput文件夹，单击“导入数据”。选择OBS和HDFS路径，单击“确定”。OBS路径：obs://sparksql/input/sparksql-test.txtHDFS路径：/user/userinput提交Spark SQL语句。方式一：创建一个src_data表，将数据源中的数据一行一行写入src_data表中。方式二：创建一个表src_data1，将数据源中的数据批量load到src_data1表中。create table src_data1 (line string) row format delimited fields terminated by ',' ;load data inpath '/user/omm/userinput/sparksql-test.txt' into table src_data1;数据源存储在HDFS的“/user/userinput”“/user/omm/userinput”文件夹下：create external table src_data(line string) row format delimited fields terminated by '\\n' stored as textfile location '/user/omm/userinput';数据源存储在OBS的“/sparksql/input”文件夹下：create external table src_data(line string) row format delimited fields terminated by '\\n' stored as textfile location 'obs://AK:SK@sparksql/input';AK/SK获取方法，请参见前提条件。在MRS控制台选择“作业管理”，具体请参见运行“用户指南 > 管理现有集群 > 作业管理 > 运行Spark作业”章节。只有“mrs_20160907”集群处于“运行中”状态时才能提交Spark SQL语句。输入创建表的Spark SQL语句。输入Spark SQL语句时，总字符数应当小于或等于10000字符，否则会提交语句失败。语法格式：CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path];创建表样例存在以下两种方式。采用方式二时，只能将HDFS上的数据load到新建的表中，OBS上的数据不支持直接load到新建的表中。输入查询表的Spark SQL语句。语法格式：SELECT col_name FROM table_name;查询表样例，查询src_data表中的所有数据：select * from src_data;输入删除表的Spark SQL语句。语法格式：DROP TABLE [IF EXISTS] table_name;删除表样例：drop table src_data;单击“检查”，检查输入语句的语法是否正确。单击“确定”。Spark SQL语句提交后，是否执行成功会在“执行结果”列中展示。删除集群。