【摘要】 GaussDB(DWS)提供了灵活的数据入库方式，可以将多种数据源的数据导入到GaussDB(DWS)中，如图1所示。各导入方式具有不同的特点，如表1所示，用户可以根据其特点自行选择。建议用户配合云数据迁移（Cloud Data Migration，简称CDM）、数据接入服务（Data Ingestion Service，简称DIS）和数据湖工厂（Data Lake Factory，简称DLF）。概述        云数据迁移服务（Cloud Data Migration，简称CDM），可以将其他数据源（例如MySQL）的数据迁移到GaussDB(DWS) 集群的数据库中。       GaussDB(DWS)提供了灵活的数据入库方式，可以将多种数据源的数据导入到GaussDB(DWS)中，如图1所示。各导入方式具有不同的特点，如表1所示，用户可以根据其特点自行选择。建议用户配合云数据迁移（Cloud Data Migration，简称CDM）、数据接入服务（Data Ingestion Service，简称DIS）和数据湖工厂（Data Lake Factory，简称DLF）一起使用，CDM用于批量数据迁移，DIS用于流数据接入，DLF可以对整个ETL过程进行编排调度，同时提供可视化的开发环境。导入方式：数据导入方式说明：数据导入方式数据源说明优势从OBS并行导入数据OBS支持将存储在OBS上的TXT、CSV、ORC及CARBONDATA格式的数据并行导入到GaussDB(DWS)，支持导入后查询数据，也支持远程读OBS上的数据。GaussDB(DWS)优先推荐的导入方式。并行拉取方式，性能好，横向扩展。使用GDS从远端服务器导入数据Servers（即远端服务器）使用GaussDB(DWS)提供的GDS工具，利用多DN并行的方式，将数据从远端服务器导入到GaussDB(DWS)。这种方式导入效率高，适用于大批量数据入库。从MRS导入数据到集群MRS（HDFS）配置一个GaussDB(DWS)集群连接到一个MRS集群，然后将数据从MRS的HDFS中读取到GaussDB(DWS)。并行拉取方式，性能好，横向扩展。使用CDM迁移数据到GaussDB(DWS)数据库、NoSQL、文件系统、大数据平台CDM提供同构/异构数据源之间批量数据迁移的功能，帮助您实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到GaussDB(DWS)时，采用的是Copy方式和GDS并行导入方式。数据源丰富，操作简单。从DIS导入流式数据到GaussDB(DWS)流数据可以将流式数据从DIS通道周期性导入到GaussDB(DWS)集群的数据库中。导入GaussDB(DWS)前数据临时存储在OBS，待转储GaussDB(DWS)完成后删除OBS上的临时存储数据。准实时入库。第三方ETL工具数据库、NoSQL、文件系统、大数据平台请参考第三方ETL工具的相关文档。GaussDB(DWS)提供了DSC工具，可以将Teradata/Oracle脚本迁移到GaussDB(DWS)。·         使用DSC工具迁移SQL脚本·         使用Schema Convertor Tool将MySQL迁移到DWS通过OBS中转，数据源丰富，数据转换能力强。通过INSERT语句直接写入数据-使用SQL客户端工具或JDBC/ODBC驱动连接GaussDB(DWS)数据库时，执行INSERT语句插入一行或多行数据，以及从指定表插入数据。INSERT是最简单的一种数据写入方式，适合数据写入量不大，并发度不高的场景。使用COPY FROM STDIN导入数据其他文件或数据库使用Java语言开发应用程序时，通过调用JDBC驱动的CopyManager接口，从文件或其他数据库向GaussDB(DWS)写入数据。从其他数据库直接写入GaussDB(DWS)的方式，具有业务数据无需落地成文件的优势。使用gsql元命令\copy导入数据本地文件与直接使用SQL语句COPY不同，该命令读取/写入的文件只能是gsql客户端所在机器上的本地文件。操作简单，适用于小批量数据入库。 场景介绍本节介绍云数据迁移（Cloud Data Migration，以下简称CDM）的基础使用方法，通过使用CDM迁移本地MySQL数据库中的表，写入到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务，具体场景如图。CDM的基本使用流程如下：创建CDM集群创建连接创建并执行作业查看作业运行结果以完成数据迁移创建集群操作场景用户首先需要创建CDM集群，来执行MySQL数据同步到DWS的任务。前提条件已获取DWS所在的区域、VPC、子网、安全组。操作步骤1. 登录CDM管理控制台。2. 单击“购买云数据迁移服务”，进入创建CDM集群的界面，集群配置样例如下：当前区域：选择CDM集群的区域，不同区域的资源之间内网不互通，这里必须选择与DWS所在区域一致。可用区：指在同一区域下，电力、网络隔离的物理区域，可用区之内内网互通，不同可用区之间物理隔离。这里选择“可用区2”。集群名称：集群名称在4位到64位之间，必须以字母开头，可以包含字母、数字、中划线或者下划线，不能包含其他的特殊字符，例如：“cdm-aff1”。版本：默认即可。实例类型：用户按实际业务数据量选择实例规格，这里选择“cdm.medium”即可，适用大部分迁移场景。large：8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8Gbps，能够并发执行的作业个数为20，适合单张表规模≥1000万条的场景。xlarge：16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4Gbps，能够并发执行的作业个数为100，适合使用10GE高速带宽进行TB以上的数据量迁移。4xlarge：64核CPU、128G内存的虚拟机，最大带宽/基准带宽为30/30Gbps，能够并发执行的作业个数为300。虚拟私有云：即VPC（Virtual Private Cloud），这里必须选择与DWS相同的VPC。子网：推荐与DWS的子网一致。安全组：推荐与DWS的安全组一致。这里所配置的子网、安全组也可以与DWS不一致，但是需要配置安全组规则，允许CDM集群能正常访问DWS。其它参数保持默认即可。3. 查看当前配置，确认无误后单击“立即购买”进入规格确认界面。说明：集群创建好以后不支持修改规格，如果需要使用更高规格，需要重新创建。4. 单击“提交申请”，系统开始自动创建CDM集群，在“集群管理”界面可查看创建进度。说明：创建集群需要10～20分钟时间，如果您是首次创建CDM集群，只需要一分钟即可。创建连接连接说明迁移本地MySQL数据库到数据仓库服务DWS前，需要创建2个连接：MySQL连接：CDM连接本地MySQL数据库。DWS连接：CDM连接DWS数据库。由于CDM需要访问本地数据源，所以创建连接前，需先为CDM集群绑定弹性IP，CDM通过弹性IP访问MySQL数据库。前提条件用户本地的MySQL数据库已允许通过公网IP访问。用户已拥有EIP配额。已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读、写和删除权限。用户已经拥有了DWS实例，已获取连接DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库的读、写和删除权限。创建MySQL连接1. 登录CDM管理控制台。2. 单击左侧导航上的“集群管理”，找到步骤1：创建集群章节创建的集群“cdm-aff1”。3. 单击该集群后的“绑定弹性IP”，选择并绑定弹性公网IP。图1 绑定EIP说明：如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。4. 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理> 新建连接”，进入选择连接器类型的界面，如图2所示。图2 选择连接器类型5. 选择“MySQL”后单击“下一步”，配置MySQL连接的参数。图3 创建MySQL连接单击“显示高级属性”可查看更多可选参数，具体请参见配置关系数据库连接。这里保持默认，必填参数如表1所示。参数名说明取值样例名称输入便于记忆和区分的连接名称。mysqllink数据库服务器MySQL数据库的IP地址或域名。192.168.0.1端口MySQL数据库的端口。3306数据库名称MySQL数据库的名称。sqoop用户名拥有MySQL数据库的读、写和删除权限的用户。admin密码用户的密码。-使用Agent是否选择通过Agent从源端提取数据。是Agent单击“选择”，选择连接Agent中已创建的Agent。-6. 单击“保存”回到连接管理界面。说明：如果保存时出错，一般是由于MySQL数据库的安全设置问题，需要设置允许CDM集群的EIP访问MySQL数据库。创建DWS连接1. 在“连接管理”界面单击“新建连接”，连接器类型选择“数据仓库服务（DWS）”。2. 单击“下一步”配置DWS连接参数，必填参数如表2所示，可选参数保持默认即可。参数名说明取值样例名称输入便于记忆和区分的连接名称。dwslink数据库服务器DWS数据库的IP地址或域名。192.168.0.3端口DWS数据库的端口。8000数据库名称DWS数据库的名称。db_demo用户名拥有DWS数据库的读、写和删除权限的用户。dbadmin密码用户的密码。-使用Agent是否选择通过Agent从源端提取数据。是Agent单击“选择”，选择连接Agent中已创建的Agent。-导入模式COPY模式：将源数据经过DWS管理节点后拷贝到数据节点。如果需要通过Internet访问DWS，只能使用COPY模式。COPY3. 单击“保存”完成创建连接。创建并执行作业操作场景    创建CDM迁移数据表的作业，执行从本地MySQL数据库复制表到DWS的任务。操作步骤1. 在集群管理界面，找到步骤1：创建集群章节创建的集群“cdm-aff1”。2. 单击该CDM集群后的“作业管理”，进入作业管理界面。3. 选择“表/文件迁移> 新建作业”，配置作业基本信息。图1 新建作业作业名称：输入便于记忆、区分的作业名称，例如：“mysql2dws”。源端作业配置源连接名称：选择步骤2：创建连接章节中创建的MySQL连接“mysqllink”。使用SQL语句：选择“否”。模式或表空间：选择从MySQL的哪个数据库导出表。表名：选择导出哪张表。其它可选参数保持默认即可，详细说明可参见配置关系数据库源端参数。目的端作业配置目的连接名称：选择步骤2：创建连接章节中创建的DWS连接“dwslink”。模式或表空间：选择导入到DWS的哪个数据库。自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DWS数据库中创建该表。表名：选择导入到DWS数据库的哪张表。其他可选参数保持默认即可，详细说明可参见配置关系数据库目的端参数。4. 单击“下一步”进入字段映射界面，CDM会自动匹配源端和目的端的数据表字段，需用户检查字段映射关系是否正确。如果字段映射关系不正确，用户单击字段所在行选中后，按住鼠标左键可拖拽字段来调整映射关系。导入到DWS时需要手动选择DWS的分布列，建议按如下顺序选取：有主键可以使用主键作为分布列。多个数据段联合做主键的场景，建议设置所有主键作为分布列。在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。如果需要转换源端字段内容，可在该步骤配置，具体操作请参见字段转换，这里选择不进行字段转换。图2 字段映射5. 单击“下一步”配置任务参数，一般情况下全部保持默认即可。该步骤用户可以配置如下可选功能：作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。是否定时执行：如果需要配置作业定时自动执行，请参见配置定时任务。这里保持默认值“否”。抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。作业运行完是否删除：这里保持默认值“不删除”。6. 单击“保存并运行”，CDM立即开始执行作业。说明：如果运行作业失败，日志提示如下错误：SQL语句无法执行。ERROR: value too long for type character varying(7) Where: COPY dws_city, line 1, column name: "广州市"。原因：DWS表的字符字段长度不够。这是因为MySQL和华为云DWS存储中文时编码不一样，所需的长度也不一样，一个中文字符在UTF-8编码下可能要占3个字节。解决方法：在3新建作业时选择自动创表，高级属性参数“扩大字符字段长度”选择“是”，再重新执行作业。这样CDM在DWS中自动创表时，会将字符类型的字段长度设置为原表的3倍。查看作业运行结果操作场景作业完成后，可以查看作业执行结果及最近90天内的历史信息，包括写入行数、读取行数、写入字节、写入文件数和日志等信息。操作步骤1. 在集群管理界面，找到步骤1：创建集群章节创建的集群“cdm-aff1”。2. 单击该CDM集群后的“作业管理”，进入作业管理界面。3. 找到步骤3：创建并执行作业章节创建的作业“mysql_dws”，查看该作业的执行状态。说明：作业状态有New，Pending，Booting，Running，Failed，Succeeded。其中“Pending”表示正在等待系统调度该作业，“Booting”表示正在分析待迁移的数据。4. 单击作业后面的“历史记录”，可查看作业的写入行数、读取行数、写入字节或写入文件数。图1 查看历史记录5. 在历史记录界面，再单击“日志”可查看作业执行的日志信息。也可以在作业列表界面，选择“更多 > 日志”来查看该作业最近的一次日志。图2 查看作业日志原文链接：https://bbs.huaweicloud.com/blogs/237368【推荐阅读】【最新活动汇总】DWS活动火热进行中，互动好礼送不停（持续更新中）  HOT  【博文汇总】GaussDB(DWS)博文汇总1，欢迎大家交流探讨~（持续更新中）【维护宝典汇总】GaussDB(DWS)维护宝典汇总贴1，欢迎大家交流探讨（持续更新中）【项目实践汇总】GaussDB(DWS)项目实践汇总贴，欢迎大家交流探讨（持续更新中）【DevRun直播汇总】GaussDB(DWS)黑科技直播汇总，欢迎大家交流学习（持续更新中）【培训视频汇总】GaussDB(DWS) 培训视频汇总,欢迎大家交流学习（持续更新中）扫码关注我哦，我在这里↓↓↓

【功能模块】【操作步骤&问题现象】1、在roma的Hi-fjdx__消防烟感设备IO应用中的设备告警消息回调（消防烟感）接口进行推送消息2、查看消息轨迹是成功的，但是ABC侧的数据接入，接入不了数据【截图信息】【日志信息】（可选，上传日志内容或者附件）顾庆耀/18068848554/guqingyao@chinasoftinc.com

wap灰度发帖验证

数据准备数据准备是非常重要的一个环节数据准备在现实准备中，面临着各种问题（数据采集难，数据质量差，数据冗余性大，标签少，数据分析难，人工采集成本大等）数据准备不仅重要，且花费工作量非常大，往往在项目开发中，数据相关的工作量占据80%，算法模型准备占据20%ModelArts在数据管理方面提供了一系列智能化数据服务，大大降低开发成本，提高开发效率1，数据采集（数据采集是开发人工智能应用时面临的首要问题）数据采集涉及，图像，视频，音频，结构化表格数据及环境信息等，对于实际应用和模型而言，数据越大越丰富，算法所达到的效果就越好（没有好的数据集，再好的算法，也达不到预期的效果），对深度学习而言，数据量越大，模型表现越好。数据采集的方法可分为几种  1，终端设备采集 （摄像头，无人机，移动设备等）2，网络数据采集（合法合规的情况下，自动捉取数据） 3，基于搜索的数据采集（从已有的数据库中搜索出类似的图像）2，对于大企业大规模数据的体现 1，数据来源具有分散性 2，数据储存具有多样性3，数据具有多模态属性 4，数据采集具有较强的业务相关性数据接入 （批量接入，实时流接入）对于已经采集好的数据，要进行大规模的进行分析，建模，则需要将数据接入应用开发平台上。批量接入，华为CMD，云数据迁移（一键式将数据在不同的存储之间做平滑迁移）实时流接入，华为 DIS，数据接入服务（一键式将数据迁移到云上）DLI，数据湖探索（对接不同数据） DWS 数据仓库服务 DDS文档数据库服务OBS对象储存服务（稳定、安全、高效、易用的云存储服务，具备标准Restful API接口，可存储任意数量和形式的非结构化数据）OBS在ModelArts实战开发环节中经常使用OBS资源是服务中存在的对象。在OBS中，资源包括桶和对象，可以在创建自定义策略时，通过指定资源路径来选择特定资源

【DIS】【部署方式】请问DIS支持HCS混合云部署么？支持IEF部署么？期待各位专家的答复

如题

功能描述：通过MQS上报一个消息，然后在App Engine的业务大屏上实时显示出来通过接口向Topic发送一个消息，消息能够被定义的数据接入和事件正常消费，但是在自定义组件使用websocket建立热联以后，无法获取到MQS的消息

Appcube 5G消息项目，进行1.2接收用户上行消息设置中保存数据接入标签时报错。

现在T_VIDEO_ANALYSIS_ALARM__HiDSKJ01MQS里面有这个消息了，但是abc平台的VCM_VCMMessageEvent_ALARM这个数据接入为啥一直不消费这个TOPIC的消息啊，帮忙看下呗。App ID：HiDSKJ01__video.huawei.vcm主题：T_VIDEO_ANALYSIS_ALARM__HiDSKJ01秘钥：bxtxoBOD9+LgbJq/bfh56w==

DIS支持将源数据类型为JSON格式的数据转储至DWS。转储前，需要配置源数据Schema。源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema, 将通道内上传的JSON数据转换为Parquet或CarbonData格式。参考创建源数据Schema，创建源数据Schema。如下以添加转储任务时创建源数据Schema为例进行说明。选择源数据类型是Json的通道。在通道详情页面的“转储任务”页签，单击“添加转储任务”。转储服务类型选择DWS，通过导入文件的方式配置源数据Schema。输入源数据样例，单击“转换源数据样例”并提交，生成源数据Schema。配置Schema属性过滤功能。说明： schema过滤功能，只针对源数据schema根节点或一级子节点非array类型，才有效。即管理源数据Schema创建的源数据schema，满足根节点或一级子节点非array类型，界面才呈现此配置。打开Schema过滤开关。在源数据属性名列表中，勾选对应的属性名，完成DWS表中指定列的映射。说明： 源数据属性名列表中的属性由源数据Schema的name字段生成，匹配DWS的列名称。如图2所示，源数据属性名只选择id，即少于对应表的总字段。DWS侧创建集群，并执行如下命令创建表。CREATE TABLE dis_test3(id TEXT,dev TEXT,online BIGINT,module TEXT default 'a',logTime TEXT,appId TEXT,event TEXT);DIS侧转储数据至DWS成功后，登录集群数据库查询dis_test3表格数据，可看到仅id列和module列插入数据，其中module列是默认数据。

开通DIS通道时需要选择“转储服务类型”。具体区别如表1所示。选择“OBS”表示存储在DIS中，并周期性导入对象存储服务（Object Storage Service，简称OBS）。选择“MRS”表示存储在DIS中，并周期性导入MapReduce服务（MRS）集群的HDFS中。选择“DLI”表示存储在DIS中，并周期性导入DLI。选择“DWS”表示存储在DIS中，并周期性导入数据仓库服务（DWS）中。选择“CloudTable”表示存储在DIS中，并实时导入CloudTable集群的HBase表或OpenTSDB表中。表1 DIS和转储其他资源区别DIS存储OBS存储MRS存储DLI存储DWS存储CloudTable存储DIS服务自带。需要另外申请。需要另外申请。需要另外申请。需要另外申请。需要另外申请。无需另外付费。需要根据OBS收费标准另外付费。需要根据MRS和OBS收费标准另外付费。需要根据DLI和OBS收费标准另外付费。需要根据DWS和OBS收费标准另外付费。需要根据CloudTable收费标准另外付费。临时存储（最长保留168小时）。数据可长期存储在OBS中，具体保存时长根据用户购买的OBS服务时长决定。数据可长期存储在MRS中，具体保存时长根据用户购买的MRS服务时长决定。数据可长期存储在DLI中，具体保存时长根据用户购买的DLI服务时长决定。数据可长期存储在DWS中，具体保存时长根据用户购买的DWS服务时长决定。数据可长期存储在CloudTable中，具体保存时长根据用户购买的CloudTable服务时长决定。

规则是用户自定义的条件，规则引擎规则引擎可以订阅设备Topic，获取设备上报的数据，然后将解析过的数据发送到其他云服务如ROMA自身的消息集成组件MQS、分布式消息服务 DMS Kafka专享版、数据接入服务 DIS等，供其他云服务使用。例如，用户可制定规则，命令设备每小时上报一次设备温度，如果设备温度超出正常范围，则关闭该设备，给用户发送告警信息；LINK将收集到的数据传输到大数据分析平台，评估其他设备发生故障的风险。创建规则创建规则的具体步骤如下：登录ROMA控制台，单击左侧菜单栏“设备集成LINK > 规则引擎”。单击“创建规则”，创建一条新的规则。单击规则名称，进入规则详情页面，配置数据源端。详细参数如下：产品名称：从下拉菜单中选择一个产品。设备名称：从下拉菜单中选择一个设备。您可以选择将此规则应用于一个产品下的全部设备或某一特定的设备。Topic名称：选择一个Topic名称。设备有两种具有pub权限的Topic可供选择，设备名称带有“shadow”字样的是设备影子的Topic，另一个则是设备本身的topic。设备影子存储了设备或者应用的当前状态信息，当设备不在线时，可以使用设备影子的Topic通过MQTT协议获取和设置设备的状态。您可以根据业务需求选择设备影子的Topic或设备本身的Topic。是否base64：选择是否开启base64加密，默认开启。是否嵌套消息体：选择是否嵌套消息体，默认开启。配置数据目的端。LINK支持的目的端有：ROMA MQS消息集成服务、分布式消息服务 Kafka专享版、设备的订阅Topic、和数据接入服务 DIS。配置ROMA MQS数据目的端需要填写以下参数：Topic是MQS的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。配置Kafka专享版数据目的端需要填写以下参数：Topic是Kafka专享版的一种发布与订阅消息模型。生产者向消息主题发布消息，多个消费者订阅该消息主题的消息，生产者与消费者彼此并无直接关系。配置设备订阅的Topic数据目的端需要填写以下参数：配置DIS数据目的端需要填写以下参数：通道列表：从下拉菜单中选择一个通道名称。通道名称指的是DIS的通道名，是租户创建的逻辑单位，用以区分不同租户实时数据的集合，在创建通道的时候指定。用户使用DIS发送或接受数据时，需要指定通道名称。委托服务：从下拉菜单中选择一个委托服务。 委托服务是指用户在IAM处创建委托，授予ROMA访问DIS的权限。产品：从下拉菜单中选择一个产品。设备：从下拉菜单中选择一个设备。Topic：从下拉菜单中选择一个Topic名称。实例名称：从下拉菜单中选择一个实例名称。Topic名称：从下拉菜单中选择一个Topic名称。 选择分布式消息服务 DMS Kafka专享版为目的地时，处理数据实例的vpc要与目的地数据kafka实例的vpc一致。若不一致，系统会做出相应提醒。、说明：实例名称：从下拉菜单中选择一个实例名称。Topic名称：从下拉菜单中选择一个Topic名称。修改规则登录ROMA控制台，单击左侧菜单栏“设备集成LINK > 规则引擎”。选择待操作规则，单击操作栏的“编辑”，弹出“编辑规则”页。修改规则信息，详细参数如下：规则名称：长度不超过64个字符，支持英文字母，数字，下划线和中划线，必填项。规则描述：长度不超过200个字符，非必填项。状态：是否启用，非必填项。单击“确认”，完成规则修改删除规则登录ROMA控制台，单击左侧菜单栏“设备集成LINK > 规则引擎”。选择待操作规则，单击操作栏的“删除”，弹出“删除规则”页。单击“确认”，完成规则删除。设备接入LINK设备接入LINK后，设备可以将消息发送给云端，供云端做进一步的处理，如解析，转发和存储等。可以通过两种方式实现设备接入LINK：MQTT.fx客户端该客户端是基于MQTT协议，此协议是IBM开发的一个即时通讯协议。MQTT协议构建于TCP/IP协议上，面向M2M和物联网IoT的连接协议，采用轻量级发布和订阅消息传输机制。SDK详情请参考LINK开发指南。上述两种方式都可以通过使用Pub权限的Topic（Pub Topic或者Update Shadow Topic）来实现设备接入LINK的功能，然后发送消息。控制设备除了设备接入LINK的功能，您也可以使用LINK控制设备。控制设备的功能基于MQTT协议。以图1为例，订阅者是设备，发布者通过消息控制设备。发布者和设备之间通过代理进行消息传输。设备需要订阅Topic，才会收到相应的消息，否则消息不会被推送到设备上。例如，发布者发送“温度=25摄氏度”消息到一个名为“空调温度”的topic，设备端的空调订阅了这个topic，那么空调将收到这条消息，并且按照消息内容中的要求，将温度改为25摄氏度。控制设备目前我们可以使用相应的SDK来发送消息给设备，设备使用订阅的Topic来接收相应的消息，详情请您参考《设备集成LINK开发指南》的设备端开发。

场景介绍本项目以某水务公司锅炉异常检测为实例，引导用户熟悉实时数据接入、实时数据处理及实时数据展示。通过该项目引导用户熟悉华为云的DIS（数据接入服务）、CS（实时流计算服务）、CloudTable（表格存储服务）服务的使用。我们将模拟水务设备实时产生的数据，将其上传至华为云，并通过华为云服务对锅炉进行异常检测，并提供报表按不同维度展示过去一段时间锅炉的运行状态数据，以便在锅炉异常时产生告警及持续观察锅炉运行状态。基本场景如下图所示：图1 基本场景用户期望通过检测，上报锅炉运行情况，针对锅炉温度、压力、水位等指标超过阈值后通知区域巡检员进行紧急处理。并通过持续观测实时数据，以判断锅炉运行的健康状态，进而通过工程维修组对锅炉进行更换、维修等。数据介绍如下为监控设备检测到的设备数据示例（一条记录）。{"equId":"15","equType":"2","zoneId":"1","uploadTime":1527000545560,"runningTime":52.0,"temperature":66.9,"pressure":1.31,"waterLine":42.6,"targetTemperature":68.0,"targetPressure":2.07,"targetWaterLine":38.0,"feedWater":0.116,"noxEmissions":50.3,"unitLoad":83.9}公有云方案方案架构：锅炉检测设备获取设备运行数据后，通过DIS上传至华为云，CloudStream配置数据处理规则，在异常情况下触发短信告警。同时检测数据进入CloudTable（OpenTSDB）中，通过Grafana持续观测设备运行数据，以获取设备运行的健康状态。图1 方案架构使用到的华为云服务：DIS：数据接入服务，将检测设备上的数据上传至华为云，并实时导入到华为云CloudStream服务。CloudStream：实时流计算服务，可配置数据处理规则，并在异常情况下触发SMN发送告警短信。CloudTable：表格存储服务，提供OpenTSDB，可以通过Grafana对接该服务，实时观测设备运行情况并作出设备健康状态判断。SMN：消息通知服务，订阅手机短信通知，使手机可以接受到设备告警短信，例如，锅炉压力过大短信告警。ECS：弹性云服务器，预安装了EI实时数据演示DemoUI，用户通过镜像快速对接实践环境，实现数据展示功能。例如，在本场景中，用户可以通过WebUI进行锅炉监控查询。DLF：数据湖工厂，购买“IoT实时数据处理和存储”套餐，可以对DIS、CloudStream、CloudTable、DemoUI一键开通和配置，快速实现一个IoT实时流处理的应用。操作指导参考以下指导便可简单几步快速实现上述场景的流应用：https://support.huaweicloud.com/bestpractice-cloudtable/cloudtable_07_0002.html 

简介DMP Lite版本专注数据采集上报场景，没有编解码插件和profile概念，原始设备采集数据支持直接透传至北向。北向支持直接对接DIS(华为对象存储服务)，由DIS提供数据存储能力，开发者或客户采用集成DIS客户端方式获取DIS存储的应用数据。需要购买华为云配套的对象存储DIS服务，并对接到IoT平台。1      购买开通DIS服务1.1      进入控制台1.2      搜索“数据接入服务”1.3     购买接入通道购买完成后可在通道管理中查看已创建的通道。源数据类型可以在通道管理中修改，源数据Schema也可以在通道管理中进行配置。2 在IoT平台上配置DIS服务2.1      获取DIS服务的认证信息，AK和SK在公有云基本信息 > 我的凭证 > 管理访问密钥 中新增访问密钥，成功后将下载一个credentials.csv文件，文件中包含AK和SK2.2      在平台配置DIS服务配置AK/SK：在 规则引擎 > 创建规则 中配置规则引擎：至此，DIS服务已配置完成，可以开始使用设备上报数据进行测试了。3      查看设备上报的数据3.1      在控制台查看数据3.2      下载DIS服务上的数据3.2.1 下载DIS SDK demo在以下链接中下载huaweicloud-sdk-dis-java-XXX.zip下载地址：https://dis-publish.obs-website.cn-north-1.myhwclouds.com/3.2.2 导入工程到eclipse:a.       打开Eclipse。选择“File > Import”弹出“Import”窗口。b.       选择“Maven > Existing Maven Projects”，单击“Next”，进入“Import Maven Projects”页面。c.       单击“Browse”按钮，根据实际情况选择“dis-sdk-demo”样例工程的存储位置，勾选样例工程b.       单击“Finish”完成项目导入。注意：工程需要使用JDK1.8及以上版本进行编译3.2.3 配置参数并允许程序下载数据获取projectId，2.2中配置的区域为cn-north-1，所以使用cn-north-1对应的项目ID：配置参数，AK，SK，projectId，streamName（通道名称，即代表查询该通道的数据）运行ConsumerDemo.java文件右键点击ConsumerDemo.java文件 > Run As > Java application > 在控制台查看数据：3.2.4 使用Agent Lite设备上报数据从DIS服务器获取的数据示例：15:06:24.892 [main] INFO  com.bigdata.dis.sdk.demo.ConsumerDemo - Get Record [{"deviceId":"20055055-3f16-4ca3-afe7-cd216c3d16cb","services":[{"serviceId":"Storage","data":{"storage":"english","usedPercent":20},"eventTime":"20181011T040134Z"}]}], partitionKey [326533], sequenceNumber [10].3.2.5  使用NB设备上报数据从DIS服务器获取的数据示例：15:06:24.999 [main] INFO  com.bigdata.dis.sdk.demo.ConsumerDemo - Get Record [{"deviceId":"5dce07bb-4c7c-4bf5-8977-768d425d4484","services":[{"serviceId":"RawData","data":{"rawData":"MTIzNDU2"},"eventTime":"20181016T070518Z"}]}], partitionKey [865332], sequenceNumber [23].说明：数据中rawData节点为设备上报的内容，数据经过base64加密，应用服务器需要在获取到数据后进行解密Base64加解密工具地址：https://www.qqxiuzi.cn/bianma/base64.htm

Lite版本和Base版本几经更名，最后大家还是确定了云联和云悉两个名称。在此不多介绍.Lite版本：专注数据采集上报场景，南向支持协议栈对接，Coap和MQTT为基础，拓展安全协议，与Base版本的南向能力持平，没有编解码插件和profile概念，原始设备采集数据支持直接透传至北向。北向支持直接对接DIS(华为对象存储服务)，由DIS提供数据存储能力，开发者或客户采用集成DIS客户端方式获取DIS存储的应用数据。需要购买华为云配套的对象存储DIS服务。Base版本：南向支持丰富协议栈，目前有系列化Agent，LiteOS(Agent Tiny)，已经NB场景下的基于CoAP协议栈的模组对接。需要开发者开发应用层协议用于转换十六进制和json格式数据，（profile&编解码插件）。北向提供设备管理，推送通知等不同类型的restful接口可供北向应用服务器使用，自定义TCP传输层的HTTP协议推送地址，满足数据直接推送到第三方服务器诉求。高级版：目前规划基于Base版本进行数据分析，报表统计等能力