- 图终于树结束了，累坏我了，开始图如果说树是一对多的话，那么图就是多对多。都见过地图吧，像陕西就和山西连在了一起，还和内蒙古等等连，典型的多对多如果说线性表和树的专业术语比较繁琐的话，那么图可能颠覆你的三观，——还有这么多的概念？介于图的概念比较多，我们先来放概念，再讲解图按照有无方向分为有向图和无向图。有向图由顶点和弧构成，无向图由顶点和边检成。弧有弧尾和弧头之分。图按照边或须的多少分为稀... 图终于树结束了，累坏我了，开始图如果说树是一对多的话，那么图就是多对多。都见过地图吧，像陕西就和山西连在了一起，还和内蒙古等等连，典型的多对多如果说线性表和树的专业术语比较繁琐的话，那么图可能颠覆你的三观，——还有这么多的概念？介于图的概念比较多，我们先来放概念，再讲解图按照有无方向分为有向图和无向图。有向图由顶点和弧构成，无向图由顶点和边检成。弧有弧尾和弧头之分。图按照边或须的多少分为稀...
- （1）授权指南:通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限：（2）调用API： 上传数据：POST https://{endpoint}/v2/{project_id}/records{ "stream_name": "stream_test", "stream_id": "XXXXXXXXXXXXXXXX", //上传数据到被授权的通道时，必须配置... （1）授权指南:通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限：（2）调用API： 上传数据：POST https://{endpoint}/v2/{project_id}/records{ "stream_name": "stream_test", "stream_id": "XXXXXXXXXXXXXXXX", //上传数据到被授权的通道时，必须配置...
- 初始化客户端：disConf := models.DefaultDISClientConf() // 必选配置 disConf.AK = "YOUR_AK" // 用户Access Key ID，可在公有云“我的凭证”页面下载生成 disConf.SK = "YOUR_SK" ... 初始化客户端：disConf := models.DefaultDISClientConf() // 必选配置 disConf.AK = "YOUR_AK" // 用户Access Key ID，可在公有云“我的凭证”页面下载生成 disConf.SK = "YOUR_SK" ...
- https://support.huaweicloud.com/usermanual-IoT/iot_01_0022.htmlIOT 创建转发DIS规则进入IOT物联网平台https://console.huaweicloud.com/iot/?region=cn-north-4#/iotdmp/spMenu/deviceAccess配置数据转发规则到DIS服务提示该区域未开通服务，当前已经... https://support.huaweicloud.com/usermanual-IoT/iot_01_0022.htmlIOT 创建转发DIS规则进入IOT物联网平台https://console.huaweicloud.com/iot/?region=cn-north-4#/iotdmp/spMenu/deviceAccess配置数据转发规则到DIS服务提示该区域未开通服务，当前已经...
- 您可使用 DIS Consumer 开发从 DIS 通道消费数据的应用程序。尽管您可使用 Java SDK 或者 API 从 DIS 通道中获取数据，但我们建议您使用 DIS Consumer 来开发消费者应用程序。主题使用 DIS Consumer 的优势安装DIS ConsumerDIS Consumer主要概念读取DIS通道数据配置DIS Consumer使用 DIS Consumer... 您可使用 DIS Consumer 开发从 DIS 通道消费数据的应用程序。尽管您可使用 Java SDK 或者 API 从 DIS 通道中获取数据，但我们建议您使用 DIS Consumer 来开发消费者应用程序。主题使用 DIS Consumer 的优势安装DIS ConsumerDIS Consumer主要概念读取DIS通道数据配置DIS Consumer使用 DIS Consumer...
- 一、DIS 鉴权方式DIS服务API基于IAM认证服务完成鉴权认证，主要使用IAM提供的以下两种认证方式：1. token认证当使用Token认证完成认证鉴权时，需要先从IAM服务获取Token，并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。2. AK/SK认证使用AK（Access Key ID）、SK（Secret Access Key）对请求进行签名。AK：访问... 一、DIS 鉴权方式DIS服务API基于IAM认证服务完成鉴权认证，主要使用IAM提供的以下两种认证方式：1. token认证当使用Token认证完成认证鉴权时，需要先从IAM服务获取Token，并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。2. AK/SK认证使用AK（Access Key ID）、SK（Secret Access Key）对请求进行签名。AK：访问...
- DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网... DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网...
- 一、原理当前 Spark Streaming 插件使用的是类似于直接读取 Kafka 的方式来集成 DIS：Driver 使用subscribe方式订阅通道，然后根据 Executor 数量将通道分区分配给 Executor；Executor 使用assign方式消费通道数据并提交 Checkpoint二、FAQ2.1 如何控制 Spark Streaming 从 DIS 的消费速度？有关消... 一、原理当前 Spark Streaming 插件使用的是类似于直接读取 Kafka 的方式来集成 DIS：Driver 使用subscribe方式订阅通道，然后根据 Executor 数量将通道分区分配给 Executor；Executor 使用assign方式消费通道数据并提交 Checkpoint二、FAQ2.1 如何控制 Spark Streaming 从 DIS 的消费速度？有关消...
- 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope... 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope...
- 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS：c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下： 只可能出现重传。数据发送了，但是CheckPoint写成功之前进程挂了或者写失败了（比如磁盘满等），就有可能导致重传。多线程的情况下： 可... 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS：c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下： 只可能出现重传。数据发送了，但是CheckPoint写成功之前进程挂了或者写失败了（比如磁盘满等），就有可能导致重传。多线程的情况下： 可...
- 适用场景：当客户需要按照空间划分权限，不同空间用户只能操作开发本空间的作业，但是空间之间的作业需要存在依赖关系。方案说明：DAYU数据开发可以支持事件触发的方式运行，因此通过DIS或者MRS KAFKA作为作业依赖纽带，可以跨空间做作业依赖。如下图，工作空间1中的JOB-1运行完成后，可以使用DIS Client或Kafka Client发送一条消息触发JOB-2。JOB-2配置事件触发调度... 适用场景：当客户需要按照空间划分权限，不同空间用户只能操作开发本空间的作业，但是空间之间的作业需要存在依赖关系。方案说明：DAYU数据开发可以支持事件触发的方式运行，因此通过DIS或者MRS KAFKA作为作业依赖纽带，可以跨空间做作业依赖。如下图，工作空间1中的JOB-1运行完成后，可以使用DIS Client或Kafka Client发送一条消息触发JOB-2。JOB-2配置事件触发调度...
- 在华为云的DLF服务（现在叫DAYU数据开发）中，有三种pipeline的调度类型：单次调度、周期调度、事件驱动调度。其中单次调度就是直接运行pipeline，周期调度也比较简单，先定义一个运行时间，然后周期运行pipeline。今天主要介绍一下事件驱动调度。 在华为云的DLF服务（现在叫DAYU数据开发）中，有三种pipeline的调度类型：单次调度、周期调度、事件驱动调度。其中单次调度就是直接运行pipeline，周期调度也比较简单，先定义一个运行时间，然后周期运行pipeline。今天主要介绍一下事件驱动调度。
- 源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema，默认情况下不支持字段缺省或者为NULL，如图1。图1 不支持字段缺省样例"key1"字段对应的类型为"String"（Avro Schema中体现为："type": "string"），这时如果源数据中"key1"不传或者传的值为NULL，那么转储任务会报错。如... 源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema，默认情况下不支持字段缺省或者为NULL，如图1。图1 不支持字段缺省样例"key1"字段对应的类型为"String"（Avro Schema中体现为："type": "string"），这时如果源数据中"key1"不传或者传的值为NULL，那么转储任务会报错。如...
- DIS如何实现转储数据至DWS的特定列DIS支持将源数据类型为JSON格式的数据转储至DWS。转储前，需要配置源数据Schema。源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema, 将通道内上传的JSON数据转换为Parquet或CarbonData格式。参考创建源数据Schema，创建源数据Schema。如下... DIS如何实现转储数据至DWS的特定列DIS支持将源数据类型为JSON格式的数据转储至DWS。转储前，需要配置源数据Schema。源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema, 将通道内上传的JSON数据转换为Parquet或CarbonData格式。参考创建源数据Schema，创建源数据Schema。如下...
- 快速使用DISData Ingestion Service（DIS）是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力，让您可以轻松构建基于实时数据的分析和应用。用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。通过DIS用户可以完成数据轻松上云及数据在云上自由流动。本使用指南，指导用户通过DIS Agent采集数据并上传数... 快速使用DISData Ingestion Service（DIS）是华为云提供的实时数据接入服务。它提供了灵活数据采集、高效数据传输、实时数据分发能力，让您可以轻松构建基于实时数据的分析和应用。用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。通过DIS用户可以完成数据轻松上云及数据在云上自由流动。本使用指南，指导用户通过DIS Agent采集数据并上传数...
上滑加载中
推荐直播
-
数字未来：更智能，更高效，更可靠！2022/12/20 周二 15:00-16:00
张利君 南京阿信航空服务股份有限公司副总兼运营总经理；徐铭锴 星尘数据COO
本期直播带您了解中小微企业差旅和费控管理，以及如何提升自动驾驶研发效率。
回顾中 -
连接数字化未来，推动转型创新2022/12/20 周二 16:00-17:00
刘权Allen 今日人才联合创始人；樊得强 深圳标普云科技有限公司营销服务VP
本期直播为您分享如何花在线招聘的价格，享猎头服务的体验 ，以及金税四期下，企业数字化的机遇与挑战。
回顾中 -
CodeArts Req 让繁杂的研发需求简单化管理2022/12/21 周三 16:00-17:30
熊松林 华为云Paas DTSE技术布道师
华为云自研的需求管理工具CodeArts Req，已支持华为13万研发人员需求协作，管理5000多万需求。本期直播将结合业界真实案例探索需求管理的重要性；并对华为云CodeArts Req 如何让需求管理化繁为简，做深入的能力解读。
去报名
热门标签