- GaussDB(DWS)云端数据接入 GaussDB(DWS)云端数据接入 1. 前言 2. 概述 3. 场景介绍 4. 创建集群 操作场景 前提条件 操作步骤 5. 创建连接 连接说明 前提条件 创建MySQL连接 创建DWS连接 6. 创建并执行作业 操作场景 操作步骤 7. 查看作业运行结果 操作场景 操作步骤 8. 总结 9. 参考文档 1. 前言适用版本：【Gauss 200以上... GaussDB(DWS)云端数据接入 GaussDB(DWS)云端数据接入 1. 前言 2. 概述 3. 场景介绍 4. 创建集群 操作场景 前提条件 操作步骤 5. 创建连接 连接说明 前提条件 创建MySQL连接 创建DWS连接 6. 创建并执行作业 操作场景 操作步骤 7. 查看作业运行结果 操作场景 操作步骤 8. 总结 9. 参考文档 1. 前言适用版本：【Gauss 200以上...
- 要接入华为云数据接入服务（DIS），可以使用Java SDK来完成操作。下面是一个简单的Java代码示例，用于连接到DIS服务并读取一个数据流：import com.huawei.dis.DIS;import com.huawei.dis.DISClientBuilder;import com.huawei.dis.iface.data.response.Record;public clas... 要接入华为云数据接入服务（DIS），可以使用Java SDK来完成操作。下面是一个简单的Java代码示例，用于连接到DIS服务并读取一个数据流：import com.huawei.dis.DIS;import com.huawei.dis.DISClientBuilder;import com.huawei.dis.iface.data.response.Record;public clas...
- @toc 1、算法概述Dijkstra算法用来计算一个点到其他所有点的最短路径的算法，是一种单源最短路径算法。也就是说，只能计算起点只有一个的情况。Dijkstra算法的时间复杂度是O(n3)O(n^3)O(n3)，它不能处理存在负边权的情况。算法描述：设起点为s,dis[v]表示从s到v的最短路径长度初始化：dis[v]=∞(v≠s);dis[s]=0dis[v]=\infty (v \n... @toc 1、算法概述Dijkstra算法用来计算一个点到其他所有点的最短路径的算法，是一种单源最短路径算法。也就是说，只能计算起点只有一个的情况。Dijkstra算法的时间复杂度是O(n3)O(n^3)O(n3)，它不能处理存在负边权的情况。算法描述：设起点为s,dis[v]表示从s到v的最短路径长度初始化：dis[v]=∞(v≠s);dis[s]=0dis[v]=\infty (v \n...
- 图终于树结束了，累坏我了，开始图如果说树是一对多的话，那么图就是多对多。都见过地图吧，像陕西就和山西连在了一起，还和内蒙古等等连，典型的多对多如果说线性表和树的专业术语比较繁琐的话，那么图可能颠覆你的三观，——还有这么多的概念？介于图的概念比较多，我们先来放概念，再讲解图按照有无方向分为有向图和无向图。有向图由顶点和弧构成，无向图由顶点和边检成。弧有弧尾和弧头之分。图按照边或须的多少分为稀... 图终于树结束了，累坏我了，开始图如果说树是一对多的话，那么图就是多对多。都见过地图吧，像陕西就和山西连在了一起，还和内蒙古等等连，典型的多对多如果说线性表和树的专业术语比较繁琐的话，那么图可能颠覆你的三观，——还有这么多的概念？介于图的概念比较多，我们先来放概念，再讲解图按照有无方向分为有向图和无向图。有向图由顶点和弧构成，无向图由顶点和边检成。弧有弧尾和弧头之分。图按照边或须的多少分为稀...
- （1）授权指南:通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限：（2）调用API： 上传数据：POST https://{endpoint}/v2/{project_id}/records{ "stream_name": "stream_test", "stream_id": "XXXXXXXXXXXXXXXX", //上传数据到被授权的通道时，必须配置... （1）授权指南:通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限：（2）调用API： 上传数据：POST https://{endpoint}/v2/{project_id}/records{ "stream_name": "stream_test", "stream_id": "XXXXXXXXXXXXXXXX", //上传数据到被授权的通道时，必须配置...
- 初始化客户端：disConf := models.DefaultDISClientConf() // 必选配置 disConf.AK = "YOUR_AK" // 用户Access Key ID，可在公有云“我的凭证”页面下载生成 disConf.SK = "YOUR_SK" ... 初始化客户端：disConf := models.DefaultDISClientConf() // 必选配置 disConf.AK = "YOUR_AK" // 用户Access Key ID，可在公有云“我的凭证”页面下载生成 disConf.SK = "YOUR_SK" ...
- https://support.huaweicloud.com/usermanual-IoT/iot_01_0022.htmlIOT 创建转发DIS规则进入IOT物联网平台https://console.huaweicloud.com/iot/?region=cn-north-4#/iotdmp/spMenu/deviceAccess配置数据转发规则到DIS服务提示该区域未开通服务，当前已经... https://support.huaweicloud.com/usermanual-IoT/iot_01_0022.htmlIOT 创建转发DIS规则进入IOT物联网平台https://console.huaweicloud.com/iot/?region=cn-north-4#/iotdmp/spMenu/deviceAccess配置数据转发规则到DIS服务提示该区域未开通服务，当前已经...
- 您可使用 DIS Consumer 开发从 DIS 通道消费数据的应用程序。尽管您可使用 Java SDK 或者 API 从 DIS 通道中获取数据，但我们建议您使用 DIS Consumer 来开发消费者应用程序。主题使用 DIS Consumer 的优势安装DIS ConsumerDIS Consumer主要概念读取DIS通道数据配置DIS Consumer使用 DIS Consumer... 您可使用 DIS Consumer 开发从 DIS 通道消费数据的应用程序。尽管您可使用 Java SDK 或者 API 从 DIS 通道中获取数据，但我们建议您使用 DIS Consumer 来开发消费者应用程序。主题使用 DIS Consumer 的优势安装DIS ConsumerDIS Consumer主要概念读取DIS通道数据配置DIS Consumer使用 DIS Consumer...
- 一、DIS 鉴权方式DIS服务API基于IAM认证服务完成鉴权认证，主要使用IAM提供的以下两种认证方式：1. token认证当使用Token认证完成认证鉴权时，需要先从IAM服务获取Token，并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。2. AK/SK认证使用AK（Access Key ID）、SK（Secret Access Key）对请求进行签名。AK：访问... 一、DIS 鉴权方式DIS服务API基于IAM认证服务完成鉴权认证，主要使用IAM提供的以下两种认证方式：1. token认证当使用Token认证完成认证鉴权时，需要先从IAM服务获取Token，并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。2. AK/SK认证使用AK（Access Key ID）、SK（Secret Access Key）对请求进行签名。AK：访问...
- DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网... DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网...
- 一、原理当前 Spark Streaming 插件使用的是类似于直接读取 Kafka 的方式来集成 DIS：Driver 使用subscribe方式订阅通道，然后根据 Executor 数量将通道分区分配给 Executor；Executor 使用assign方式消费通道数据并提交 Checkpoint二、FAQ2.1 如何控制 Spark Streaming 从 DIS 的消费速度？有关消... 一、原理当前 Spark Streaming 插件使用的是类似于直接读取 Kafka 的方式来集成 DIS：Driver 使用subscribe方式订阅通道，然后根据 Executor 数量将通道分区分配给 Executor；Executor 使用assign方式消费通道数据并提交 Checkpoint二、FAQ2.1 如何控制 Spark Streaming 从 DIS 的消费速度？有关消...
- 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope... 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope...
- 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS：c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下： 只可能出现重传。数据发送了，但是CheckPoint写成功之前进程挂了或者写失败了（比如磁盘满等），就有可能导致重传。多线程的情况下： 可... 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS：c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下： 只可能出现重传。数据发送了，但是CheckPoint写成功之前进程挂了或者写失败了（比如磁盘满等），就有可能导致重传。多线程的情况下： 可...
- 在华为云的DLF服务（现在叫DAYU数据开发）中，有三种pipeline的调度类型：单次调度、周期调度、事件驱动调度。其中单次调度就是直接运行pipeline，周期调度也比较简单，先定义一个运行时间，然后周期运行pipeline。今天主要介绍一下事件驱动调度。 在华为云的DLF服务（现在叫DAYU数据开发）中，有三种pipeline的调度类型：单次调度、周期调度、事件驱动调度。其中单次调度就是直接运行pipeline，周期调度也比较简单，先定义一个运行时间，然后周期运行pipeline。今天主要介绍一下事件驱动调度。
- 源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema，默认情况下不支持字段缺省或者为NULL，如图1。图1 不支持字段缺省样例"key1"字段对应的类型为"String"（Avro Schema中体现为："type": "string"），这时如果源数据中"key1"不传或者传的值为NULL，那么转储任务会报错。如... 源数据Schema，即用户的JSON数据样例，用于描述JSON数据格式。DIS可以根据此JSON数据样例生成Avro schema，默认情况下不支持字段缺省或者为NULL，如图1。图1 不支持字段缺省样例"key1"字段对应的类型为"String"（Avro Schema中体现为："type": "string"），这时如果源数据中"key1"不传或者传的值为NULL，那么转储任务会报错。如...
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签