- GaussDB(DWS)云端数据接入 GaussDB(DWS)云端数据接入 1. 前言 2. 概述 3. 场景介绍 4. 创建集群 操作场景 前提条件 操作步骤 5. 创建连接 连接说明 前提条件 创建MySQL连接 创建DWS连接 6. 创建并执行作业 操作场景 操作步骤 7. 查看作业运行结果 操作场景 操作步骤 8. 总结 9. 参考文档 1. 前言适用版本:【Gauss 200以上... GaussDB(DWS)云端数据接入 GaussDB(DWS)云端数据接入 1. 前言 2. 概述 3. 场景介绍 4. 创建集群 操作场景 前提条件 操作步骤 5. 创建连接 连接说明 前提条件 创建MySQL连接 创建DWS连接 6. 创建并执行作业 操作场景 操作步骤 7. 查看作业运行结果 操作场景 操作步骤 8. 总结 9. 参考文档 1. 前言适用版本:【Gauss 200以上...
- 要接入华为云数据接入服务(DIS),可以使用Java SDK来完成操作。下面是一个简单的Java代码示例,用于连接到DIS服务并读取一个数据流:import com.huawei.dis.DIS;import com.huawei.dis.DISClientBuilder;import com.huawei.dis.iface.data.response.Record;public clas... 要接入华为云数据接入服务(DIS),可以使用Java SDK来完成操作。下面是一个简单的Java代码示例,用于连接到DIS服务并读取一个数据流:import com.huawei.dis.DIS;import com.huawei.dis.DISClientBuilder;import com.huawei.dis.iface.data.response.Record;public clas...
- @toc 1、算法概述Dijkstra算法用来计算一个点到其他所有点的最短路径的算法,是一种单源最短路径算法。也就是说,只能计算起点只有一个的情况。Dijkstra算法的时间复杂度是O(n3)O(n^3)O(n3),它不能处理存在负边权的情况。算法描述:设起点为s,dis[v]表示从s到v的最短路径长度初始化:dis[v]=∞(v≠s);dis[s]=0dis[v]=\infty (v \n... @toc 1、算法概述Dijkstra算法用来计算一个点到其他所有点的最短路径的算法,是一种单源最短路径算法。也就是说,只能计算起点只有一个的情况。Dijkstra算法的时间复杂度是O(n3)O(n^3)O(n3),它不能处理存在负边权的情况。算法描述:设起点为s,dis[v]表示从s到v的最短路径长度初始化:dis[v]=∞(v≠s);dis[s]=0dis[v]=\infty (v \n...
- 图终于树结束了,累坏我了,开始图如果说树是一对多的话,那么图就是多对多。都见过地图吧,像陕西就和山西连在了一起,还和内蒙古等等连,典型的多对多如果说线性表和树的专业术语比较繁琐的话,那么图可能颠覆你的三观,——还有这么多的概念?介于图的概念比较多,我们先来放概念,再讲解图按照有无方向分为有向图和无向图。有向图由顶点和弧构成,无向图由顶点和边检成。弧有弧尾和弧头之分。图按照边或须的多少分为稀... 图终于树结束了,累坏我了,开始图如果说树是一对多的话,那么图就是多对多。都见过地图吧,像陕西就和山西连在了一起,还和内蒙古等等连,典型的多对多如果说线性表和树的专业术语比较繁琐的话,那么图可能颠覆你的三观,——还有这么多的概念?介于图的概念比较多,我们先来放概念,再讲解图按照有无方向分为有向图和无向图。有向图由顶点和弧构成,无向图由顶点和边检成。弧有弧尾和弧头之分。图按照边或须的多少分为稀...
- (1)授权指南:通过添加授权策略,可实现被授权的其他用户拥有DIS通道的上传和下载权限:(2)调用API: 上传数据:POST https://{endpoint}/v2/{project_id}/records{ "stream_name": "stream_test", "stream_id": "XXXXXXXXXXXXXXXX", //上传数据到被授权的通道时,必须配置... (1)授权指南:通过添加授权策略,可实现被授权的其他用户拥有DIS通道的上传和下载权限:(2)调用API: 上传数据:POST https://{endpoint}/v2/{project_id}/records{ "stream_name": "stream_test", "stream_id": "XXXXXXXXXXXXXXXX", //上传数据到被授权的通道时,必须配置...
- 初始化客户端:disConf := models.DefaultDISClientConf() // 必选配置 disConf.AK = "YOUR_AK" // 用户Access Key ID,可在公有云“我的凭证”页面下载生成 disConf.SK = "YOUR_SK" ... 初始化客户端:disConf := models.DefaultDISClientConf() // 必选配置 disConf.AK = "YOUR_AK" // 用户Access Key ID,可在公有云“我的凭证”页面下载生成 disConf.SK = "YOUR_SK" ...
- https://support.huaweicloud.com/usermanual-IoT/iot_01_0022.htmlIOT 创建转发DIS规则进入IOT物联网平台https://console.huaweicloud.com/iot/?region=cn-north-4#/iotdmp/spMenu/deviceAccess配置数据转发规则到DIS服务提示该区域未开通服务,当前已经... https://support.huaweicloud.com/usermanual-IoT/iot_01_0022.htmlIOT 创建转发DIS规则进入IOT物联网平台https://console.huaweicloud.com/iot/?region=cn-north-4#/iotdmp/spMenu/deviceAccess配置数据转发规则到DIS服务提示该区域未开通服务,当前已经...
- 您可使用 DIS Consumer 开发从 DIS 通道消费数据的应用程序。尽管您可使用 Java SDK 或者 API 从 DIS 通道中获取数据,但我们建议您使用 DIS Consumer 来开发消费者应用程序。主题使用 DIS Consumer 的优势安装DIS ConsumerDIS Consumer主要概念读取DIS通道数据配置DIS Consumer使用 DIS Consumer... 您可使用 DIS Consumer 开发从 DIS 通道消费数据的应用程序。尽管您可使用 Java SDK 或者 API 从 DIS 通道中获取数据,但我们建议您使用 DIS Consumer 来开发消费者应用程序。主题使用 DIS Consumer 的优势安装DIS ConsumerDIS Consumer主要概念读取DIS通道数据配置DIS Consumer使用 DIS Consumer...
- 一、DIS 鉴权方式DIS服务API基于IAM认证服务完成鉴权认证,主要使用IAM提供的以下两种认证方式:1. token认证当使用Token认证完成认证鉴权时,需要先从IAM服务获取Token,并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。2. AK/SK认证使用AK(Access Key ID)、SK(Secret Access Key)对请求进行签名。AK:访问... 一、DIS 鉴权方式DIS服务API基于IAM认证服务完成鉴权认证,主要使用IAM提供的以下两种认证方式:1. token认证当使用Token认证完成认证鉴权时,需要先从IAM服务获取Token,并在调用接口时增加“X-Auth-Token”到业务接口请求消息头中。2. AK/SK认证使用AK(Access Key ID)、SK(Secret Access Key)对请求进行签名。AK:访问...
- DIS 在华为云场景下有如下优势:支持全局接入:解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless:ØTopic as a Service,只需要关注业务带宽按需使用,自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA :多az,跨集群级别的高可用接口rest协议 :跨平台能力更强,但时延更高 通过压缩等优化,实现公网... DIS 在华为云场景下有如下优势:支持全局接入:解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless:ØTopic as a Service,只需要关注业务带宽按需使用,自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA :多az,跨集群级别的高可用接口rest协议 :跨平台能力更强,但时延更高 通过压缩等优化,实现公网...
- 一、原理当前 Spark Streaming 插件使用的是类似于直接读取 Kafka 的方式来集成 DIS:Driver 使用subscribe方式订阅通道,然后根据 Executor 数量将通道分区分配给 Executor;Executor 使用assign方式消费通道数据并提交 Checkpoint二、FAQ2.1 如何控制 Spark Streaming 从 DIS 的消费速度?有关消... 一、原理当前 Spark Streaming 插件使用的是类似于直接读取 Kafka 的方式来集成 DIS:Driver 使用subscribe方式订阅通道,然后根据 Executor 数量将通道分区分配给 Executor;Executor 使用assign方式消费通道数据并提交 Checkpoint二、FAQ2.1 如何控制 Spark Streaming 从 DIS 的消费速度?有关消...
- 1. Assign、Subscribe、Pattern 三种模式有什么区别?Assign模式 给Consumer手动分配分区,需要显式指定需要消费的分区。Subscribe模式 直接订阅通道,服务端直接完成分区分配。Pattern模式 也属于Subscribe模式,只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数?props.setPrope... 1. Assign、Subscribe、Pattern 三种模式有什么区别?Assign模式 给Consumer手动分配分区,需要显式指定需要消费的分区。Subscribe模式 直接订阅通道,服务端直接完成分区分配。Pattern模式 也属于Subscribe模式,只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数?props.setPrope...
- 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS:c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下: 只可能出现重传。数据发送了,但是CheckPoint写成功之前进程挂了或者写失败了(比如磁盘满等),就有可能导致重传。多线程的情况下: 可... 1. 如何判断是否有数据发送以下日志表示正在有数据发送到DIS:c.h.d.a.t.DISSender Put 1 records to [stz_test_agent] spend 1454ms 2. 数据是否可能出现重传和漏传单线程的情况下: 只可能出现重传。数据发送了,但是CheckPoint写成功之前进程挂了或者写失败了(比如磁盘满等),就有可能导致重传。多线程的情况下: 可...
- 适用场景:当客户需要按照空间划分权限,不同空间用户只能操作开发本空间的作业,但是空间之间的作业需要存在依赖关系。方案说明:DAYU数据开发可以支持事件触发的方式运行,因此通过DIS或者MRS KAFKA作为作业依赖纽带,可以跨空间做作业依赖。如下图,工作空间1中的JOB-1运行完成后,可以使用DIS Client或Kafka Client发送一条消息触发JOB-2。JOB-2配置事件触发调度... 适用场景:当客户需要按照空间划分权限,不同空间用户只能操作开发本空间的作业,但是空间之间的作业需要存在依赖关系。方案说明:DAYU数据开发可以支持事件触发的方式运行,因此通过DIS或者MRS KAFKA作为作业依赖纽带,可以跨空间做作业依赖。如下图,工作空间1中的JOB-1运行完成后,可以使用DIS Client或Kafka Client发送一条消息触发JOB-2。JOB-2配置事件触发调度...
- 在华为云的DLF服务(现在叫DAYU数据开发)中,有三种pipeline的调度类型:单次调度、周期调度、事件驱动调度。其中单次调度就是直接运行pipeline,周期调度也比较简单,先定义一个运行时间,然后周期运行pipeline。今天主要介绍一下事件驱动调度。 在华为云的DLF服务(现在叫DAYU数据开发)中,有三种pipeline的调度类型:单次调度、周期调度、事件驱动调度。其中单次调度就是直接运行pipeline,周期调度也比较简单,先定义一个运行时间,然后周期运行pipeline。今天主要介绍一下事件驱动调度。
上滑加载中
推荐直播
-
API全生命周期管理一站式体验
2024/05/10 周五 16:00-17:00
Allen 华为云高级产品经理
本期邀请专家连线,共同探讨开发者关心的问题: 1、什么是API First,API First的优势有哪些?2、API全生命周期有哪几个阶段,API全生命周期的痛点问题有哪些?3、华为云是如何保证API一致性的?4、企业数字化转型如何做好API全生命周期管理?
即将直播 -
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/14 周二 16:30-18:00
张俭 华为云IoT DTSE技术布道师
开源,意味着开放、共享、互助、共赢。作为万物上云及各行业数字化的物联网底座,华为云IoT积极拥抱开源,借助行业开源的最佳实践,构建可靠、易用的物联网平台,并通过开放南北向SDK,助力开发者快速构建物联网应用。本期直播,华为云IoT开源专家、物联网平台资深“程序猿”张俭,带你了解华为云IoT的开源生态,并手把手教你玩转开源社区!
去报名 -
华为云开发者日·广州站
2024/05/15 周三 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名
热门标签