- Prefect 是一款开源的工作流编排和任务调度工具,主要用 Python 开发,能帮助用户构建、运行和监控工作流,在数据工程和数据科学等领域应用广泛,可有效提高工作效率。 Prefect 是一款开源的工作流编排和任务调度工具,主要用 Python 开发,能帮助用户构建、运行和监控工作流,在数据工程和数据科学等领域应用广泛,可有效提高工作效率。
- Consul适配GaussDB开源开发任务心得 Consul适配GaussDB开源开发任务心得
- Apache Drill是一个开源的分布式SQL查询引擎,专为大数据环境设计,支持对多种数据源进行高速、实时的查询。它旨在简化大数据的复杂性,让用户能够像查询传统关系型数据库一样,轻松查询Hadoop、NoSQL数据库以及云存储中的大规模数据集。 Apache Drill是一个开源的分布式SQL查询引擎,专为大数据环境设计,支持对多种数据源进行高速、实时的查询。它旨在简化大数据的复杂性,让用户能够像查询传统关系型数据库一样,轻松查询Hadoop、NoSQL数据库以及云存储中的大规模数据集。
- 首先先看下任务计划书 ,大概了解了下这个任务的主要工作是通过flink读取Kafka写入GaussDB并且可以写入数据的验证工作。主要是需要花时间熟悉kafka和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料: https://kafka.apache.org/和 https://flink.apac... 首先先看下任务计划书 ,大概了解了下这个任务的主要工作是通过flink读取Kafka写入GaussDB并且可以写入数据的验证工作。主要是需要花时间熟悉kafka和flink的架构、环境搭建、扩展新功能和开发简单的界面展示效果。下面介绍下适配过程中的一些关键步骤。开发过程首先参考任务计划书给的参考资料: https://kafka.apache.org/和 https://flink.apac...
- zipkin是知名的分布式追踪系统,被广泛应用于各种规模的分布式系统中,尤其是在微服务架构下。本任务的主要目的是让Zipkin支持华为云,包括ECS、CCE、GaussDB,帮助拓展华为云的影响力,也方便Zipkin的用户能够轻松上云。 zipkin是知名的分布式追踪系统,被广泛应用于各种规模的分布式系统中,尤其是在微服务架构下。本任务的主要目的是让Zipkin支持华为云,包括ECS、CCE、GaussDB,帮助拓展华为云的影响力,也方便Zipkin的用户能够轻松上云。
- ClickHouse 是一个开源的、用于联机分析处理(OLAP)的列式数据库管理系统(DBMS)。本文主要是使用Flink实现Clickhouse与GaussDB之间数据的互传。 ClickHouse 是一个开源的、用于联机分析处理(OLAP)的列式数据库管理系统(DBMS)。本文主要是使用Flink实现Clickhouse与GaussDB之间数据的互传。
- Gogs是一款轻量级、跨平台、极易搭建的自助 Git 服务。旨在打造一个以最简便的方式搭建简单、稳定和可扩展的自助 Git 服务。使用 Go 语言开发使得 Gogs 能够通过独立的二进制分发,并且支持 Go 语言支持的所有平台,包括 Linux、macOS、Windows 和基于 ARM 的操作系统。 Gogs是一款轻量级、跨平台、极易搭建的自助 Git 服务。旨在打造一个以最简便的方式搭建简单、稳定和可扩展的自助 Git 服务。使用 Go 语言开发使得 Gogs 能够通过独立的二进制分发,并且支持 Go 语言支持的所有平台,包括 Linux、macOS、Windows 和基于 ARM 的操作系统。
- 本任务的主要目的是让ClickHouse支持华为云GaussDB服务,拓展GaussDB影响力,方便ClickHouse的用户使用华为云服务时能够顺利对接ClickHouse服务。同时,该任务也可以为一些项目迁移时候的改造适配打下基础,方便用户在云上做方案选型的时候,可以选择GaussDB服务,缩短开发周期,保证项目迁移进度,降低开发上云成本 。 本任务的主要目的是让ClickHouse支持华为云GaussDB服务,拓展GaussDB影响力,方便ClickHouse的用户使用华为云服务时能够顺利对接ClickHouse服务。同时,该任务也可以为一些项目迁移时候的改造适配打下基础,方便用户在云上做方案选型的时候,可以选择GaussDB服务,缩短开发周期,保证项目迁移进度,降低开发上云成本 。
- 1 背景介绍开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。开始之前,开发者可以下载 开... 1 背景介绍开源for Huawei(参考:https://developer.huaweicloud.com/programs/opensource/contributing/) 通过和公司、高校、社区的开发者合作,完成鲲鹏、昇腾、欧拉、鸿蒙、高斯、云服务等与开源软件的适配开发,帮助繁荣Huawei的基础生态,同时让开源软件能够更加简单、高效的运行于华为云上。开始之前,开发者可以下载 开...
- Doris 是一个现代化的MPP(Massively Parallel Processing)大规模并行处理的分析型数据库产品。本文使用Flink实现Doris与GaussDB数据之间的互通。 Doris 是一个现代化的MPP(Massively Parallel Processing)大规模并行处理的分析型数据库产品。本文使用Flink实现Doris与GaussDB数据之间的互通。
- Azkaban 是一个开源的基于 Web 的工作流调度系统,由 LinkedIn 公司开发并维护。它可以帮助用户在大规模数据处理中来管理和调度作业,提供了简单易用、高效可靠的工作流设计和调度功能。 Azkaban 是一个开源的基于 Web 的工作流调度系统,由 LinkedIn 公司开发并维护。它可以帮助用户在大规模数据处理中来管理和调度作业,提供了简单易用、高效可靠的工作流设计和调度功能。
- Flyte 是一个开源数据编排器,有助于构建生产级数据和ML管道。它是为可扩展性和可重复性而构建的,利用Kubernetes作为其底层平台。通过Flyte,用户团队可以使用Python SDK构建管道,并将其无缝部署在云和本地环境中,从而实现分布式处理和高效的资源利用。 Flyte 是一个开源数据编排器,有助于构建生产级数据和ML管道。它是为可扩展性和可重复性而构建的,利用Kubernetes作为其底层平台。通过Flyte,用户团队可以使用Python SDK构建管道,并将其无缝部署在云和本地环境中,从而实现分布式处理和高效的资源利用。
- Querybook的设计巧妙地融合了现代技术和用户友好的界面。它提供自动补全功能以提升SQL编写的效率,并且拥有一个智能提示系统,帮助用户快速找到所需的表和字段。此外,通过支持多种查询引擎如Presto、Hive、Snowflake等,以及广泛的认证机制,包括OAuth与LDAP,Querybook确保了高兼容性和安全性。 Querybook的设计巧妙地融合了现代技术和用户友好的界面。它提供自动补全功能以提升SQL编写的效率,并且拥有一个智能提示系统,帮助用户快速找到所需的表和字段。此外,通过支持多种查询引擎如Presto、Hive、Snowflake等,以及广泛的认证机制,包括OAuth与LDAP,Querybook确保了高兼容性和安全性。
- Telegraf适配GaussDB开源开发任务心得 Telegraf适配GaussDB开源开发任务心得
- GaussDB分区表按照业务场景合理的使用分区策略,可以改善查询性能、增强可用性、方便维护等特性,同时按照分区表索引机制合理创建local与global索引来提高查询性能。 GaussDB分区表按照业务场景合理的使用分区策略,可以改善查询性能、增强可用性、方便维护等特性,同时按照分区表索引机制合理创建local与global索引来提高查询性能。
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签