- Hadoop集群之模板虚拟机的安装 Hadoop集群之模板虚拟机的安装
- DataX的框架设计和插件体系一、DataX是什么DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。为了解决异构数据源同步问题，DataX将复杂的网状的... DataX的框架设计和插件体系一、DataX是什么DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。为了解决异构数据源同步问题，DataX将复杂的网状的...
- HBase是面向列的分布式实时数据库，适合存储非结构化以及半结构化数据。 HBase是面向列的分布式实时数据库，适合存储非结构化以及半结构化数据。
- Hive是基于HDFS的数据仓库，适合存储结构化或半结构化数据。 Hive是基于HDFS的数据仓库，适合存储结构化或半结构化数据。
- MapReduce是大规模并行批处理计算框架，用Map以及Reduce实现基本并行计算任务。 MapReduce是大规模并行批处理计算框架，用Map以及Reduce实现基本并行计算任务。
- DataX和MongoDB之间的数据导入导出案例 DataX和MongoDB之间的数据导入导出案例
- 背景介绍CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版,常常是许多客户建设IDC大数据平台中的首选。早期CDH版本只提供sentry的权限管理方案，后期新版本提供ranger作为替换方案，而CDH只有商业版本提供sentry升级ranger的服务，开源社区版并未提供这样的能力。本文主要探讨如何平滑解决sentry到ranger升级过程中的权限迁移问题。 Se... 背景介绍CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版,常常是许多客户建设IDC大数据平台中的首选。早期CDH版本只提供sentry的权限管理方案，后期新版本提供ranger作为替换方案，而CDH只有商业版本提供sentry升级ranger的服务，开源社区版并未提供这样的能力。本文主要探讨如何平滑解决sentry到ranger升级过程中的权限迁移问题。 Se...
- DataX和Oracle使用案例 DataX和Oracle使用案例
- DataX使用之基础案例 DataX使用之基础案例 0. 写在前面 1. 从stream 流读取数据并打印到控制台 2. 读取 MySQL 中的数据存放到 HDFS 2.1 查看官方模板 2.1.1 mysqlreader 参数解析： 2.1.2 hdfswriter 参数解析： 2.2 准备数据 2.3 编写配置文件 2.4 执行任务 2.5 查看 HDFS 2.6 关于 HA 的支持... DataX使用之基础案例 DataX使用之基础案例 0. 写在前面 1. 从stream 流读取数据并打印到控制台 2. 读取 MySQL 中的数据存放到 HDFS 2.1 查看官方模板 2.1.1 mysqlreader 参数解析： 2.1.2 hdfswriter 参数解析： 2.2 准备数据 2.3 编写配置文件 2.4 执行任务 2.5 查看 HDFS 2.6 关于 HA 的支持...
- 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr... 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr...
- Spark是基于内存的分布式计算框架。 Spark是基于内存的分布式计算框架。
- 海洋总测深图数据集（GEBCO）GEBCO_2021 Grid 是 General Bathymetric Chart of the Oceans (GEBCO) 发布的最新全球测深产品，由日本财团-GEBCO Seabed 2030 项目开发。GEBCO_2021 网格在 43200 行 x 86400 列的 15 弧秒网格上提供以米为单位的全球高程数据覆盖，提供 3,732,480,0... 海洋总测深图数据集（GEBCO）GEBCO_2021 Grid 是 General Bathymetric Chart of the Oceans (GEBCO) 发布的最新全球测深产品，由日本财团-GEBCO Seabed 2030 项目开发。GEBCO_2021 网格在 43200 行 x 86400 列的 15 弧秒网格上提供以米为单位的全球高程数据覆盖，提供 3,732,480,0...
- ASTER全球水体数据库(ASTWBD)第1版Terra高级星载热发射和反射辐射计（ASTER）全球水体数据库（ASTWBD）第1版数据产品以赤道1角秒（约30米）的空间分辨率提供了大于0.2平方公里的水体的全球覆盖，以及相关的海拔信息。ASTWBD数据产品是由东京的传感器信息实验室公司（SILC）与ASTER全球数字高程模型（ASTER GDEM）第三版数据产品共同创建的。ASTER ... ASTER全球水体数据库(ASTWBD)第1版Terra高级星载热发射和反射辐射计（ASTER）全球水体数据库（ASTWBD）第1版数据产品以赤道1角秒（约30米）的空间分辨率提供了大于0.2平方公里的水体的全球覆盖，以及相关的海拔信息。ASTWBD数据产品是由东京的传感器信息实验室公司（SILC）与ASTER全球数字高程模型（ASTER GDEM）第三版数据产品共同创建的。ASTER ...
- Hudi（Hadoop Upserts Deletes and Incrementals）是数据湖的数据组织中间层，可以简单理解为基于Parquet进一步封装的数据格式，能提供表格式、事务能力（插入更新）、增量拉取能力。 Hudi（Hadoop Upserts Deletes and Incrementals）是数据湖的数据组织中间层，可以简单理解为基于Parquet进一步封装的数据格式，能提供表格式、事务能力（插入更新）、增量拉取能力。
- ASTER全球数字高程模型（GDEM）v3ASTER GDEM的第一个版本于2009年6月发布，是利用Terra上的ASTER仪器收集的立体对射图像生成的。ASTER GDEM的覆盖范围从北纬83度到南纬83度，包括了地球上99%的陆地。改进后的GDEM V3增加了更多的立体对，提高了覆盖率，减少了伪影的出现。完善的生产算法提供了更好的空间分辨率，提高了水平和垂直精度。ASTER GDEM... ASTER全球数字高程模型（GDEM）v3ASTER GDEM的第一个版本于2009年6月发布，是利用Terra上的ASTER仪器收集的立体对射图像生成的。ASTER GDEM的覆盖范围从北纬83度到南纬83度，包括了地球上99%的陆地。改进后的GDEM V3增加了更多的立体对，提高了覆盖率，减少了伪影的出现。完善的生产算法提供了更好的空间分辨率，提高了水平和垂直精度。ASTER GDEM...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签