- Hive是基于HDFS的数据仓库，适合存储结构化或半结构化数据。 Hive是基于HDFS的数据仓库，适合存储结构化或半结构化数据。
- MapReduce是大规模并行批处理计算框架，用Map以及Reduce实现基本并行计算任务。 MapReduce是大规模并行批处理计算框架，用Map以及Reduce实现基本并行计算任务。
- DataX和MongoDB之间的数据导入导出案例 DataX和MongoDB之间的数据导入导出案例
- 背景介绍CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版,常常是许多客户建设IDC大数据平台中的首选。早期CDH版本只提供sentry的权限管理方案，后期新版本提供ranger作为替换方案，而CDH只有商业版本提供sentry升级ranger的服务，开源社区版并未提供这样的能力。本文主要探讨如何平滑解决sentry到ranger升级过程中的权限迁移问题。 Se... 背景介绍CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版,常常是许多客户建设IDC大数据平台中的首选。早期CDH版本只提供sentry的权限管理方案，后期新版本提供ranger作为替换方案，而CDH只有商业版本提供sentry升级ranger的服务，开源社区版并未提供这样的能力。本文主要探讨如何平滑解决sentry到ranger升级过程中的权限迁移问题。 Se...
- DataX和Oracle使用案例 DataX和Oracle使用案例
- DataX使用之基础案例 DataX使用之基础案例 0. 写在前面 1. 从stream 流读取数据并打印到控制台 2. 读取 MySQL 中的数据存放到 HDFS 2.1 查看官方模板 2.1.1 mysqlreader 参数解析： 2.1.2 hdfswriter 参数解析： 2.2 准备数据 2.3 编写配置文件 2.4 执行任务 2.5 查看 HDFS 2.6 关于 HA 的支持... DataX使用之基础案例 DataX使用之基础案例 0. 写在前面 1. 从stream 流读取数据并打印到控制台 2. 读取 MySQL 中的数据存放到 HDFS 2.1 查看官方模板 2.1.1 mysqlreader 参数解析： 2.1.2 hdfswriter 参数解析： 2.2 准备数据 2.3 编写配置文件 2.4 执行任务 2.5 查看 HDFS 2.6 关于 HA 的支持...
- 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr... 离线同步MySQL数据到HDFS案例：使用NiFi将MySQL中数据导入到HDFS中。以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。一、配置“QueryDatabaseTable”处理器该处理器主要使用提供的SQL语句或者生成SQL语句来查询MySQL中的数据，查询结果转换成Avr...
- Spark是基于内存的分布式计算框架。 Spark是基于内存的分布式计算框架。
- 海洋总测深图数据集（GEBCO）GEBCO_2021 Grid 是 General Bathymetric Chart of the Oceans (GEBCO) 发布的最新全球测深产品，由日本财团-GEBCO Seabed 2030 项目开发。GEBCO_2021 网格在 43200 行 x 86400 列的 15 弧秒网格上提供以米为单位的全球高程数据覆盖，提供 3,732,480,0... 海洋总测深图数据集（GEBCO）GEBCO_2021 Grid 是 General Bathymetric Chart of the Oceans (GEBCO) 发布的最新全球测深产品，由日本财团-GEBCO Seabed 2030 项目开发。GEBCO_2021 网格在 43200 行 x 86400 列的 15 弧秒网格上提供以米为单位的全球高程数据覆盖，提供 3,732,480,0...
- ASTER全球水体数据库(ASTWBD)第1版Terra高级星载热发射和反射辐射计（ASTER）全球水体数据库（ASTWBD）第1版数据产品以赤道1角秒（约30米）的空间分辨率提供了大于0.2平方公里的水体的全球覆盖，以及相关的海拔信息。ASTWBD数据产品是由东京的传感器信息实验室公司（SILC）与ASTER全球数字高程模型（ASTER GDEM）第三版数据产品共同创建的。ASTER ... ASTER全球水体数据库(ASTWBD)第1版Terra高级星载热发射和反射辐射计（ASTER）全球水体数据库（ASTWBD）第1版数据产品以赤道1角秒（约30米）的空间分辨率提供了大于0.2平方公里的水体的全球覆盖，以及相关的海拔信息。ASTWBD数据产品是由东京的传感器信息实验室公司（SILC）与ASTER全球数字高程模型（ASTER GDEM）第三版数据产品共同创建的。ASTER ...
- Hudi（Hadoop Upserts Deletes and Incrementals）是数据湖的数据组织中间层，可以简单理解为基于Parquet进一步封装的数据格式，能提供表格式、事务能力（插入更新）、增量拉取能力。 Hudi（Hadoop Upserts Deletes and Incrementals）是数据湖的数据组织中间层，可以简单理解为基于Parquet进一步封装的数据格式，能提供表格式、事务能力（插入更新）、增量拉取能力。
- ASTER全球数字高程模型（GDEM）v3ASTER GDEM的第一个版本于2009年6月发布，是利用Terra上的ASTER仪器收集的立体对射图像生成的。ASTER GDEM的覆盖范围从北纬83度到南纬83度，包括了地球上99%的陆地。改进后的GDEM V3增加了更多的立体对，提高了覆盖率，减少了伪影的出现。完善的生产算法提供了更好的空间分辨率，提高了水平和垂直精度。ASTER GDEM... ASTER全球数字高程模型（GDEM）v3ASTER GDEM的第一个版本于2009年6月发布，是利用Terra上的ASTER仪器收集的立体对射图像生成的。ASTER GDEM的覆盖范围从北纬83度到南纬83度，包括了地球上99%的陆地。改进后的GDEM V3增加了更多的立体对，提高了覆盖率，减少了伪影的出现。完善的生产算法提供了更好的空间分辨率，提高了水平和垂直精度。ASTER GDEM...
- FABDEM去除森林和建筑物的哥白尼30米DEMFABDEM（去除森林和建筑物的哥白尼DEM）从哥白尼GLO 30数字高程模型（DEM）中去除建筑物和树木高度的偏差（空中客车，2020年）。该数据以1角秒的网格间距（赤道上约30米）提供给全球。作者使用机器学习从哥白尼数字高程模型中去除建筑物和森林，首次产生了一个以1角秒（∼30米）网格间距去除建筑物和森林的全球高程地图。你可以在这里阅读该... FABDEM去除森林和建筑物的哥白尼30米DEMFABDEM（去除森林和建筑物的哥白尼DEM）从哥白尼GLO 30数字高程模型（DEM）中去除建筑物和树木高度的偏差（空中客车，2020年）。该数据以1角秒的网格间距（赤道上约30米）提供给全球。作者使用机器学习从哥白尼数字高程模型中去除建筑物和森林，首次产生了一个以1角秒（∼30米）网格间距去除建筑物和森林的全球高程地图。你可以在这里阅读该...
- 哥白尼数字高程模型（GLO-30 DEM）哥白尼DEM是一个数字表面模型（DSM），代表了地球的表面，包括建筑物、基础设施和植被。我们提供两种哥白尼DEM的实例，分别是GLO-30 Public和GLO-90。GLO-90提供90米的全球覆盖。GLO-30公共版提供有限的30米的全球覆盖，因为哥白尼计划还没有向公众发布覆盖特定国家的一小部分瓦片。请注意，在这两种情况下，海洋地区都没有瓦片，... 哥白尼数字高程模型（GLO-30 DEM）哥白尼DEM是一个数字表面模型（DSM），代表了地球的表面，包括建筑物、基础设施和植被。我们提供两种哥白尼DEM的实例，分别是GLO-30 Public和GLO-90。GLO-90提供90米的全球覆盖。GLO-30公共版提供有限的30米的全球覆盖，因为哥白尼计划还没有向公众发布覆盖特定国家的一小部分瓦片。请注意，在这两种情况下，海洋地区都没有瓦片，...
- Yarn是主从结构的资源管理调度框架。 Yarn是主从结构的资源管理调度框架。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签