- MRS HBase全局二级索引原理与使用场景 MRS HBase全局二级索引原理与使用场景
- MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一... MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一...
- 注意：此文档只适用于MRS2.X版本，非MRS2.0.0版本文档中对应的路径需要以实际路径为准1 创建RDS实例 创建RDS实例时指定为Postgres数据库可以参考： https://static.huaweicloud.com/upload/files/pdf/20171208/20171208101321_89598.pdf 注意：1）RDS实例的V... 注意：此文档只适用于MRS2.X版本，非MRS2.0.0版本文档中对应的路径需要以实际路径为准1 创建RDS实例 创建RDS实例时指定为Postgres数据库可以参考： https://static.huaweicloud.com/upload/files/pdf/20171208/20171208101321_89598.pdf 注意：1）RDS实例的V...
- 什么是Hadoop？Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/va... 什么是Hadoop？Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/va...
- 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。
- 一个较大的文件经压缩后，产生了另一个较小容量的文件。而这个较小容量的文件，我们就叫它是这些较大容量的（可能一个或一个以上的文件）的压缩文件。而压缩此文件的过程称为文件压缩。 一个较大的文件经压缩后，产生了另一个较小容量的文件。而这个较小容量的文件，我们就叫它是这些较大容量的（可能一个或一个以上的文件）的压缩文件。而压缩此文件的过程称为文件压缩。
- 通过项目强化掌握 Combiner 和 Partitioner 优化 Hadoop 性能 通过项目强化掌握 Combiner 和 Partitioner 优化 Hadoop 性能
- Join操作概述在关系型数据库中 Join 是非常常见的操作，各种优化手段已经到了极致。在海量数据的环境下，不可避免的也会碰到这种类型的需求， 例如在数据分析时需要连接从不同的数据源中获取到数据。不同于传统的单机模式，在分布式存储下采用 MapReduce 编程模型，也有相应的处理措施和优化方法。我们先简要地描述待解决的问题。假设有两个数据集：气象站数据库和天气记录数据库，并考虑如何合二为一... Join操作概述在关系型数据库中 Join 是非常常见的操作，各种优化手段已经到了极致。在海量数据的环境下，不可避免的也会碰到这种类型的需求， 例如在数据分析时需要连接从不同的数据源中获取到数据。不同于传统的单机模式，在分布式存储下采用 MapReduce 编程模型，也有相应的处理措施和优化方法。我们先简要地描述待解决的问题。假设有两个数据集：气象站数据库和天气记录数据库，并考虑如何合二为一...
- 默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时候需要对 Key 排序的同时再对 Value 进行排序，这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。 默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时候需要对 Key 排序的同时再对 Value 进行排序，这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。
- MapReduce 优化 Combiner和Partitioner是用来优化MapReduce的，可以提高MapReduce的运行效率。下面我们来具体学习这两个组件。Combiner 我们以WordCount为例，首先通过下面的示意图直观的了解一下Combiner的位置和作用。 从上图可以看出，Combiner介于 Mapper和Reducer... MapReduce 优化 Combiner和Partitioner是用来优化MapReduce的，可以提高MapReduce的运行效率。下面我们来具体学习这两个组件。Combiner 我们以WordCount为例，首先通过下面的示意图直观的了解一下Combiner的位置和作用。 从上图可以看出，Combiner介于 Mapper和Reducer...
- 文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。 文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。
- MapReduce应用场景MapReduce 定义Hadoop 中的 MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。MapReduce 来源Hadoop MapReduce 源于 Google 在2004年12月份发表的 MapReduce 论文。 Hadoop MapReduce ... MapReduce应用场景MapReduce 定义Hadoop 中的 MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。MapReduce 来源Hadoop MapReduce 源于 Google 在2004年12月份发表的 MapReduce 论文。 Hadoop MapReduce ...
- Hadoop的MapReduce程序提交到集群环境中运行，出问题时定位非常麻烦，有时需要一遍遍修改代码和打印日志来排查问题，哪怕是比较小的问题。如果数据量很大的话调试起来就相当耗费时间。 Hadoop的MapReduce程序提交到集群环境中运行，出问题时定位非常麻烦，有时需要一遍遍修改代码和打印日志来排查问题，哪怕是比较小的问题。如果数据量很大的话调试起来就相当耗费时间。
- MapReduce 是一种可用于数据处理的编程模型。该模型比较简单，但要想写出有用的程序却不太容易。 MapReduce 是一种可用于数据处理的编程模型。该模型比较简单，但要想写出有用的程序却不太容易。
- 通过示例介绍Python中的lambda，map，filter 函数的使用方法。 通过示例介绍Python中的lambda，map，filter 函数的使用方法。
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签