- 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。
- 创建RDD 创建RDD
- Apache Spark™ is a fast and general engine for large-scale data processing. Apache Spark™ is a fast and general engine for large-scale data processing.
- Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
- Flume NG部署 Flume NG部署
- Sqoop Export 应用场景 Sqoop Export 应用场景
- Sqoop Import HDFS Sqoop Import HDFS
- 什么是Sqoop 什么是Sqoop
- Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对Hive的表操作进行深入讲解。 Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对Hive的表操作进行深入讲解。
- Hive在客户端上的安装部署 Hive在客户端上的安装部署
- 本次使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。 本次使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。
- ZooKeeper 提供了一系列 API编程接口，这些API接口非常简单，就像一个可提供强一致性保证的分布式小文件系统。 ZooKeeper 提供了一系列 API编程接口，这些API接口非常简单，就像一个可提供强一致性保证的分布式小文件系统。
- YARN 产生背景MapReduce存在的问题：1）JobTracker 单点故障。2）JobTracker 承受的访问压力大，影响系统的扩展性。3）不支持MapReduce之外的计算框架，比如Storm、Spark、Flink什么是YARNYARN 是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。 核心思想：将MR1中JobTracker的资源管理和作业调度两个功能分开... YARN 产生背景MapReduce存在的问题：1）JobTracker 单点故障。2）JobTracker 承受的访问压力大，影响系统的扩展性。3）不支持MapReduce之外的计算框架，比如Storm、Spark、Flink什么是YARNYARN 是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。 核心思想：将MR1中JobTracker的资源管理和作业调度两个功能分开...
- 一个较大的文件经压缩后，产生了另一个较小容量的文件。而这个较小容量的文件，我们就叫它是这些较大容量的（可能一个或一个以上的文件）的压缩文件。而压缩此文件的过程称为文件压缩。 一个较大的文件经压缩后，产生了另一个较小容量的文件。而这个较小容量的文件，我们就叫它是这些较大容量的（可能一个或一个以上的文件）的压缩文件。而压缩此文件的过程称为文件压缩。
- 通过项目强化掌握 Combiner 和 Partitioner 优化 Hadoop 性能 通过项目强化掌握 Combiner 和 Partitioner 优化 Hadoop 性能
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中 -
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中
热门标签