- 此篇博文讲的是Flume的聚合。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume1-logger-flume.conf3. 创建flume2-netcat-flume.conf4. 创建flume3-flume-logger.conf5. 执行配置文件6. 在hadoop003上向/opt/module目录下的group.l... 此篇博文讲的是Flume的聚合。 目录 1. 需求2. 需求分析3. 实现步骤1. 准备工作2. 创建flume1-logger-flume.conf3. 创建flume2-netcat-flume.conf4. 创建flume3-flume-logger.conf5. 执行配置文件6. 在hadoop003上向/opt/module目录下的group.l...
- 当数据科学家需要使用某些软件时，其中一部分我们已经在之前的章节中做过介绍，这些软件涵盖了数据科学家所需要的基础专业内容。实际的工作范畴可能会超越求职时候的工作描述，这也是IT工作的常态之一。这在某种程度上是好的，因为它提供了学习新技能的机会，而这也是数据科学领域最引人入胜的方面之一。 在这一章中，我们会探索数据科学环境中常用的软件。不是所有在这里提到的软件都会在你的工作中用到，但了解... 当数据科学家需要使用某些软件时，其中一部分我们已经在之前的章节中做过介绍，这些软件涵盖了数据科学家所需要的基础专业内容。实际的工作范畴可能会超越求职时候的工作描述，这也是IT工作的常态之一。这在某种程度上是好的，因为它提供了学习新技能的机会，而这也是数据科学领域最引人入胜的方面之一。 在这一章中，我们会探索数据科学环境中常用的软件。不是所有在这里提到的软件都会在你的工作中用到，但了解...
- 1. 概述Hadoop不会去诊断或修复执行慢的任务，相反，它试图检测任务的运行速度是否比预期慢，并启动另一个等效任务作为备份(备份任务称为推测任务)。这个过程在Hadoop中被称为推测执行。在这篇文章中，我们将讨论推测执行 - Hadoop中提高效率的一个重要功能，我们有必要去了解Hadoop中的推测执行是否总是有帮助的，或者我们需要关闭它时如何禁用。2. 什么是推测执行在Hadoop中，M... 1. 概述Hadoop不会去诊断或修复执行慢的任务，相反，它试图检测任务的运行速度是否比预期慢，并启动另一个等效任务作为备份(备份任务称为推测任务)。这个过程在Hadoop中被称为推测执行。在这篇文章中，我们将讨论推测执行 - Hadoop中提高效率的一个重要功能，我们有必要去了解Hadoop中的推测执行是否总是有帮助的，或者我们需要关闭它时如何禁用。2. 什么是推测执行在Hadoop中，M...
- 1. 引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。上图是Yarn的基本架构，其中 ResourceManager 是整个架构的核心组件，负责集群上的资源管理，包括内存、CPU以及集群上的其他资； ApplicationMaster 负责在生命周期内的应用程序调度； NodeManager 负责本节点上资源的供给和隔离；... 1. 引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。上图是Yarn的基本架构，其中 ResourceManager 是整个架构的核心组件，负责集群上的资源管理，包括内存、CPU以及集群上的其他资； ApplicationMaster 负责在生命周期内的应用程序调度； NodeManager 负责本节点上资源的供给和隔离；...
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.4.5节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.4.5节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.1.1节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.1.1节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.8.2节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.8.2节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.2节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.2节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.1节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第2章，第2.6.1节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第1章，第1.2.2节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第1章，第1.2.2节，作者是温春水 毕洁馨 。
- 本节书摘来自华章计算机《Spark数据分析：基于Python语言（英文版）》一作者是[澳]杰夫瑞·艾文（Jeffrey Aven）。 本节书摘来自华章计算机《Spark数据分析：基于Python语言（英文版）》一作者是[澳]杰夫瑞·艾文（Jeffrey Aven）。
- 我相信每一个集群管理员，在长期管理多个不同体量及应用场景的集群后，都会多少产生情绪。其实这在我看来，是一个很微妙的事，即大家也已经开始人性化的看待每一个集群了。 我相信每一个集群管理员，在长期管理多个不同体量及应用场景的集群后，都会多少产生情绪。其实这在我看来，是一个很微妙的事，即大家也已经开始人性化的看待每一个集群了。
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.3节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.3节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.2节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.2节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
- 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.1节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。 本节书摘来自清华大学出版社《Hadoop权威指南：大数据的存储与分析》一书中第五章，第5.4.1节，作者是Tom White ， 王 海 华 东 刘 喻 吕粤海 译。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签