- Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread.... Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread....
- 【Hadoop】【Yarn】NodeManager启动源码分析 【Hadoop】【Yarn】NodeManager启动源码分析
- ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。 ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。
- Hadoop开启Yarn的日志监控功能 Hadoop开启Yarn的日志监控功能
- 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains... 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains...
- 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。
- MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的... MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的...
- 【Hadoop】【Yarn】Yarn中的资源隔离（转载） 【Hadoop】【Yarn】Yarn中的资源隔离（转载）
- 本节书摘来自华章计算机《TypeScript实战指南》一书中的第1章，第1.2.2节，作者是胡桓铭。 本节书摘来自华章计算机《TypeScript实战指南》一书中的第1章，第1.2.2节，作者是胡桓铭。
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.6节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.6节，作者是朱凯。
- 在现代前端和 Node.js 项目开发中，依赖管理是一个复杂而关键的任务。随着项目规模的增长和依赖库的深度嵌套，保持所有依赖的健康和安全变得极其重要。在这个背景下，yarn 提供了一个名为 Selective dependency resolutions 的特性。 Selective dependency resolutions 的基本概念Selective dependency resol... 在现代前端和 Node.js 项目开发中，依赖管理是一个复杂而关键的任务。随着项目规模的增长和依赖库的深度嵌套，保持所有依赖的健康和安全变得极其重要。在这个背景下，yarn 提供了一个名为 Selective dependency resolutions 的特性。 Selective dependency resolutions 的基本概念Selective dependency resol...
- 分布式计算调度器浅谈：YARN、Kubernetes、Mesos 到底图啥？ 分布式计算调度器浅谈：YARN、Kubernetes、Mesos 到底图啥？
- 在深入解析 yarn install 命令行执行的背后过程之前，让我们先对 Yarn 有一个基本的认识。Yarn 是一个现代的包管理工具，它为 JavaScript 社区提供了一个快速、可靠、安全的方式来管理项目依赖。从 Yarn 的初衷来看，它旨在解决 npm（Node Package Manager）在处理大型项目、依赖管理以及安装速度方面的一些问题。当你在项目目录下执行 yarn in... 在深入解析 yarn install 命令行执行的背后过程之前，让我们先对 Yarn 有一个基本的认识。Yarn 是一个现代的包管理工具，它为 JavaScript 社区提供了一个快速、可靠、安全的方式来管理项目依赖。从 Yarn 的初衷来看，它旨在解决 npm（Node Package Manager）在处理大型项目、依赖管理以及安装速度方面的一些问题。当你在项目目录下执行 yarn in...
- 在大数据领域，Hadoop集群作为企业级数据处理的基石，早已从单一团队专用走向多租户共享模式。尤其在金融、电商等高并发场景中，多个业务线（如实时推荐、风控分析、日志处理）共用同一集群成为常态。但共享带来便利的同时，也埋下了隐患：去年我负责的某电商平台Hadoop集群，就因营销团队突发流量高峰，导致夜间ETL任务集体超时，直接影响次日经营报表输出。这让我深刻意识到，资源隔离不是技术选配，而是多... 在大数据领域，Hadoop集群作为企业级数据处理的基石，早已从单一团队专用走向多租户共享模式。尤其在金融、电商等高并发场景中，多个业务线（如实时推荐、风控分析、日志处理）共用同一集群成为常态。但共享带来便利的同时，也埋下了隐患：去年我负责的某电商平台Hadoop集群，就因营销团队突发流量高峰，导致夜间ETL任务集体超时，直接影响次日经营报表输出。这让我深刻意识到，资源隔离不是技术选配，而是多...
- 一、YARN资源调度的核心挑战在大数据生态系统中，YARN（Yet Another Resource Negotiator）作为Hadoop的核心组件，承担着集群资源分配与任务调度的重任。当集群规模达到数百节点时，资源利用率往往成为制约性能的关键瓶颈。 1.1 资源碎片化问题通过yarn node -list -showDetails命令可观察到，集群中常出现"已分配但未使用"的资源碎片。... 一、YARN资源调度的核心挑战在大数据生态系统中，YARN（Yet Another Resource Negotiator）作为Hadoop的核心组件，承担着集群资源分配与任务调度的重任。当集群规模达到数百节点时，资源利用率往往成为制约性能的关键瓶颈。 1.1 资源碎片化问题通过yarn node -list -showDetails命令可观察到，集群中常出现"已分配但未使用"的资源碎片。...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签