- Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread.... Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread....
- 【Hadoop】【Yarn】NodeManager启动源码分析 【Hadoop】【Yarn】NodeManager启动源码分析
- ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。 ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。
- Hadoop开启Yarn的日志监控功能 Hadoop开启Yarn的日志监控功能
- 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains... 普通集群hive&yarn用户权限控制环境准备首先确保集群的obs委托以及用户同步已经完成：前往manager界面创建用户，如客户界面已经创建用户，则略过此步：此处之所以加入Manager_operator角色，是为了能够在后续DGC使用此用户能够创建用户成功。此处参考DGC 管理中心接口人提供的文档说明：Wiki：https://clouddevops.huawei.com/domains...
- 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。 本篇博客主要介绍hadoop中mapreduce类型的作业日志是如何生成的。主要介绍日志生成的几个关键过程，不涉及太过细节性的内容。 通过本篇博客你会了解到： 1-mapreduce模块代码的基本结构； 2-mapreduce模块的基本功能构成； 3-mapreduce作业日志的生成的几个关键阶段以及日志在多个存储路径之间是如何变化的。
- MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的... MRS 3.0安全集群Yarn HTTP接口需要经过kerberos认证，运行程序需要做以下准备：1. 创建MRS Manager人机账号，并在首次登陆后修改密码，也可以使用admin用户2. 准备Yarn Http地址，形如：https://xx.xx.xx.xx:8090/ws/v1/cluster/apps/，其中xx.xx.xx.xx为Yarn任一ResourceManager实例的...
- 【Hadoop】【Yarn】Yarn中的资源隔离（转载） 【Hadoop】【Yarn】Yarn中的资源隔离（转载）
- 本节书摘来自华章计算机《TypeScript实战指南》一书中的第1章，第1.2.2节，作者是胡桓铭。 本节书摘来自华章计算机《TypeScript实战指南》一书中的第1章，第1.2.2节，作者是胡桓铭。
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.6节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.4.6节，作者是朱凯。
- 分布式计算调度器浅谈：YARN、Kubernetes、Mesos 到底图啥？ 分布式计算调度器浅谈：YARN、Kubernetes、Mesos 到底图啥？
- 在深入解析 yarn install 命令行执行的背后过程之前，让我们先对 Yarn 有一个基本的认识。Yarn 是一个现代的包管理工具，它为 JavaScript 社区提供了一个快速、可靠、安全的方式来管理项目依赖。从 Yarn 的初衷来看，它旨在解决 npm（Node Package Manager）在处理大型项目、依赖管理以及安装速度方面的一些问题。当你在项目目录下执行 yarn in... 在深入解析 yarn install 命令行执行的背后过程之前，让我们先对 Yarn 有一个基本的认识。Yarn 是一个现代的包管理工具，它为 JavaScript 社区提供了一个快速、可靠、安全的方式来管理项目依赖。从 Yarn 的初衷来看，它旨在解决 npm（Node Package Manager）在处理大型项目、依赖管理以及安装速度方面的一些问题。当你在项目目录下执行 yarn in...
- 在大数据领域，Hadoop集群作为企业级数据处理的基石，早已从单一团队专用走向多租户共享模式。尤其在金融、电商等高并发场景中，多个业务线（如实时推荐、风控分析、日志处理）共用同一集群成为常态。但共享带来便利的同时，也埋下了隐患：去年我负责的某电商平台Hadoop集群，就因营销团队突发流量高峰，导致夜间ETL任务集体超时，直接影响次日经营报表输出。这让我深刻意识到，资源隔离不是技术选配，而是多... 在大数据领域，Hadoop集群作为企业级数据处理的基石，早已从单一团队专用走向多租户共享模式。尤其在金融、电商等高并发场景中，多个业务线（如实时推荐、风控分析、日志处理）共用同一集群成为常态。但共享带来便利的同时，也埋下了隐患：去年我负责的某电商平台Hadoop集群，就因营销团队突发流量高峰，导致夜间ETL任务集体超时，直接影响次日经营报表输出。这让我深刻意识到，资源隔离不是技术选配，而是多...
- 一、YARN资源调度的核心挑战在大数据生态系统中，YARN（Yet Another Resource Negotiator）作为Hadoop的核心组件，承担着集群资源分配与任务调度的重任。当集群规模达到数百节点时，资源利用率往往成为制约性能的关键瓶颈。 1.1 资源碎片化问题通过yarn node -list -showDetails命令可观察到，集群中常出现"已分配但未使用"的资源碎片。... 一、YARN资源调度的核心挑战在大数据生态系统中，YARN（Yet Another Resource Negotiator）作为Hadoop的核心组件，承担着集群资源分配与任务调度的重任。当集群规模达到数百节点时，资源利用率往往成为制约性能的关键瓶颈。 1.1 资源碎片化问题通过yarn node -list -showDetails命令可观察到，集群中常出现"已分配但未使用"的资源碎片。...
- Hadoop 3.x 运行自带的 WordCount 报错 Container exited with a non-zero exit code 1在使用 Hadoop 3.x 版本运行经典的 MapReduce 示例程序 WordCount 时，有时会遇到错误信息：“Container exited with a non-zero exit code 1”。本文将探讨该问题的原因及解决方法... Hadoop 3.x 运行自带的 WordCount 报错 Container exited with a non-zero exit code 1在使用 Hadoop 3.x 版本运行经典的 MapReduce 示例程序 WordCount 时，有时会遇到错误信息：“Container exited with a non-zero exit code 1”。本文将探讨该问题的原因及解决方法...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签