- 一、Hadoop常见的三种运行模式1、单机模式（独立模式）（Local或Standalone Mode） 默认情况下Hadoop就是处于该模式，用于开发和调式。不对配置文件进行修改。使用本地文件系统，而不是分布式文件系统。 Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同... 一、Hadoop常见的三种运行模式1、单机模式（独立模式）（Local或Standalone Mode） 默认情况下Hadoop就是处于该模式，用于开发和调式。不对配置文件进行修改。使用本地文件系统，而不是分布式文件系统。 Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同...
- 华为云 OBS 存储服务提供了 “对象存储服务” 和” 并行文件系统服务”。 华为云 OBS 存储服务提供了 “对象存储服务” 和” 并行文件系统服务”。
- Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。 Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。
- 在实时数据分析方面，Spark 是所有其他解决方案的首选工具。通过这篇博客，我将向您介绍 Apache Spark 这个令人兴奋的新领域，我们将通过一个完整的用例， 使用 Spark 进行地震检测。 在实时数据分析方面，Spark 是所有其他解决方案的首选工具。通过这篇博客，我将向您介绍 Apache Spark 这个令人兴奋的新领域，我们将通过一个完整的用例， 使用 Spark 进行地震检测。
- 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部
- 本期精彩看点：关于盘古大模型你想问的，两位核心研发员现身答疑；五一假期回程的车票好买吗？技术揭秘12306如何保证车票不超卖；带你抽丝剥茧，完成复杂Gremlin查询的调试… 本期精彩看点：关于盘古大模型你想问的，两位核心研发员现身答疑；五一假期回程的车票好买吗？技术揭秘12306如何保证车票不超卖；带你抽丝剥茧，完成复杂Gremlin查询的调试…
- 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现
- 入门Hadoop存储与计算：实现单词统计的分布式文件处理系统 引言在当今数字化时代，数据量呈爆炸式增长，传统的数据处理和存储技术已经难以应对这种规模的数据企业和研究机构迫切需要一种高效、可扩展且可靠的解决方案来管理和分析这些海量数据Hadoop，作为一种分布式计算框架，凭借其强大的存储和处理能力，成为了大数据领域的明星技术本文将分析官方文档探讨Hadoop的存储、计算原理，设计并实现一个分... 入门Hadoop存储与计算：实现单词统计的分布式文件处理系统 引言在当今数字化时代，数据量呈爆炸式增长，传统的数据处理和存储技术已经难以应对这种规模的数据企业和研究机构迫切需要一种高效、可扩展且可靠的解决方案来管理和分析这些海量数据Hadoop，作为一种分布式计算框架，凭借其强大的存储和处理能力，成为了大数据领域的明星技术本文将分析官方文档探讨Hadoop的存储、计算原理，设计并实现一个分...
- 从零开始：手摸手教你入门搭建Hadoop 引言在现代企业中，数据量的快速增长带来了巨大的挑战传统的数据处理和分析工具已经难以应对大规模数据的存储和处理需求特别是在业务团队项目中，面对海量数据的实时处理和分析，如何高效地管理和利用这些数据成为了一个关键问题而Hadoop的出现就能够解决海量数据下的存储与计算然而，Hadoop的安装与配置并非易事，尤其是对于初学者来说，可能会遇到各种困难和挑战... 从零开始：手摸手教你入门搭建Hadoop 引言在现代企业中，数据量的快速增长带来了巨大的挑战传统的数据处理和分析工具已经难以应对大规模数据的存储和处理需求特别是在业务团队项目中，面对海量数据的实时处理和分析，如何高效地管理和利用这些数据成为了一个关键问题而Hadoop的出现就能够解决海量数据下的存储与计算然而，Hadoop的安装与配置并非易事，尤其是对于初学者来说，可能会遇到各种困难和挑战...
- 工作流管理器概述无论是在业务开发还是在大数据开发中，工作流管理是必不可少的，在初期可以使用Linux自带的crontab工具来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，crontab显然已经满足不了需求。为此，针对这种多任务、可视化调度的调度管理需求，Apache以及其他组织提供了一系列工作流管理器。一、工作流调度系统背景一个完整的数据分析系统通常都是由大量任务单元组... 工作流管理器概述无论是在业务开发还是在大数据开发中，工作流管理是必不可少的，在初期可以使用Linux自带的crontab工具来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，crontab显然已经满足不了需求。为此，针对这种多任务、可视化调度的调度管理需求，Apache以及其他组织提供了一系列工作流管理器。一、工作流调度系统背景一个完整的数据分析系统通常都是由大量任务单元组...
- Spark01 —— Spark基础 一、为什么选择Spark？ 1.1 MapReduce编程模型的局限性1、繁杂：只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码2、处理效率低：2.1、Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据2.2、任务调度与启动开销大3、不适合迭代处理、交互式处理和流式处理 1.2 Spark与MR的区别Spark是... Spark01 —— Spark基础 一、为什么选择Spark？ 1.1 MapReduce编程模型的局限性1、繁杂：只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码2、处理效率低：2.1、Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据2.2、任务调度与启动开销大3、不适合迭代处理、交互式处理和流式处理 1.2 Spark与MR的区别Spark是...
- GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通... GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通...
- 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。
- 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】
- Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，... Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签