- 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co... 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co...
- 最近在学习Hive的安装与使用，第一次使用还是遇到了很多问题。下面介绍下具体的过程。 开发环境： ubuntu10.04 jdk:1.7.0_40 Hadoop:1.2.1 1、下载安装包 首先从http://hive.apache.org/downloads.html下载并解压到一个目录下，笔者是/root/h... 最近在学习Hive的安装与使用，第一次使用还是遇到了很多问题。下面介绍下具体的过程。 开发环境： ubuntu10.04 jdk:1.7.0_40 Hadoop:1.2.1 1、下载安装包 首先从http://hive.apache.org/downloads.html下载并解压到一个目录下，笔者是/root/h...
- MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的Applicati... MapReduce在hadoop-0.23版本中进行了完全的检查修改，并发展为了现在称之为的MapReduce2.0（MRv2）或者YARN。YARN的基本想法是将JobTracker的两个主要功能资源管理和作业调度监控分开为独立的后台进程，目标是拥有一个全局ResourceManager (RM)和每个应用程序一个的Applicati...
- 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是... 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是...
- 在这篇文章中主要关注MapReduce作业的输入和输出，由于Hadoop版本的变化及本人对这些变化了解的还不够深入，难免有描述不清楚的地方，会在进一步学习后更正不准确的地方。 作业输入 InputFormat描述了MapReduce作业的输入规范。MapReduce框架依靠作业的InputFormat实现： 1.&nb... 在这篇文章中主要关注MapReduce作业的输入和输出，由于Hadoop版本的变化及本人对这些变化了解的还不够深入，难免有描述不清楚的地方，会在进一步学习后更正不准确的地方。 作业输入 InputFormat描述了MapReduce作业的输入规范。MapReduce框架依靠作业的InputFormat实现： 1.&nb...
- G = f(x) x: big data f: cloud computing G: goal G = f(x) x: big data f: cloud computing G: goal
- HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都... HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都...
- 关于Hadoop2.2.0版本的改善 ①新的 Hadoop MapReduce框架 YARN ②HDFS 高可用性 ③HDFS Federation（HDFS联盟）：使得 HDFS支持多个命名空间，并且允许在 HDFS中同时存在多 关于Hadoop2.2.0版本的改善 ①新的 Hadoop MapReduce框架 YARN ②HDFS 高可用性 ③HDFS Federation（HDFS联盟）：使得 HDFS支持多个命名空间，并且允许在 HDFS中同时存在多
- Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker... Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker...
- Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病... Hadoop-2.2.0在Hadoop-1.x的基础上进行了重大改进，主要体现在HDFS和MapReduce上。下面大体介绍HDFS和MapReduce改进的地方。 首先是HDFS联合。众所周知，在Hadoop-1.x版本中，集群中只有一个NameNode节点，一旦该节点失效就不能自动切换到备用节点，这也是Hadoop-1.x被人诟病...
- 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基... 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基...
- 前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机... 前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的，没错，是在虚拟机...
- 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法... 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法...
- 第一部分：数据完整性 数据完整性及其采用的技术 保证数据在传输过程中不损坏 ，常见的保证数据完整性采用的技术 A.奇偶校验技术 B.ECC校验纠错技术 第一部分：数据完整性 数据完整性及其采用的技术 保证数据在传输过程中不损坏 ，常见的保证数据完整性采用的技术 A.奇偶校验技术 B.ECC校验纠错技术
- 作业的提交和监控 Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括： 1. &nbs... 作业的提交和监控 Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括： 1. &nbs...
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中 -
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中
热门标签