- 一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。 一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。
- 前面有讲如何上传单个本地文件到HDFS文件系统，那么当一个目录下包含很多个文件，我们该如何做呢？这时我们就需要用到文件模式。 所以，在项目开始之前，先来学习一下什么是文件模式？文件模式 在某个单一操作中处理一系列文件是很常见的。例如一个日志处理的MapReduce作业可能要分析一个月的日志量。如果一个文件一个文件或者一个目录一个目录的声明那就太麻烦了，我们可以使... 前面有讲如何上传单个本地文件到HDFS文件系统，那么当一个目录下包含很多个文件，我们该如何做呢？这时我们就需要用到文件模式。 所以，在项目开始之前，先来学习一下什么是文件模式？文件模式 在某个单一操作中处理一系列文件是很常见的。例如一个日志处理的MapReduce作业可能要分析一个月的日志量。如果一个文件一个文件或者一个目录一个目录的声明那就太麻烦了，我们可以使...
- HDFS设计的主要目的是对海量数据进行处理，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。 HDFS设计的主要目的是对海量数据进行处理，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。
- HDFS的HA机制 HDFS的HA机制
- Hadoop主要由HDFS和MapReduce 两个核心部分组成。其中最底部就是HDFS，它被用来存储Hadoop 集群中所有存储节点上的文件。 Hadoop主要由HDFS和MapReduce 两个核心部分组成。其中最底部就是HDFS，它被用来存储Hadoop 集群中所有存储节点上的文件。
- Hadoop的MapReduce程序提交到集群环境中运行，出问题时定位非常麻烦，有时需要一遍遍修改代码和打印日志来排查问题，哪怕是比较小的问题。如果数据量很大的话调试起来就相当耗费时间。 Hadoop的MapReduce程序提交到集群环境中运行，出问题时定位非常麻烦，有时需要一遍遍修改代码和打印日志来排查问题，哪怕是比较小的问题。如果数据量很大的话调试起来就相当耗费时间。
- MapReduce 是一种可用于数据处理的编程模型。该模型比较简单，但要想写出有用的程序却不太容易。 MapReduce 是一种可用于数据处理的编程模型。该模型比较简单，但要想写出有用的程序却不太容易。
- 前面已经搭建了一个伪分布模式的Hadoop运行环境。绝大多数同学都习惯在Eclipse中做Java开发，本片主要讲的是如何搭建一个基于Eclipse IDE的Hadoop开发环境。 前面已经搭建了一个伪分布模式的Hadoop运行环境。绝大多数同学都习惯在Eclipse中做Java开发，本片主要讲的是如何搭建一个基于Eclipse IDE的Hadoop开发环境。
- Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照，方便后期搭建分布式集群时多台Linux虚拟机的准备。一、如何为虚拟机做快照? 1、什么是快照？ 快照就是对当前的虚拟机状态进行拍照，保留虚拟机当前状态的操作信息。 2、为什么要为虚拟机做快照？ 第一：为克隆不同状态的虚拟机提前做准备。 ... Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照，方便后期搭建分布式集群时多台Linux虚拟机的准备。一、如何为虚拟机做快照? 1、什么是快照？ 快照就是对当前的虚拟机状态进行拍照，保留虚拟机当前状态的操作信息。 2、为什么要为虚拟机做快照？ 第一：为克隆不同状态的虚拟机提前做准备。 ...
- 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益... 一、Hadoop集群环境搭建概述 随着互联网，尤其是移动互联网和智能移动设备的高速发展和大面积普及，数据产生的速度以及数据累积的规模已经超过了以往任何时候，所以我们正在或者已经步入了大数据时代。对于企业来说，企业所拥有的大规模数据正逐渐成为一种重要的生产要素，但是如何盘活企业海量数据资产，充分挖掘大数据背后的价值成为新的挑战。同时也带来了很大的机遇，通过对企业海量数据的科学分析，为精益...
- 1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3. 伪分布模式中的注意点？伪分布式（Pseudo）适用于开发和测试环境，在... 1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3. 伪分布模式中的注意点？伪分布式（Pseudo）适用于开发和测试环境，在...
- HBase是一个万亿行，百万列大表(Big Table)，数据存放在hdfs集群中 HBase是一个万亿行，百万列大表(Big Table)，数据存放在hdfs集群中
- 网络上关于如何单机模式安装Hadoop的文章很多，按照其步骤走下来多数都失败，按照其操作弯路走过了不少但终究还是把问题都解决了，所以顺便自己详细记录下完整的安装过程。此篇主要介绍在Ubuntu安装完毕后，如何进行Hadoop的安装和配置。我所记录的笔记适合没有Linux基础的朋友跟我一起操作，同时欢迎高手参观指导。 环境约定以下环境基于攥写时间：5th July 201... 网络上关于如何单机模式安装Hadoop的文章很多，按照其步骤走下来多数都失败，按照其操作弯路走过了不少但终究还是把问题都解决了，所以顺便自己详细记录下完整的安装过程。此篇主要介绍在Ubuntu安装完毕后，如何进行Hadoop的安装和配置。我所记录的笔记适合没有Linux基础的朋友跟我一起操作，同时欢迎高手参观指导。 环境约定以下环境基于攥写时间：5th July 201...
- 环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）hive官网地址：http://hive.apache.org/建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk... 环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）hive官网地址：http://hive.apache.org/建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk...
- 经过 诊断 是 因为 集群重新 格式化过dfs/name/current/VERSION记录的内容跟实际 集群的ID 不一样，datanode 能启动[root@vm112 current]# cat /opt/hadoop-2.8.4/tmp1/dfs/name/current/VERSION#Sat Jan 26 21:36:39 CST 2019namespaceID=14236026... 经过 诊断 是 因为 集群重新 格式化过dfs/name/current/VERSION记录的内容跟实际 集群的ID 不一样，datanode 能启动[root@vm112 current]# cat /opt/hadoop-2.8.4/tmp1/dfs/name/current/VERSION#Sat Jan 26 21:36:39 CST 2019namespaceID=14236026...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签