- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 话不多说我直接上干货 概念知识 安全模式是HDFS所处的一种特殊状态，在处于这种状态时，文件系统只接受读数据请求，不能对文件进行写，删除等操作。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode会向NameNode上传它们数据块的列表，让NameNode得到数据块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即数... 话不多说我直接上干货 概念知识 安全模式是HDFS所处的一种特殊状态，在处于这种状态时，文件系统只接受读数据请求，不能对文件进行写，删除等操作。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode会向NameNode上传它们数据块的列表，让NameNode得到数据块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即数...
- 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha... 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha...
- 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h... 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h...
- 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD... 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD...
- 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ... 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ...
- 经过前面的学习之后,我们总算是来到了Hive阶段。本篇博客博主将为大家带来Hadoop组件之——Hive的介绍! 首先在开始之前,再让我们通过一张熟悉的图片来回顾一下Hadoop生态系统的组成部分。 目录 基本概念1.1 什么是Hive1.2 为什么使用Hive1.3 Hive的优缺点1. 优点2. 缺点 1.4 Hive架构1.5 执行过程1.6 ... 经过前面的学习之后,我们总算是来到了Hive阶段。本篇博客博主将为大家带来Hadoop组件之——Hive的介绍! 首先在开始之前,再让我们通过一张熟悉的图片来回顾一下Hadoop生态系统的组成部分。 目录 基本概念1.1 什么是Hive1.2 为什么使用Hive1.3 Hive的优缺点1. 优点2. 缺点 1.4 Hive架构1.5 执行过程1.6 ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 本片博文，博主为大家带来的是HDFS文件读写流程 目录 1. HDFS的文件写入过程2. HDFS的文件读取过程 1. HDFS的文件写入过程 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请... 本片博文，博主为大家带来的是HDFS文件读写流程 目录 1. HDFS的文件写入过程2. HDFS的文件读取过程 1. HDFS的文件写入过程 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请...
- 经过上一篇的引导，相信小伙伴们已经可以进行下面的操作了 目录 一. 启动HDFS1. 配置集群2. 启动集群3. 查看集群 二. 启动YARN1. 配置集群2. 启动集群3. 在web上查看 三. 配置历史服务器1. 配置mapred-site.xml2. 启动历史服务器3. 查看历史服务器是否启动4. web查看历史服务器是否启动 四.... 经过上一篇的引导，相信小伙伴们已经可以进行下面的操作了 目录 一. 启动HDFS1. 配置集群2. 启动集群3. 查看集群 二. 启动YARN1. 配置集群2. 启动集群3. 在web上查看 三. 配置历史服务器1. 配置mapred-site.xml2. 启动历史服务器3. 查看历史服务器是否启动4. web查看历史服务器是否启动 四....
- 本次博主为大家带来的是Hive表中数据的加载与导出。希望能够帮助到大家。 目录 一. Hive表中加载数据1.1 直接向分区表中插入数据1.2 通过查询插入数据1.3 多插入模式1.4 查询语句中创建表并加载数据（as select）1.5 创建表时通过location指定加载数据路径 二. Hive表中的数据导出（了解就行）2.1 insert导出2... 本次博主为大家带来的是Hive表中数据的加载与导出。希望能够帮助到大家。 目录 一. Hive表中加载数据1.1 直接向分区表中插入数据1.2 通过查询插入数据1.3 多插入模式1.4 查询语句中创建表并加载数据（as select）1.5 创建表时通过location指定加载数据路径 二. Hive表中的数据导出（了解就行）2.1 insert导出2...
- 在之前的博客《HDFS系列(5) |进行API操作前的准备》 中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客，博主为大家展现HDFS的API操作。 目录 1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断 1. HDFS文件上传... 在之前的博客《HDFS系列(5) |进行API操作前的准备》 中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客，博主为大家展现HDFS的API操作。 目录 1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断 1. HDFS文件上传...
- 本篇博文给大家介绍的是进行JavaAPI操作前的准备工作 目录 一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功 二. maven1. 此步可省略，一般用自带的即可2. 创建一个Maven工程 三. 创建包和类1. 创建2. 输入测试代码 ... 本篇博文给大家介绍的是进行JavaAPI操作前的准备工作 目录 一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功 二. maven1. 此步可省略，一般用自带的即可2. 创建一个Maven工程 三. 创建包和类1. 创建2. 输入测试代码 ...
- 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy... 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签