- 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha... 一、MapReduce 安装 （1）分布式计算概述 访问 master:8088 查看yarn 是否启动成功。 （2）验证mapreduce 是否安装成功 运行 hadoop 安装包中 自带的 mapreduce 正则匹配例子。 看到控制台有如下输出说明mapReduce 任务正在运行中，同时可以在yarn 监控界面上看到任务执行记录 二、ha...
- 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h... 目录 一、HDFS常用操作命令 二、HDFS文件恢复机制 三、hadoop的window本地安装 四、mapreduce 单元测试、集成测试及验证 一、HDFS常用操作命令 查看根目录下的文件 hadoop fs -ls hdfs://master:9999/ 或 hadoop fs -ls / hadoop fs -ls -h...
- 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD... 目录 一、HDFS HA 集群规划 二、修改hdfs-site 和 core-site 配置 三、同步namenode 的 EditsLog 数据 四、配置自动状态改变 五、杀死一个active状态的namenode进行验证 六、实现HA中的 zookeeper 的作用 七、清理垃圾数据 八、配置yarn（ResourceManager） 的集群 一、HD...
- 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ... 目录 前言 一、使用http的方式访问hdfs 二、hdfs各组件及其作用 三、hdfs中的数据块（Block） 四、java api 操作hdfs 五、java 开发 hdfs 应用时注意的事项 六、DataNode心跳机制的作用 七、NameNode中EditsLog 和FSImage 的作用 八、SecondaryNameNode ...
- 经过前面的学习之后,我们总算是来到了Hive阶段。本篇博客博主将为大家带来Hadoop组件之——Hive的介绍! 首先在开始之前,再让我们通过一张熟悉的图片来回顾一下Hadoop生态系统的组成部分。 目录 基本概念1.1 什么是Hive1.2 为什么使用Hive1.3 Hive的优缺点1. 优点2. 缺点 1.4 Hive架构1.5 执行过程1.6 ... 经过前面的学习之后,我们总算是来到了Hive阶段。本篇博客博主将为大家带来Hadoop组件之——Hive的介绍! 首先在开始之前,再让我们通过一张熟悉的图片来回顾一下Hadoop生态系统的组成部分。 目录 基本概念1.1 什么是Hive1.2 为什么使用Hive1.3 Hive的优缺点1. 优点2. 缺点 1.4 Hive架构1.5 执行过程1.6 ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 本片博文，博主为大家带来的是HDFS文件读写流程 目录 1. HDFS的文件写入过程2. HDFS的文件读取过程 1. HDFS的文件写入过程 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请... 本片博文，博主为大家带来的是HDFS文件读写流程 目录 1. HDFS的文件写入过程2. HDFS的文件读取过程 1. HDFS的文件写入过程 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请...
- 经过上一篇的引导，相信小伙伴们已经可以进行下面的操作了 目录 一. 启动HDFS1. 配置集群2. 启动集群3. 查看集群 二. 启动YARN1. 配置集群2. 启动集群3. 在web上查看 三. 配置历史服务器1. 配置mapred-site.xml2. 启动历史服务器3. 查看历史服务器是否启动4. web查看历史服务器是否启动 四.... 经过上一篇的引导，相信小伙伴们已经可以进行下面的操作了 目录 一. 启动HDFS1. 配置集群2. 启动集群3. 查看集群 二. 启动YARN1. 配置集群2. 启动集群3. 在web上查看 三. 配置历史服务器1. 配置mapred-site.xml2. 启动历史服务器3. 查看历史服务器是否启动4. web查看历史服务器是否启动 四....
- 本次博主为大家带来的是Hive表中数据的加载与导出。希望能够帮助到大家。 目录 一. Hive表中加载数据1.1 直接向分区表中插入数据1.2 通过查询插入数据1.3 多插入模式1.4 查询语句中创建表并加载数据（as select）1.5 创建表时通过location指定加载数据路径 二. Hive表中的数据导出（了解就行）2.1 insert导出2... 本次博主为大家带来的是Hive表中数据的加载与导出。希望能够帮助到大家。 目录 一. Hive表中加载数据1.1 直接向分区表中插入数据1.2 通过查询插入数据1.3 多插入模式1.4 查询语句中创建表并加载数据（as select）1.5 创建表时通过location指定加载数据路径 二. Hive表中的数据导出（了解就行）2.1 insert导出2...
- 在之前的博客《HDFS系列(5) |进行API操作前的准备》 中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客，博主为大家展现HDFS的API操作。 目录 1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断 1. HDFS文件上传... 在之前的博客《HDFS系列(5) |进行API操作前的准备》 中,博主为大家分享的是在进行API操作前的准备工作。而本篇博客，博主为大家展现HDFS的API操作。 目录 1. HDFS文件上传2. HDFS文件下载3. HDFS文件夹删除4. HDFS文件名更改5. HDFS文件详情查看6. HDFS文件和文件夹判断 1. HDFS文件上传...
- 本篇博文给大家介绍的是进行JavaAPI操作前的准备工作 目录 一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功 二. maven1. 此步可省略，一般用自带的即可2. 创建一个Maven工程 三. 创建包和类1. 创建2. 输入测试代码 ... 本篇博文给大家介绍的是进行JavaAPI操作前的准备工作 目录 一. 电脑安装配置Hadoop1. 将下载的jar包放到非中文路径2. 配置HADOOP_HOME环境变量3. 配置Path环境变量4. 测试是否成功 二. maven1. 此步可省略，一般用自带的即可2. 创建一个Maven工程 三. 创建包和类1. 创建2. 输入测试代码 ...
- 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy... 此次博主为大家带来的是Hive的数据压缩介绍及使用。 目录 一. Hadoop源码编译支持Snappy压缩1.1 资源准备1.2 jar包安装1.3 编译源码 二. Hadoop压缩配置2.1 MR支持的压缩编码2.2 压缩参数配置 三. 开启Map输出阶段压缩四. 开启Reduce输出阶段压缩 一. Hadoop源码编译支持Snappy...
- Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ... Hello，大家好，本次为大家带来的是Hadoop的序列化操作。 目录 一. 序列化的简单介绍1.1. 什么是序列化1.2. 为什么要序列化1.3. 为什么不用Java的序列化 二. 自定义bean对象实现序列化接口三. 序列化的实际操作展示3.1. 需求3.2. 需求分析3.3. 编写MapReduce程序1. 编写流量统计的Bean对象2. ...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签