- 上篇文件介绍了自定义wordcount案例的实现,本文来介绍下具体的执行流程 流程图 流程说明 1.当客户端提交submit的时候客户端程序会根据我们输入的/wordcount/input地... 上篇文件介绍了自定义wordcount案例的实现,本文来介绍下具体的执行流程 流程图 流程说明 1.当客户端提交submit的时候客户端程序会根据我们输入的/wordcount/input地...
- 创建MapperTask 创建一个java类继承Mapper父类 接口形参说明 参数说明K1默认是一行一行读取的偏移量的类型V1默认读取的一行的类型K2用户处理完成后返回的数据的key的类型V... 创建MapperTask 创建一个java类继承Mapper父类 接口形参说明 参数说明K1默认是一行一行读取的偏移量的类型V1默认读取的一行的类型K2用户处理完成后返回的数据的key的类型V...
- 一、环境准备 1.jdk hadoop安装前必须要安装好jdk环境,版本最好用jdk8。 2.节点准备 准备四个节点 节点描述hadoop-node1(192.168.88.61)N... 一、环境准备 1.jdk hadoop安装前必须要安装好jdk环境,版本最好用jdk8。 2.节点准备 准备四个节点 节点描述hadoop-node1(192.168.88.61)N...
- hadoop1.0 Hadoop1.0即第一代Hadoop,指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统... hadoop1.0 Hadoop1.0即第一代Hadoop,指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统...
- NameNode的职责 序号职责1负责客户端请求的响应2元数据的管理(查询,修改) 数据存储的形式 NameNode中的元数据信息以三种形式存储,如下 序号方式说明1内存元数据(NameSyst... NameNode的职责 序号职责1负责客户端请求的响应2元数据的管理(查询,修改) 数据存储的形式 NameNode中的元数据信息以三种形式存储,如下 序号方式说明1内存元数据(NameSyst...
- 本文是基于hadoop2.6.5的源码分析。 客户端源码分析 启动的客户端代码 public static void main(String[] args) throws Exception {... 本文是基于hadoop2.6.5的源码分析。 客户端源码分析 启动的客户端代码 public static void main(String[] args) throws Exception {...
- 文章目录 零、本讲学习目标一、RDD算子二、准备工作1、准备本地系统文件2、准备HDFS系统文件 (二)启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark... 文章目录 零、本讲学习目标一、RDD算子二、准备工作1、准备本地系统文件2、准备HDFS系统文件 (二)启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark...
- 文章目录 零、本讲学习目标一、RDD为何物(一)RDD概念(二)RDD示例(三)RDD主要特征 二、做好准备工作(一)准备文件1、准备本地系统文件2、准备HDFS系统文件 (二)启动Sp... 文章目录 零、本讲学习目标一、RDD为何物(一)RDD概念(二)RDD示例(三)RDD主要特征 二、做好准备工作(一)准备文件1、准备本地系统文件2、准备HDFS系统文件 (二)启动Sp...
- 文章目录 零、本讲学习目标一、认识Spark(一)Spark简介(二)Spark官网(三)Spark发展历史(四)Spark的特点1、快速2、易用性3、通用性4、随处运行5、代码简洁(1)采用Ma... 文章目录 零、本讲学习目标一、认识Spark(一)Spark简介(二)Spark官网(三)Spark发展历史(四)Spark的特点1、快速2、易用性3、通用性4、随处运行5、代码简洁(1)采用Ma...
- 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前,大数据主要以两种方式存储; 静态数据: 以 HDFS 引擎作为存储引擎,适用于高吞吐量的离线大数据分析... 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前,大数据主要以两种方式存储; 静态数据: 以 HDFS 引擎作为存储引擎,适用于高吞吐量的离线大数据分析...
- 大家好,我是一条~ 5小时推开Spark的大门,正式开始,第一个小时,我们主要学习以下内容: 什么是Spark?Spark和Hadoop什么关系?Spark有什么优点?Spark适合做什么?Spark... 大家好,我是一条~ 5小时推开Spark的大门,正式开始,第一个小时,我们主要学习以下内容: 什么是Spark?Spark和Hadoop什么关系?Spark有什么优点?Spark适合做什么?Spark...
- 摘 要 大数据技术随着互联网的发展及信息量爆炸增长的趋势应运而生。 面对异常庞 大的数据,多种分布式文件系统为大数据的存储提供了解决方案。 其中 Hadoop 由于 自身高扩展性、高可靠性等优点被业... 摘 要 大数据技术随着互联网的发展及信息量爆炸增长的趋势应运而生。 面对异常庞 大的数据,多种分布式文件系统为大数据的存储提供了解决方案。 其中 Hadoop 由于 自身高扩展性、高可靠性等优点被业...
- 第5章DML数据操作 5.1 数据导入—— 重要 5.1.1 向表中装载数据(Load)—— 关键 1.语法 hive> load data [local] inpath '/opt/mod... 第5章DML数据操作 5.1 数据导入—— 重要 5.1.1 向表中装载数据(Load)—— 关键 1.语法 hive> load data [local] inpath '/opt/mod...
- 文章目录 Hadoop hadoop的常用配置文件有哪些 启动hadoop集群会分别启动哪些进程,各自的作用 简述java序列化和 hadoop自... 文章目录 Hadoop hadoop的常用配置文件有哪些 启动hadoop集群会分别启动哪些进程,各自的作用 简述java序列化和 hadoop自...
- 忘的差不多了, 先补概念, 然后开始搭建集群实战 ... . 一 Hadoop版本 和 生态圈 1. Hadoop版本 (1) Apache Hadoop版本介绍 Apache的开源项目开发流程 : -- 主干分支 : 新功能都是在 主干分支(trunk)上开发; -- 特性独有分支 : 很多新特性稳定性很差, ... 忘的差不多了, 先补概念, 然后开始搭建集群实战 ... . 一 Hadoop版本 和 生态圈 1. Hadoop版本 (1) Apache Hadoop版本介绍 Apache的开源项目开发流程 : -- 主干分支 : 新功能都是在 主干分支(trunk)上开发; -- 特性独有分支 : 很多新特性稳定性很差, ...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签