- 文章目录 一、提出任务 1、编写Java程序在HDFS上创建目录 2、编写MapReduce程序进行词频统计 二、准备工作 ... 文章目录 一、提出任务 1、编写Java程序在HDFS上创建目录 2、编写MapReduce程序进行词频统计 二、准备工作 ...
- 文章目录 一、利用Java程序实现词频统计 二、利用scala程序实现词频统计 三、利用Python程序实现词频统计 四、利用akka和scala实现词频统计 ... 文章目录 一、利用Java程序实现词频统计 二、利用scala程序实现词频统计 三、利用Python程序实现词频统计 四、利用akka和scala实现词频统计 ...
- 文章目录 一、搭建服务器集群 1、创建三台虚拟机 2、配置静态IP地址 3、查看主机名 4、配置主机IP映射 5、查看防火墙状态 ... 文章目录 一、搭建服务器集群 1、创建三台虚拟机 2、配置静态IP地址 3、查看主机名 4、配置主机IP映射 5、查看防火墙状态 ...
- 文章目录 一、HDFS常用Java API 1、org.apache.hadoop.fs.FileSystem 2、org.apache.hadoop.f... 文章目录 一、HDFS常用Java API 1、org.apache.hadoop.fs.FileSystem 2、org.apache.hadoop.f...
- 文章目录 一、HDFS基本概念 1、块(Block) 2、名称节点和数据节点 (1)名称节点 (2)数据节点... 文章目录 一、HDFS基本概念 1、块(Block) 2、名称节点和数据节点 (1)名称节点 (2)数据节点...
- 文章目录 一、预备工作 1、启动hadoop服务 2、准备数据文件 2、将数据文件上传HDFS 二、实现步骤 ... 文章目录 一、预备工作 1、启动hadoop服务 2、准备数据文件 2、将数据文件上传HDFS 二、实现步骤 ...
- 文章目录 一、Hadoop生态系统 二、Hadoop安装模式 1、单机模式 2、伪分布式模式 3、完全分布式模式 三、伪分布式安... 文章目录 一、Hadoop生态系统 二、Hadoop安装模式 1、单机模式 2、伪分布式模式 3、完全分布式模式 三、伪分布式安...
- 前言 当大数据到大一定程度时,系统会进行分布存储,HDFS以流式数据访问的模式可以运行到普通的商用服务器集群上,完成了分布式存储的功能,同时也向客户开放了HDFS相应的访问接口,以满足不同的需求。 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 M... 前言 当大数据到大一定程度时,系统会进行分布存储,HDFS以流式数据访问的模式可以运行到普通的商用服务器集群上,完成了分布式存储的功能,同时也向客户开放了HDFS相应的访问接口,以满足不同的需求。 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 M...
- 前言 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) tableau可视化数据分析高级教程 一.HDFS命令行 Hadoop help命令的使用 1.hadoop -help查询所有Hadoop S... 前言 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) tableau可视化数据分析高级教程 一.HDFS命令行 Hadoop help命令的使用 1.hadoop -help查询所有Hadoop S...
- 前言 在集群中大规模的数据的转换与传输是一项艰巨的任务,而Hadoop自带一套特有的文件I/O系统,使得这项艰巨的任务变得简单。 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) tableau可视化数据分析... 前言 在集群中大规模的数据的转换与传输是一项艰巨的任务,而Hadoop自带一套特有的文件I/O系统,使得这项艰巨的任务变得简单。 以下是我为大家准备的几个精品专栏,喜欢的小伙伴可自行订阅,你的支持就是我不断更新的动力哟! MATLAB-30天带你从入门到精通 MATLAB深入理解高级教程(附源码) tableau可视化数据分析...
- 批处理的方法就是隔一段时间就分批处理一次积攒的数据。 一般情况下是先把数据存入数据库里,隔一段时间就从数据库获取数据 批处理的重点在于要在规定时间内处理所有数据。因此,数据的数量越多,执行处理的机器性能就得越好。 随着以后万物互联时代的来临,数据量也会成几何倍数增加。 人们需要处理从数量庞大的设备发来的传感器数据和图像等大型... 批处理的方法就是隔一段时间就分批处理一次积攒的数据。 一般情况下是先把数据存入数据库里,隔一段时间就从数据库获取数据 批处理的重点在于要在规定时间内处理所有数据。因此,数据的数量越多,执行处理的机器性能就得越好。 随着以后万物互联时代的来临,数据量也会成几何倍数增加。 人们需要处理从数量庞大的设备发来的传感器数据和图像等大型...
- 因为在前面几期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!... 因为在前面几期的分享中,大家看到的更多是HDFS的底层原理,内部结构,并没有谈到其自身优势和劣势的一个比较!...
- 安全模式 安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改... 安全模式 安全模式是HDFS所处的一种特殊状态,在这种状态下,文件系统只接受读数据请求,而不接受删除、修改...
- 我们在刚开始学习HDFS的时候,知道HDFS主要由管理者NameNode和DataNode组成。其中还有一个... 我们在刚开始学习HDFS的时候,知道HDFS主要由管理者NameNode和DataNode组成。其中还有一个...
- 相信小伙伴们看了小菌上一篇博客《什么是MapReduce(入门篇)》后,对MapReduce的概念有了更深的... 相信小伙伴们看了小菌上一篇博客《什么是MapReduce(入门篇)》后,对MapReduce的概念有了更深的...
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/22 周三 16:30-18:00
张俭 华为云IoT DTSE技术布道师
开源,意味着开放、共享、互助、共赢。作为万物上云及各行业数字化的物联网底座,华为云IoT积极拥抱开源,借助行业开源的最佳实践,构建可靠、易用的物联网平台,并通过开放南北向SDK,助力开发者快速构建物联网应用。本期直播,华为云IoT开源专家、物联网平台资深“程序猿”张俭,带你了解华为云IoT的开源生态,并手把手教你玩转开源社区!
去报名 -
华为云开发者日·广州站
2024/05/23 周四 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名
热门标签