- 一、集群环境信息本次安装集群共5台主机，其中一台CM管理节点，2台namonode节点，2台datanode节点。具体信息如下： 主机名IP地址集群角色主机配置操作系统版本cm192.168.0.128CM manager4C/16GCentos 6.8namenode1192.168.0.121namonode4C/16GCentos 6.8namenode2192.168.0... 一、集群环境信息本次安装集群共5台主机，其中一台CM管理节点，2台namonode节点，2台datanode节点。具体信息如下： 主机名IP地址集群角色主机配置操作系统版本cm192.168.0.128CM manager4C/16GCentos 6.8namenode1192.168.0.121namonode4C/16GCentos 6.8namenode2192.168.0...
- 基于Hadoop构建的大数据环境，如何生成唯一ID。 基于Hadoop构建的大数据环境，如何生成唯一ID。
- 本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。 本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。
- MRS HADOOP/SPARK 代码访问OBS方式介绍1 背景描述：MRS样例代码没有介绍如何访问OBS，在默认情况下使用的文件系统都是HDFS；如果访问OBS需要添加一些配置，代码使用过程中也有一些需要注意的地方2 配置OBS相关参数：需要在客户端配置文件core-site.xml里面添加以下参数：<property> <name>fs.obs.access.k... MRS HADOOP/SPARK 代码访问OBS方式介绍1 背景描述：MRS样例代码没有介绍如何访问OBS，在默认情况下使用的文件系统都是HDFS；如果访问OBS需要添加一些配置，代码使用过程中也有一些需要注意的地方2 配置OBS相关参数：需要在客户端配置文件core-site.xml里面添加以下参数：<property> <name>fs.obs.access.k...
- 腾科教育以为理论+实操为主的教学，带你进入大数据开发基础。每一步都带着你，让你一步一步实现自已的大数据开发梦想。构建maven工程 导入maven类包 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</vers... 腾科教育以为理论+实操为主的教学，带你进入大数据开发基础。每一步都带着你，让你一步一步实现自已的大数据开发梦想。构建maven工程 导入maven类包 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.11</vers...
- 大数据存储系统的特点： ① 在大数据中，通常企业不会买昂贵的高端服务器，而是低端的廉价服务器，组成大规模集群来存储PB级的大量文件，导致硬件失效为常态，所以大数据系统的各模块都具备冗余和容灾机制。 ② 大数据的读写量和计算量都很大，采用的是数据流式访问的方式 ③ 存储数据较大 ④ 大数据系统的底层服务器可能来自于不同的厂商，对于文件系统，则需... 大数据存储系统的特点： ① 在大数据中，通常企业不会买昂贵的高端服务器，而是低端的廉价服务器，组成大规模集群来存储PB级的大量文件，导致硬件失效为常态，所以大数据系统的各模块都具备冗余和容灾机制。 ② 大数据的读写量和计算量都很大，采用的是数据流式访问的方式 ③ 存储数据较大 ④ 大数据系统的底层服务器可能来自于不同的厂商，对于文件系统，则需...
- hadoop入门 hadoop入门
- 拿到大量数据以后，通常需要使用Hadoop/Spark对数据集进行清洗。在这里我整理了Java中Lambda表达式的一些用法，希望能够提高大家的编码速度Lambda在Java 8中添加了Lambda新特性。如果接口中只有一个方法，则可以使用Lambda来完成。例如Runnable接口，只有一个run方法。在Java 8以下中我们需要这么写：new Thread(new Runnable(){... 拿到大量数据以后，通常需要使用Hadoop/Spark对数据集进行清洗。在这里我整理了Java中Lambda表达式的一些用法，希望能够提高大家的编码速度Lambda在Java 8中添加了Lambda新特性。如果接口中只有一个方法，则可以使用Lambda来完成。例如Runnable接口，只有一个run方法。在Java 8以下中我们需要这么写：new Thread(new Runnable(){...
- 一、HDFS概述及特点Hadoop是基于2003年Google的发表于的GFS论文，而开发形成的一个分布式文件系统（Hadoop Distributed File System），简称HDFS。该分布式文件系统是一款可以部署在廉价硬件上的易拓展、高容错。高吞吐量的大文件存储系统。HDFS在使用中，适用于大文件存储和流式数据访问。而不适用于大量小文件存储、随机写入和低延迟读取。二、HDFS系统... 一、HDFS概述及特点Hadoop是基于2003年Google的发表于的GFS论文，而开发形成的一个分布式文件系统（Hadoop Distributed File System），简称HDFS。该分布式文件系统是一款可以部署在廉价硬件上的易拓展、高容错。高吞吐量的大文件存储系统。HDFS在使用中，适用于大文件存储和流式数据访问。而不适用于大量小文件存储、随机写入和低延迟读取。二、HDFS系统...
- YARN调度资源的介绍 YARN调度资源的介绍
- 安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，让NameNode得到块的位置信息,并对每一个文件对应的数据块副本进行统计,当最小副本条件满足时HDFS自动离开安全模式。如果HDFS出于安全模... 安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，让NameNode得到块的位置信息,并对每一个文件对应的数据块副本进行统计,当最小副本条件满足时HDFS自动离开安全模式。如果HDFS出于安全模...
- 接上篇：【Free Style】Hadoop-Yarn之Resource Manager源码分析(二)https://portal.huaweicloud.com/blogs/4abcd5ebc04811e7b8317ca23e93a891 addTransition的四个参数分别表示：当前状态preState，后续状态postStates，触发事件eventType，状态迁移操作接口hook。其 接上篇：【Free Style】Hadoop-Yarn之Resource Manager源码分析(二)https://portal.huaweicloud.com/blogs/4abcd5ebc04811e7b8317ca23e93a891 addTransition的四个参数分别表示：当前状态preState，后续状态postStates，触发事件eventType，状态迁移操作接口hook。其
- 接上文：Hadoop-Yarn之Resource Manager源码分析(一)https://portal.huaweicloud.com/blogs/bc5a914ebfb111e7b8317ca23e93a891 3 YARN RM模块分析3.1 事件及服务YARN采用了服务模型，它将各种对象服务化，以便于统一管理（统一启动、关闭等）。YARN中将服务分为两种：单一服务和组 接上文：Hadoop-Yarn之Resource Manager源码分析(一)https://portal.huaweicloud.com/blogs/bc5a914ebfb111e7b8317ca23e93a891 3 YARN RM模块分析3.1 事件及服务YARN采用了服务模型，它将各种对象服务化，以便于统一管理（统一启动、关闭等）。YARN中将服务分为两种：单一服务和组
- 1 简介1.1 背景介绍带有MapReduce的Apache Hadoop是分布式数据处理的骨干力量，借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。此外，Hadoop 还开发了一个丰富多样的应用程序生态系统，包括 Apache Pig（一种强大的脚本语言）和 Apache Hive（一个具有类似 1 简介1.1 背景介绍带有MapReduce的Apache Hadoop是分布式数据处理的骨干力量，借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。此外，Hadoop 还开发了一个丰富多样的应用程序生态系统，包括 Apache Pig（一种强大的脚本语言）和 Apache Hive（一个具有类似
- 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.5节，作者是温春水 毕洁馨 。 本节书摘来自华章计算机《从零开始学Hadoop大数据分析（视频教学版）》 一书中第3章，第3.5节，作者是温春水 毕洁馨 。
上滑加载中
推荐直播
-
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
回顾中 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名 -
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
去报名
热门标签