- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所... Hadoop的联邦机制核心高频面试题一、为什么会出现联邦Hadoop的NN所使用的资源受所在服务的物理限制，不能满足实际生产需求。二、联邦的实现采用多台NN组成联邦。NN是独立的，NN之间不需要相互调用。NN是联合的，同属于一个联邦，所管理的DN作为block的公共存储。如下图：图中概念：block pool的概念，每一个namespace都有一个pool，datanodes会存储集群中所...
- 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作 本文是《CDH+Kylin三部曲》的第一篇，主要是为后面的安装和启动做好准备工作
- 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6 借助ansible，和已经调试好的playbook，快速部署和体验单机版CDH6
- 什么是Kudu前言结构化数据存储在Hadoop生态系统中，分为静态数据和动态数据两类。静态数据指的是需要进行数据分析的数据，这种分析针对的数据量一般很大，例如：统计全年每个地区总营业额。动态数据指的是数据需要实时动态插入、更新、读取的数据。例如业务系统中海量用户基本信息的存储。静态数据：对于大批量数据分析场景，为了便于数据分析，Hadoop生态系统中一般将数据存储在HDFS中，HDFS设计... 什么是Kudu前言结构化数据存储在Hadoop生态系统中，分为静态数据和动态数据两类。静态数据指的是需要进行数据分析的数据，这种分析针对的数据量一般很大，例如：统计全年每个地区总营业额。动态数据指的是数据需要实时动态插入、更新、读取的数据。例如业务系统中海量用户基本信息的存储。静态数据：对于大批量数据分析场景，为了便于数据分析，Hadoop生态系统中一般将数据存储在HDFS中，HDFS设计...
- 修复hadoop2.7集群初始化之后没有DataNode的问题 修复hadoop2.7集群初始化之后没有DataNode的问题
- 实战Mac部署hadoop3(伪分布式) 实战Mac部署hadoop3(伪分布式)
- 在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结 在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结
- 1．不同集群之间的数据复制在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的==远程拷贝==，hadoop自带也有命令可以帮我们实现这个功能。 1.1．集群内部文件拷贝scpcd /export/softwares/scp -r jdk-8u141-linux-x64.tar.gz root@... 1．不同集群之间的数据复制在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的==远程拷贝==，hadoop自带也有命令可以帮我们实现这个功能。 1.1．集群内部文件拷贝scpcd /export/softwares/scp -r jdk-8u141-linux-x64.tar.gz root@...
- 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。
- hdfs fsck命令是用来检查HDFS中的文件。使用方法：hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]<path>：fsck文件检查路径。-move：将损坏的文件移动到/lost+found。-de... hdfs fsck命令是用来检查HDFS中的文件。使用方法：hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]<path>：fsck文件检查路径。-move：将损坏的文件移动到/lost+found。-de...
- hdfs dfsadmin命令是HDFS中的管理命令，通过该命令可以对HDFS进行管理操作：以下将对比较常见的命令做重点介绍：report使用方法：hdfs dfsadmin -report该命令将获取HDFS整体健康概况和每个DataNode节点的使用概况。举例说明：该命令首先列出HDFS整体的健康状况。例如，DFS Used表示当前HDFS存储空间的已使用空间余量，Block with ... hdfs dfsadmin命令是HDFS中的管理命令，通过该命令可以对HDFS进行管理操作：以下将对比较常见的命令做重点介绍：report使用方法：hdfs dfsadmin -report该命令将获取HDFS整体健康概况和每个DataNode节点的使用概况。举例说明：该命令首先列出HDFS整体的健康状况。例如，DFS Used表示当前HDFS存储空间的已使用空间余量，Block with ...
- Hadoop快速入门——第四章、zookeeper集群前置条件：配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop... Hadoop快速入门——第四章、zookeeper集群前置条件：配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop...
- Hadoop快速入门——第四章、zookeeper安装压缩包下载地址：【https://download.csdn.net/download/feng8403000/85227883】目录1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件3、修改文件名称方便操作 4、编辑脚本文件5、执行脚本文件6、修改配置文件7、在【/opt/zookeeper】下创建【dat... Hadoop快速入门——第四章、zookeeper安装压缩包下载地址：【https://download.csdn.net/download/feng8403000/85227883】目录1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件3、修改文件名称方便操作 4、编辑脚本文件5、执行脚本文件6、修改配置文件7、在【/opt/zookeeper】下创建【dat...
- 适用版本6.5.x。问题背景与现象用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。原因分析查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”，发现该文件一直在被尝试写，直到最终失败。2015-07-13 10:05... 适用版本6.5.x。问题背景与现象用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。原因分析查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”，发现该文件一直在被尝试写，直到最终失败。2015-07-13 10:05...
上滑加载中
推荐直播
0.25
-
华为云Metastudio×DeepSeek与RAG检索优化分享2025/03/14 周五 16:00-17:30
大海 华为云学堂技术讲师 Cocl 华为云学堂技术讲师
本次直播将带来DeepSeek数字人解决方案，以及如何使用Embedding与Rerank实现检索优化实践，为开发者与企业提供参考，助力场景落地。
去报名 -
-
华为开发者空间玩转DeepSeek2025/03/13 周四 19:00-20:30
马欣 山东商业职业技术学院云计算专业讲师，山东大学、山东建筑大学等多所本科学校学生校外指导老师
同学们，想知道如何利用华为开发者空间部署自己的DeepSeek模型吗？想了解如何用DeepSeek在云主机上探索好玩的应用吗？想探讨如何利用DeepSeek在自己的专有云主机上辅助编程吗？让我们来一场云和AI的盛宴。
回顾中 -
华为云Metastudio×DeepSeek与RAG检索优化分享
2025/03/14 周五 16:00-17:30
大海 华为云学堂技术讲师 Cocl 华为云学堂技术讲师
本次直播将带来DeepSeek数字人解决方案，以及如何使用Embedding与Rerank实现检索优化实践，为开发者与企业提供参考，助力场景落地。
去报名 -
热门标签
