- 修复hadoop2.7集群初始化之后没有DataNode的问题 修复hadoop2.7集群初始化之后没有DataNode的问题
- 实战Mac部署hadoop3(伪分布式) 实战Mac部署hadoop3(伪分布式)
- 在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结 在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结
- 1．不同集群之间的数据复制在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的==远程拷贝==，hadoop自带也有命令可以帮我们实现这个功能。 1.1．集群内部文件拷贝scpcd /export/softwares/scp -r jdk-8u141-linux-x64.tar.gz root@... 1．不同集群之间的数据复制在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的==远程拷贝==，hadoop自带也有命令可以帮我们实现这个功能。 1.1．集群内部文件拷贝scpcd /export/softwares/scp -r jdk-8u141-linux-x64.tar.gz root@...
- 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。
- hdfs fsck命令是用来检查HDFS中的文件。使用方法：hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]<path>：fsck文件检查路径。-move：将损坏的文件移动到/lost+found。-de... hdfs fsck命令是用来检查HDFS中的文件。使用方法：hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]<path>：fsck文件检查路径。-move：将损坏的文件移动到/lost+found。-de...
- hdfs dfsadmin命令是HDFS中的管理命令，通过该命令可以对HDFS进行管理操作：以下将对比较常见的命令做重点介绍：report使用方法：hdfs dfsadmin -report该命令将获取HDFS整体健康概况和每个DataNode节点的使用概况。举例说明：该命令首先列出HDFS整体的健康状况。例如，DFS Used表示当前HDFS存储空间的已使用空间余量，Block with ... hdfs dfsadmin命令是HDFS中的管理命令，通过该命令可以对HDFS进行管理操作：以下将对比较常见的命令做重点介绍：report使用方法：hdfs dfsadmin -report该命令将获取HDFS整体健康概况和每个DataNode节点的使用概况。举例说明：该命令首先列出HDFS整体的健康状况。例如，DFS Used表示当前HDFS存储空间的已使用空间余量，Block with ...
- Hadoop快速入门——第四章、zookeeper集群前置条件：配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop... Hadoop快速入门——第四章、zookeeper集群前置条件：配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop...
- Hadoop快速入门——第四章、zookeeper安装压缩包下载地址：【https://download.csdn.net/download/feng8403000/85227883】目录1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件3、修改文件名称方便操作 4、编辑脚本文件5、执行脚本文件6、修改配置文件7、在【/opt/zookeeper】下创建【dat... Hadoop快速入门——第四章、zookeeper安装压缩包下载地址：【https://download.csdn.net/download/feng8403000/85227883】目录1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件3、修改文件名称方便操作 4、编辑脚本文件5、执行脚本文件6、修改配置文件7、在【/opt/zookeeper】下创建【dat...
- 适用版本6.5.x。问题背景与现象用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。原因分析查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”，发现该文件一直在被尝试写，直到最终失败。2015-07-13 10:05... 适用版本6.5.x。问题背景与现象用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。原因分析查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”，发现该文件一直在被尝试写，直到最终失败。2015-07-13 10:05...
- 适用版本6.5.x。问题背景与现象客户端写文件close失败，客户端提示数据块没有足够副本数。日志如下：2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW/ugwufdr/20150527/10/6_20150527105000_20150527105500_SR5S14_1432723806338... 适用版本6.5.x。问题背景与现象客户端写文件close失败，客户端提示数据块没有足够副本数。日志如下：2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW/ugwufdr/20150527/10/6_20150527105000_20150527105500_SR5S14_1432723806338...
- 适用版本6.5.x。问题背景与现象文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。原因分析DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java.io.IOException: Too many open files。2016-05-19 17:18:59,12... 适用版本6.5.x。问题背景与现象文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。原因分析DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java.io.IOException: Too many open files。2016-05-19 17:18:59,12...
- 适用版本6.5.x。问题背景与现象当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。原因分析DataNode的数据接受器不可用。此时DataNode会有如下日志：2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataX... 适用版本6.5.x。问题背景与现象当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。原因分析DataNode的数据接受器不可用。此时DataNode会有如下日志：2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataX...
- 适用版本6.5.x。问题背景与现象在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。原因分析备NameNode会周期性做合并editlog，生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后，会将fsi... 适用版本6.5.x。问题背景与现象在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。原因分析备NameNode会周期性做合并editlog，生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后，会将fsi...
- 适用版本6.5.x。问题背景与现象DataNode 实例状态异常，查看日志发现无法访问磁盘上某些文件。使用“ll 文件名”命令查看文件的属性为“??”。其他非HDFS文件读取失败，文件属性为“??”也可以参考此案例执行。可能原因对应DataNode节点的磁盘有坏道。原因分析进入服务实例，确认故障的节点使用PuTTY登录该节点，执行如下命令（这里/export/data1目录是DataNode... 适用版本6.5.x。问题背景与现象DataNode 实例状态异常，查看日志发现无法访问磁盘上某些文件。使用“ll 文件名”命令查看文件的属性为“??”。其他非HDFS文件读取失败，文件属性为“??”也可以参考此案例执行。可能原因对应DataNode节点的磁盘有坏道。原因分析进入服务实例，确认故障的节点使用PuTTY登录该节点，执行如下命令（这里/export/data1目录是DataNode...
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
回顾中
热门标签