- 什么是Kudu前言结构化数据存储在Hadoop生态系统中，分为静态数据和动态数据两类。静态数据指的是需要进行数据分析的数据，这种分析针对的数据量一般很大，例如：统计全年每个地区总营业额。动态数据指的是数据需要实时动态插入、更新、读取的数据。例如业务系统中海量用户基本信息的存储。静态数据：对于大批量数据分析场景，为了便于数据分析，Hadoop生态系统中一般将数据存储在HDFS中，HDFS设计... 什么是Kudu前言结构化数据存储在Hadoop生态系统中，分为静态数据和动态数据两类。静态数据指的是需要进行数据分析的数据，这种分析针对的数据量一般很大，例如：统计全年每个地区总营业额。动态数据指的是数据需要实时动态插入、更新、读取的数据。例如业务系统中海量用户基本信息的存储。静态数据：对于大批量数据分析场景，为了便于数据分析，Hadoop生态系统中一般将数据存储在HDFS中，HDFS设计...
- 修复hadoop2.7集群初始化之后没有DataNode的问题 修复hadoop2.7集群初始化之后没有DataNode的问题
- 实战Mac部署hadoop3(伪分布式) 实战Mac部署hadoop3(伪分布式)
- 在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结 在学习Spark的过程中，查看任务的DAG、stage、task等详细信息是学习的重要手段，在此做个小结
- 1．不同集群之间的数据复制在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的==远程拷贝==，hadoop自带也有命令可以帮我们实现这个功能。 1.1．集群内部文件拷贝scpcd /export/softwares/scp -r jdk-8u141-linux-x64.tar.gz root@... 1．不同集群之间的数据复制在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的==远程拷贝==，hadoop自带也有命令可以帮我们实现这个功能。 1.1．集群内部文件拷贝scpcd /export/softwares/scp -r jdk-8u141-linux-x64.tar.gz root@...
- 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。
- hdfs fsck命令是用来检查HDFS中的文件。使用方法：hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]<path>：fsck文件检查路径。-move：将损坏的文件移动到/lost+found。-de... hdfs fsck命令是用来检查HDFS中的文件。使用方法：hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]]<path>：fsck文件检查路径。-move：将损坏的文件移动到/lost+found。-de...
- hdfs dfsadmin命令是HDFS中的管理命令，通过该命令可以对HDFS进行管理操作：以下将对比较常见的命令做重点介绍：report使用方法：hdfs dfsadmin -report该命令将获取HDFS整体健康概况和每个DataNode节点的使用概况。举例说明：该命令首先列出HDFS整体的健康状况。例如，DFS Used表示当前HDFS存储空间的已使用空间余量，Block with ... hdfs dfsadmin命令是HDFS中的管理命令，通过该命令可以对HDFS进行管理操作：以下将对比较常见的命令做重点介绍：report使用方法：hdfs dfsadmin -report该命令将获取HDFS整体健康概况和每个DataNode节点的使用概况。举例说明：该命令首先列出HDFS整体的健康状况。例如，DFS Used表示当前HDFS存储空间的已使用空间余量，Block with ...
- Hadoop快速入门——第四章、zookeeper集群前置条件：配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop... Hadoop快速入门——第四章、zookeeper集群前置条件：配置ssh免密登录&hadoop分布式1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件tar -zxvf zookeeper-3.4.6.tar.gz3、修改文件名称方便操作 mv zookeeper-3.4.6 zookeeper4、编辑脚本文件vi /etc/profile.d/hadoop...
- Hadoop快速入门——第四章、zookeeper安装压缩包下载地址：【https://download.csdn.net/download/feng8403000/85227883】目录1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件3、修改文件名称方便操作 4、编辑脚本文件5、执行脚本文件6、修改配置文件7、在【/opt/zookeeper】下创建【dat... Hadoop快速入门——第四章、zookeeper安装压缩包下载地址：【https://download.csdn.net/download/feng8403000/85227883】目录1、上传【zookeeper-3.4.6.tar.gz】文件2、解压文件3、修改文件名称方便操作 4、编辑脚本文件5、执行脚本文件6、修改配置文件7、在【/opt/zookeeper】下创建【dat...
- 适用版本6.5.x。问题背景与现象用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。原因分析查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”，发现该文件一直在被尝试写，直到最终失败。2015-07-13 10:05... 适用版本6.5.x。问题背景与现象用hadoop dfs -put把本地文件拷贝到HDFS上，有报错。上传部分文件后，报错失败，从NameNode原生页面看，临时文件大小不再变化。原因分析查看NameNode日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-主机名.log”，发现该文件一直在被尝试写，直到最终失败。2015-07-13 10:05...
- 适用版本6.5.x。问题背景与现象客户端写文件close失败，客户端提示数据块没有足够副本数。日志如下：2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW/ugwufdr/20150527/10/6_20150527105000_20150527105500_SR5S14_1432723806338... 适用版本6.5.x。问题背景与现象客户端写文件close失败，客户端提示数据块没有足够副本数。日志如下：2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW/ugwufdr/20150527/10/6_20150527105000_20150527105500_SR5S14_1432723806338...
- 适用版本6.5.x。问题背景与现象文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。原因分析DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java.io.IOException: Too many open files。2016-05-19 17:18:59,12... 适用版本6.5.x。问题背景与现象文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。原因分析DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java.io.IOException: Too many open files。2016-05-19 17:18:59,12...
- 适用版本6.5.x。问题背景与现象当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。原因分析DataNode的数据接受器不可用。此时DataNode会有如下日志：2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataX... 适用版本6.5.x。问题背景与现象当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。原因分析DataNode的数据接受器不可用。此时DataNode会有如下日志：2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataX...
- 适用版本6.5.x。问题背景与现象在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。原因分析备NameNode会周期性做合并editlog，生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后，会将fsi... 适用版本6.5.x。问题背景与现象在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。原因分析备NameNode会周期性做合并editlog，生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后，会将fsi...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签