- 适用版本6.5.x。问题背景与现象客户端写文件close失败，客户端提示数据块没有足够副本数。日志如下：2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW/ugwufdr/20150527/10/6_20150527105000_20150527105500_SR5S14_1432723806338... 适用版本6.5.x。问题背景与现象客户端写文件close失败，客户端提示数据块没有足够副本数。日志如下：2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW/ugwufdr/20150527/10/6_20150527105000_20150527105500_SR5S14_1432723806338...
- 适用版本6.5.x。问题背景与现象文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。原因分析DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java.io.IOException: Too many open files。2016-05-19 17:18:59,12... 适用版本6.5.x。问题背景与现象文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。原因分析DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java.io.IOException: Too many open files。2016-05-19 17:18:59,12...
- 适用版本6.5.x。问题背景与现象当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。原因分析DataNode的数据接受器不可用。此时DataNode会有如下日志：2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataX... 适用版本6.5.x。问题背景与现象当用户在HDFS上执行写操作时，出现“Failed to place enough replicas:expected…”信息。原因分析DataNode的数据接受器不可用。此时DataNode会有如下日志：2016-03-17 18:51:44,721 | WARN | org.apache.hadoop.hdfs.server.datanode.DataX...
- 适用版本6.5.x。问题背景与现象在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。原因分析备NameNode会周期性做合并editlog，生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后，会将fsi... 适用版本6.5.x。问题背景与现象在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。原因分析备NameNode会周期性做合并editlog，生成fsimage文件的过程叫做checkpoint。备NameNode在新生成fsimage后，会将fsi...
- 适用版本6.5.x。问题背景与现象DataNode 实例状态异常，查看日志发现无法访问磁盘上某些文件。使用“ll 文件名”命令查看文件的属性为“??”。其他非HDFS文件读取失败，文件属性为“??”也可以参考此案例执行。可能原因对应DataNode节点的磁盘有坏道。原因分析进入服务实例，确认故障的节点使用PuTTY登录该节点，执行如下命令（这里/export/data1目录是DataNode... 适用版本6.5.x。问题背景与现象DataNode 实例状态异常，查看日志发现无法访问磁盘上某些文件。使用“ll 文件名”命令查看文件的属性为“??”。其他非HDFS文件读取失败，文件属性为“??”也可以参考此案例执行。可能原因对应DataNode节点的磁盘有坏道。原因分析进入服务实例，确认故障的节点使用PuTTY登录该节点，执行如下命令（这里/export/data1目录是DataNode...
- DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。
- 前言大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，正值金三银四的春招接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。相信只要一路走来，日积月累，我们终会在最高处见。以古人的话共勉：道阻且长，行则将至；行而不辍，未来可期！ Hadoop相关总结1.2.1 Hadoop常用端口号dfs.na... 前言大家好，我是程序员manor。作为一名大数据专业学生、爱好者，深知面试重要性，正值金三银四的春招接下来我准备用30天时间，基于大数据开发岗面试中的高频面试题，以每日5题的形式，带你过一遍常见面试题及恰如其分的解答。相信只要一路走来，日积月累，我们终会在最高处见。以古人的话共勉：道阻且长，行则将至；行而不辍，未来可期！ Hadoop相关总结1.2.1 Hadoop常用端口号dfs.na...
- 银行每一天都有大量的转账、交易需要保存、处理。用户每进行一笔交易或者转账，银行都需要将用户转账的所有相关信息保存下来。四大银行：银行有非常多的用户，四大银行拥有数10亿的用户。要保存的数据量可想而知。如果说有的数据，都同等对待，为了保证使用数据的性能，采用的是高性能存储，这将是一笔不小的资源浪费。实际上，超过一定时间的数据，数据访问的频率要低得多。例如：用户查询5年前的转账记录、要比查询1年... 银行每一天都有大量的转账、交易需要保存、处理。用户每进行一笔交易或者转账，银行都需要将用户转账的所有相关信息保存下来。四大银行：银行有非常多的用户，四大银行拥有数10亿的用户。要保存的数据量可想而知。如果说有的数据，都同等对待，为了保证使用数据的性能，采用的是高性能存储，这将是一笔不小的资源浪费。实际上，超过一定时间的数据，数据访问的频率要低得多。例如：用户查询5年前的转账记录、要比查询1年...
- 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
- RDD有哪些特点顾名思义，从字面理解RDD就是 Resillient Distributed Dataset，即弹性分布式数据集。它是Spark提供的核心抽象。RDD在抽象上来讲是一种抽象的分布式的数据集。它是被分区的，每个分区分布在集群中的不同的节点上。从而可以让数据进行并行的计算rdd 分布式弹性数据集，简单的理解成一种数据结构，是 spark 框架上的通用货币。所有算子都是基于 rd... RDD有哪些特点顾名思义，从字面理解RDD就是 Resillient Distributed Dataset，即弹性分布式数据集。它是Spark提供的核心抽象。RDD在抽象上来讲是一种抽象的分布式的数据集。它是被分区的，每个分区分布在集群中的不同的节点上。从而可以让数据进行并行的计算rdd 分布式弹性数据集，简单的理解成一种数据结构，是 spark 框架上的通用货币。所有算子都是基于 rd...
- 1，系统环境变量配置export JAVA_HOME=/opt/jdk1.8.0_40export HADOOP_HOME=/opt/hadoop-3.3.0export PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/opt/hadoop-3.3.0/bin/:/opt/hadoop-3.3.0/sbin2，配置hadoop，使用hadoop用户//... 1，系统环境变量配置export JAVA_HOME=/opt/jdk1.8.0_40export HADOOP_HOME=/opt/hadoop-3.3.0export PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/opt/hadoop-3.3.0/bin/:/opt/hadoop-3.3.0/sbin2，配置hadoop，使用hadoop用户//...
- 大数据（BigData）的特点数据量大，数据类型复杂，数据处理快，数据真实性高。大数据的生态软件工具包含：Hadoop，Spark，MapReduce，HDFS，Hive，HBase，Zookeeper，Flume，Kafka，Yarn，Storm，Oozie，Pig，Mahout等。 大数据（BigData）的特点数据量大，数据类型复杂，数据处理快，数据真实性高。大数据的生态软件工具包含：Hadoop，Spark，MapReduce，HDFS，Hive，HBase，Zookeeper，Flume，Kafka，Yarn，Storm，Oozie，Pig，Mahout等。
- hdfs单节点安装配置参考：https://bbs.huaweicloud.com/blogs/315874新建用户tdsql,并解压hadoop软件：#地址修改hdfs 的地址。修改配置文件：（core-site.xml）<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://1... hdfs单节点安装配置参考：https://bbs.huaweicloud.com/blogs/315874新建用户tdsql,并解压hadoop软件：#地址修改hdfs 的地址。修改配置文件：（core-site.xml）<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://1...
- Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
- Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https... Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https...
上滑加载中
推荐直播
-
-
华为开发者空间玩转DeepSeek2025/03/13 周四 19:00-20:30
马欣 山东商业职业技术学院云计算专业讲师，山东大学、山东建筑大学等多所本科学校学生校外指导老师
同学们，想知道如何利用华为开发者空间部署自己的DeepSeek模型吗？想了解如何用DeepSeek在云主机上探索好玩的应用吗？想探讨如何利用DeepSeek在自己的专有云主机上辅助编程吗？让我们来一场云和AI的盛宴。
即将直播 -
华为云Metastudio×DeepSeek与RAG检索优化分享2025/03/14 周五 16:00-17:30
大海 华为云学堂技术讲师 Cocl 华为云学堂技术讲师
本次直播将带来DeepSeek数字人解决方案，以及如何使用Embedding与Rerank实现检索优化实践，为开发者与企业提供参考，助力场景落地。
去报名
热门标签