-
yarn.nodemanager.resource.memory-mb 该节点yarn可使用的物理内存总量，单位M目前集群物理服务器配置是512G内存，此参数设置的是384000。文档推荐设置比例大概是70%-90%想求助一下，如果新加服务器，内存在2TB，且角色只有NM和DN的情况下，想要最大程度利用内存，此参数设置多少合适？ -
异常代码配置文件yarn报错
-
[运维管理] 线下 HD 651版本，当日志出现 Waited 19016 ms (timeout=20000 ms) fo for a response for senddits, No responses yet.时线下 HD 651版本，当日志出现 Waited 19016 ms (timeout=20000 ms) fo for a response for senddits, No responses yet.时是/srv/BigData/namenode磁盘慢还是/srv/BigData/journalnode磁盘慢？
-
[运维管理] 正常运行中什么原因会导致/hbase/WALs/bdpxxx,21302,1733677608874-splitting is non empty': Directory is not empty？版本6.5.1.7版本正常运行中什么原因会导致/hbase/WALs/bdpxxx,21302,1733677608874-splitting is non empty': Directory is not empty？版本是6.5.1.7版本已知bug吗？org.apache.hadoop.hbase.master.SplitLogManager.splitLogDistributed(SplitLogManager.java:302) org.apache.hadoop.fs.PathIsNotEmptyDirectoryException: ``/hbase/WALs/bdpxxx,21302,1733677608874-splitting is non empty': Directory is not empty且日志存在Namespace table is not available报错
-
集群版本为6.5.1，dbdata_om目录满了如何处理
-
报错信息如下，使用的是官方提供的jar包
-
通过spark-submit提交pyspark到yarn上执行，采用的是yarn cluster模式，提交任务失败，报错找不到python项目中的module，已经在/root/.bashrc中配置了PYTHONPATH环境变量。
-
[问题求助] FusionInsight_HD_8.2.0.3 通过kerberos链接hive，走的zk。报错提示keeperErrorCode = Session closed because client failed to authent第一次接触，求助各位大佬
用户
发表于2024-11-02 15:15:40
2024-11-02 15:15:40
最后回复
244 4
-
问题：FI Kafka主题监控指标数据存储在哪里？需求：需要获取数据做外部系统主题流量监控
-
哪位大神帮忙看看本地连大数据平台的HBASE，配置文件都是从平台下载下来的，没有改动，然后本地安装了Hadoop和zookeeper
-
本地连接HBASE，报错：NoNode for /hbase/hbaseid
-
通过Java连接HetuEngine,PasswordFabric模式，报错如下：开发环境没问题，线上报错，不知道是哪里配置有问题，mrs版本3.2.1
-
问题：连接Hive Metastore， 客户端jar 必须要和服务端完全一致吗？能否使用3.1.0-h0.cbu.mrs.320.r48（maven可获取最高版本）版本连接3.1.0-h0.cbu.mrs.320.r77的HMS服务吗现象：我使用3.1.0-h0.cbu.mrs.320.r48 HiveMetaStoreClient连接 3.1.0-h0.cbu.mrs.320.r77 服务端HMS 报错了服务端版本：程序客户端版本、以及异常日志：服务端日志补充
-
HDFS的DataNode在低频率重启过程中，HBase集群的RegionServer WAL写流程，会偶现以下WAL超时卡住错误，如何解决呢：2024-08-26 15:35:13,294 ERROR [RS_CLOSE_REGION-regionserver/cqbs028:60020-1] executor.EventHandler: Caught throwable while processing event M_RS_CLOSE_REGIONjava.lang.RuntimeException: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818811, WAL system stuck?at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:116)at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:104)Caused by: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818811, WAL system stuck?at org.apache.hadoop.hbase.regionserver.wal.SyncFuture.get(SyncFuture.java:148)at org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL.blockOnSync(AbstractFSWAL.java:711)at org.apache.hadoop.hbase.regionserver.wal.AsyncFSWAL.sync(AsyncFSWAL.java:631)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.doFullAppendTransaction(WALUtil.java:158)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeMarker(WALUtil.java:136)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeRegionEventMarker(WALUtil.java:101)at org.apache.hadoop.hbase.regionserver.HRegion.writeRegionCloseMarker(HRegion.java:1145)at org.apache.hadoop.hbase.regionserver.HRegion.doClose(HRegion.java:1684)at org.apache.hadoop.hbase.regionserver.HRegion.close(HRegion.java:1501)at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:104)在停止RegionServer的过程中，也有可能会因为WAL卡住，停止RegionServer慢：java.lang.RuntimeException: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818767, WAL system stuck?at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:116)at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:104)at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)at java.base/java.lang.Thread.run(Thread.java:829)Caused by: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818767, WAL system stuck?at org.apache.hadoop.hbase.regionserver.wal.SyncFuture.get(SyncFuture.java:148)at org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL.blockOnSync(AbstractFSWAL.java:711)at org.apache.hadoop.hbase.regionserver.wal.AsyncFSWAL.sync(AsyncFSWAL.java:631)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.doFullAppendTransaction(WALUtil.java:158)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeMarker(WALUtil.java:136)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeRegionEventMarker(WALUtil.java:101)at org.apache.hadoop.hbase.regionserver.HRegion.writeRegionCloseMarker(HRegion.java:1145)at org.apache.hadoop.hbase.regionserver.HRegion.doClose(HRegion.java:1684)at org.apache.hadoop.hbase.regionserver.HRegion.close(HRegion.java:1501)at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:104)
-
MRS 白名单开通 3.3.0-LTS版，master节点数据盘为600G,但是数据盘使用率仅为1%左右，有办法降低maste节点数据盘大小吗？
推荐直播
0.5
-
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门
2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）
2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签
