1.重启前的现象 CPU占用率很高，包括磁盘IO2.EsMaster服务和oozie服务显示故障询问，是否跟这两个服务故障有关系，如何解决一下，感谢大佬指点一下！

巡检工具密码过期修改密码时，报错0次输入错误，怎么处理？

通过java代码定时通过rest api接口获取审计日志，通过syslog协议发送到目的端。查看审计日志在manager页面上点击Audit，查看审计日志 在manager页面上通过F12查看审计日志的调用接口及返回值：   Java代码SystemSendClient发送数据代码，需要配置目的端的host和port AuditsLog是运行的主类：定时获取审计日志信息，调用SystemSendClient发送数据运行任务配置config目录下的UserInfo.properties通过mvn clean package 打包工程打包后，在target可以找到打包后的文件syslogdemo-1.0-SNAPSHOT-jar-with-dependencies.jar，运行代码前要把syslogdemo-1.0-SNAPSHOT-jar-with-dependencies.jar和config目录放到同一目录下 在接收数据的目的端，用nc命令模拟syslog数据接收 在syslogdemo-1.0-SNAPSHOT-jar-with-dependencies.jar所在目录调用java -jar运行代码Java -jar syslogdemo-1.0-SNAPSHOT-jar-with-dependencies.jar 300 50运行时需要传两个参数：300 间隔300秒发送数据、50 每次发送50条数据  在目的端查看发送的消息 

yarn.nodemanager.resource.memory-mb  该节点yarn可使用的物理内存总量，单位M目前集群物理服务器配置是512G内存，此参数设置的是384000。文档推荐设置比例大概是70%-90%想求助一下，如果新加服务器，内存在2TB，且角色只有NM和DN的情况下，想要最大程度利用内存，此参数设置多少合适？

FusionInsight manager 忘记admin密码如何重置

HDFS的DataNode在低频率重启过程中，HBase集群的RegionServer WAL写流程，会偶现以下WAL超时卡住错误，如何解决呢：2024-08-26 15:35:13,294 ERROR [RS_CLOSE_REGION-regionserver/cqbs028:60020-1] executor.EventHandler: Caught throwable while processing event M_RS_CLOSE_REGIONjava.lang.RuntimeException: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818811, WAL system stuck?at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:116)at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:104)Caused by: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818811, WAL system stuck?at org.apache.hadoop.hbase.regionserver.wal.SyncFuture.get(SyncFuture.java:148)at org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL.blockOnSync(AbstractFSWAL.java:711)at org.apache.hadoop.hbase.regionserver.wal.AsyncFSWAL.sync(AsyncFSWAL.java:631)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.doFullAppendTransaction(WALUtil.java:158)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeMarker(WALUtil.java:136)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeRegionEventMarker(WALUtil.java:101)at org.apache.hadoop.hbase.regionserver.HRegion.writeRegionCloseMarker(HRegion.java:1145)at org.apache.hadoop.hbase.regionserver.HRegion.doClose(HRegion.java:1684)at org.apache.hadoop.hbase.regionserver.HRegion.close(HRegion.java:1501)at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:104)在停止RegionServer的过程中，也有可能会因为WAL卡住，停止RegionServer慢：java.lang.RuntimeException: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818767, WAL system stuck?at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:116)at org.apache.hadoop.hbase.executor.EventHandler.run(EventHandler.java:104)at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)at java.base/java.lang.Thread.run(Thread.java:829)Caused by: org.apache.hadoop.hbase.exceptions.TimeoutIOException: Failed to get sync result after 300000 ms for txid=818767, WAL system stuck?at org.apache.hadoop.hbase.regionserver.wal.SyncFuture.get(SyncFuture.java:148)at org.apache.hadoop.hbase.regionserver.wal.AbstractFSWAL.blockOnSync(AbstractFSWAL.java:711)at org.apache.hadoop.hbase.regionserver.wal.AsyncFSWAL.sync(AsyncFSWAL.java:631)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.doFullAppendTransaction(WALUtil.java:158)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeMarker(WALUtil.java:136)at org.apache.hadoop.hbase.regionserver.wal.WALUtil.writeRegionEventMarker(WALUtil.java:101)at org.apache.hadoop.hbase.regionserver.HRegion.writeRegionCloseMarker(HRegion.java:1145)at org.apache.hadoop.hbase.regionserver.HRegion.doClose(HRegion.java:1684)at org.apache.hadoop.hbase.regionserver.HRegion.close(HRegion.java:1501)at org.apache.hadoop.hbase.regionserver.handler.CloseRegionHandler.process(CloseRegionHandler.java:104)

1 接口调用获取Hbase Master metrics Dump信息获取Hbase Master metrics dump信息的调用接口为https://OMS浮动IP/Hbase/Hmaster/实例编号/jmx调用hbase接口之前需要进行认证，按下面步骤进行认证后再调用hbase接口1.1 调用登录接口1获取lt变量GET https://OMS浮动IP:20009/cas/loginQuery params: 参数类型说明servicestring实际调用的接口例：https://OMS浮动IP:20009/cas/login?service=https://OMS浮动IP:20026/HBase/HMaster/40/jmx返回结果：返回的是一个html文件，需要获取input标签name="lt"的value值<div class="row btn-row"> <input name="lt" value="58d6188......WhhSUo0Q0dLNHloMzU4UQ==" /> <input name="_eventId" value="submit" /> <input name="geolocation" /> ......</div>1.2 调用登录接口进行认证POST https://OMS浮动IP:20009/cas/loginquery params:参数类型说明servicestring实际调用的接口usernamestring用户名passwordstring密码ltstring从1.1中获取的lt的value_eventIdstring值：submit例：https://OMS浮动IP:20009/cas/login?service=https://OMS浮动IP:20026/HBase/HMaster/40/jmx&username=xxx&password=xxx&_eventId=submit<=958fb91b......返回结果：无​1.3 调用/HBase/HMaster/实例编号/jmxGET /HBase/HMaster/实例编号/jmxQuery params: 无例：https://OMS浮动IP:20026/HBase/HMaster/40/jmx返回结果：{ "beans": [ { "name": "Hadoop:service=HBase,name=Master,sub=Coprocessor.Master.CP_org.apache.hadoop.hbase.hindex.global.master.GlobalIndexMasterCoprocessor", "modelerType": "Master,sub=Coprocessor.Master.CP_org.apache.hadoop.hbase.hindex.global.master.GlobalIndexMasterCoprocessor", "tag.Context": "master", "tag.Hostname": "" }, { "name": "Hadoop:service=HBase,name=Master,sub=Coprocessor.Master.CP_org.apache.hadoop.hbase.security.access.ReadOnlyClusterEnabler", "modelerType": "Master,sub=Coprocessor.Master.CP_org.apache.hadoop.hbase.security.access.ReadOnlyClusterEnabler", "tag.Context": "master", "tag.Hostname": "" },......2 代码调用/HBase/HMaster/实例编号/jmx接口代码调用可以参考manager-example样例代码在代码中获取httpclient后，按顺序调用1.1、1.2和1.3中的接口（HttpManager是manager-example样例代码中的类）HttpManager httpManager = new HttpManager();String operationName = "";String operationUrl = ""; operationName = "CasLogGetLt";operationUrl = "https://OMS浮动IP:20009/cas/login?service=https://OMS浮动IP:20026/HBase/HMaster/40/jmx";String content = httpManager.sendHttpGetRequest(httpClient, operationUrl, operationName);String lt = HtmlUtil.getLt(content); operationName = "CasLogAuth";operationUrl = "https://OMS浮动IP:20009/cas/login?service=https://OMS浮动IP:20026/HBase/HMaster/40/jmx&username=xxx&password=xxx&_eventId=submit=" + lt ;httpManager.sendHttpPostRequestWithString(httpClient, operationUrl, null, operationName); operationName = "HBaseMasterJmx";operationUrl = "https://OMS浮动IP:20026/HBase/HMaster/40/jmx";String responseLineContent = httpManager.sendHttpGetRequest(httpClient, operationUrl, operationName);System.out.println(responseLineContent);

如何获取 华为FusionInsight MRS二次开发Redis样例代码 redis-examples项目呢？

我在使用loader通过sftp协议导入数据到hive时，执行作业提示 Sftp文件不存在。 原因： upload/我的页面配置如下我的sftp服务器登陆进去后如下我的报错提示如下，我曾尝试过修改目录，但是似乎没有作用

环境：FusionInsight HD 6513背景：     1. 原集群datanode 机器基本为ARM,且配置较高，设备较新；     2. 现有一批低性能、低配置X86主机，需扩容到集群中；计划：启动HDFS NodeLabel 功能，对HDFS 目录进行打标签，将后扩容主机设置成指定标签目录的主机，以此来规避机器异构可能出现的负载不均等问题。需求:      1. 帮忙确认一下该方案是否可行，是否有更好的方案。      2. 如果此方案可行，是否有需要注意的方向，是否有踩坑案例(越详细越好)可以提供一下。烦请社区的大佬，帮帮忙！

   我最近开发了一个maven项目，想使用spark读取/写入greenplum的数据，但是由于jdbc的传输速度限制。所以想采用greenplum-spark connect这个连接器。当我使用--jars将项目和这个依赖包一起提交上去的时候出现了jar包冲突 报错:classnotfound。所以我又尝试使用jarjar.jar修改相应的包名    但是现在又出现了新的问题，代码中的postgresql依赖找不到对应的class类名报错。   既然外部没办法搞定就从内部项目入手 ……  由于这个依赖属于第三方并不是maven仓库官方提供所以没法加载进入项目中。我尝试加入私有仓库然后再放入我的本地项目中使用maven-shade-plugin将类名包名重定向。不知道是不是第三方依赖的原因，只要提交到cluster上后就会显示找不到类，相当于没有加上这个greenplum-spark依赖。请各位大佬看看是什么原因。 我这边在本地用idea或者Local模式提交都是可以成功的

问题现象：/var/log/Bigdata/controller/scriptlog/install.log然后定位到日志/var/log/Bigdata/controller/controller.log日志中执行krb5的命令失败，manager内放了一个krb5组件。kadmin.local命令由FusionInsight_Manager/software/om/package/ometa/kerberos/scripts/genkeytab.sh中执行，ometa目录是解压了FusionInsight-ometa-2.7.0.tar.gz。尝试替换krb5的版本无法使用在genkeytab.sh脚本里面加sleep不生效请问有哪位大佬了解这块吗，咨询一下krb5执行失败的原因

需求：       想后台方式批量查找FusionInsight HD的管理平台Manager 上的role 角色，都授权了哪些服务，哪些权限。例， 查询A 角色授权了哪些服务和权限，A权限拥有哪些组件权限，Hive组件，有哪些库权限，哪些表/视图权限；HDFS组件，哪些目录有读写权限等。

FusionInsight HD 6513 在线升级 FusionInsight HD 6517版本  需要多长时间？怎么评估的？

FusionInsight HD 6513升级 FusionInsight HD 6517版本，是否支持部分组件在线升级，其他组件离线升级？