MRS3.0.2 私有化集群，当前有9个数据节点数据盘存储不够，想要给数据节点增加数据盘请问给数据节点扩充数据盘的详细操作步骤

问题 我在服务器上有两个 Redis 实例，服务端口号分别是 6379 和 6380，Redis 服务器地址假设为 10.0.0.12。其中 6379 这个实例不需要密码即可访问，6380 需要密码访问。  在正常使用几天后，本机突然无法访问 6379 这个实例，telnet 无法访问到端口。但是远程服务器 10.0.0.13 可以访问 Redis 服务器的 6379 实例。  查找原因 想了所有的可能以后，隐约觉得问题可能在防火墙上，之前从没关心过防火墙设置，确实也没动过这里，但还是要看一看。  先看一下防火墙设置的规则，在 10.0.0.12 Redis 所在的服务器上执行：  iptables -L -n  Chain INPUT (policy ACCEPT) target     prot opt source               destination ACCEPT     tcp  --  10.0.0.13            0.0.0.0/0            tcp dpt:6379 DROP       tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:6379 ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:60115 有问题了，这里第一条规则，确保了 10.0.0.13 可以访问 Redis 6379 端口。解释了为什么远程服务器可以访问 6379 Redis 实例。  第二条规则有点不一样，DROP 是什么意思呢？查了一下文档：DROP 丢弃数据包不予处理。丢弃的是所有的数据包哦，所以，从 10.0.0.13 以外所有的服务器访问 6379 都是不通的。  解决方法 既然找到了问题，那就把这条防火墙规则删除看看。  上面我们看到防火墙设置了 3 条规则，其中第 2 条是需要删除的，删除的命令是：  iptables -D INPUT 2 执行完以后，再看一下规则。  iptables -L -n  Chain INPUT (policy ACCEPT) target     prot opt source               destination ACCEPT     tcp  --  10.0.0.13            0.0.0.0/0            tcp dpt:6379 ACCEPT     tcp  --  0.0.0.0/0            0.0.0.0/0            tcp dpt:60115 Drop 那条已经被删除了。  再访问 Redis 6379 端口就没有问题了。  最后我的疑惑是：这条防火墙规则到底是谁设置的？ ————————————————                              版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。                          原文链接：https://blog.csdn.net/kelvin_yin/article/details/138752263 

环境：FusionInsight HD 6513背景：     1. 原集群datanode 机器基本为ARM,且配置较高，设备较新；     2. 现有一批低性能、低配置X86主机，需扩容到集群中；计划：启动HDFS NodeLabel 功能，对HDFS 目录进行打标签，将后扩容主机设置成指定标签目录的主机，以此来规避机器异构可能出现的负载不均等问题。需求:      1. 帮忙确认一下该方案是否可行，是否有更好的方案。      2. 如果此方案可行，是否有需要注意的方向，是否有踩坑案例(越详细越好)可以提供一下。烦请社区的大佬，帮帮忙！

需求：       想后台方式批量查找FusionInsight HD的管理平台Manager 上的role 角色，都授权了哪些服务，哪些权限。例， 查询A 角色授权了哪些服务和权限，A权限拥有哪些组件权限，Hive组件，有哪些库权限，哪些表/视图权限；HDFS组件，哪些目录有读写权限等。

【功能模块】HCS8.1.1 MRS console【操作步骤&问题现象】1、HCS升级后（MRS管里面已升级完毕）MRS console页面上选择集群提交作业2、编辑作业形式，提交，报服务器内部问题的错【截图信息】【日志信息】（可选，上传日志内容或者附件）

目录1 课程说明... 1课程介绍... 1课程目标... 1相关资料... 12 实验环境... 22.1 实验环境... 23 需求描述... 33.1 实验目的... 33.2 根据需求进行业务逻辑梳理... 33.3 模型设计... 34 质差小区批处理开发... 54.1 准备工作... 54.2 创建工程... 54.3 创建轻量化ETL. 84.4 在线调测... 174.5 APP编译、打包... 21 

【功能模块】进入hetu命令行不管输入什么都报错：Error running command: java.net.ConnectException: Failed to connect to /192.168.1.140:29884但是这个ip不是hetu的节点，不知道为什么会去连这个ip【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

DWS版本：8.1.1MRS：3.0.2Flink：1.12.0Flink读取kafka数据，sink到dws里面。程序正常运行12小时左右就报错。但是超时的参数都配置的没问题。statement_timeout=0;session_timeout=0;这俩参数都没问题。但是不知道为什么就会中断了？

【功能模块】hetu需要配置内置的hive元数据作为数据源，请问是否支持？是添加为gaussdb数据源吗？或者hive内置元数据库怎么连接呢【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【摘要】 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。本文分享自华为云社区《【云小课】EI第47课 MRS离线数据分析-通过Flink作业处理OBS数据》，作者：Hello EI 。MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。在本示例中，我们使用MRS集群内置的Flink WordCount作业程序，来分析OBS文件系统中保存的源数据，以统计源数据中的单词出现次数。当然您也可以获取MRS服务样例代码工程，参考Flink开发指南开发其他Flink流作业程序。本案例基本操作流程如下所示：创建MRS集群创建并购买一个包含有Flink组件的MRS集群，详情请参见购买自定义集群。本文以购买MRS 3.1.0版本的集群为例，集群未开启Kerberos认证。在本示例中，由于我们要分析处理OBS文件系统中的数据，因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托，使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”，也可以自行创建其他具有OBS文件系统操作权限的自定义委托。集群购买成功后，在MRS集群的任一节点内，使用omm用户安装集群客户端，具体操作可参考安装并使用集群客户端。例如客户端安装目录为“/opt/client”。准备测试数据在创建Flink作业进行数据分析前，我们需要在提前准备待分析的测试数据，并将该数据上传至OBS文件系统中。本地创建一个“mrs_flink_test.txt”文件，例如文件内容如下：This is a test demo for MRS Flink. Flink is a unified computing framework that supports both batch processing and stream processing. It provides a stream data processing engine that supports data distribution and parallel computing.在云服务列表中选择“存储 > 对象存储服务”，登录OBS管理控制台。单击“并行文件系统”，创建一个并行文件系统，并上传测试数据文件。例如创建的文件系统名称为“mrs-demo-data”，单击系统名称，在“文件”页面中，新建一个文件夹“flink”，上传测试数据至该目录中。则本示例的测试数据完整路径为“obs://mrs-demo-data/flink/mrs_flink_test.txt”。上传数据分析应用程序。使用管理台界面直接提交作业时，将已开发好的Flink应用程序jar文件也可以上传至OBS文件系统中，或者MRS集群内的HDFS文件系统中。本示例中我们使用MRS集群内置的Flink WordCount样例程序，可从MRS集群的客户端安装目录中获取，即“/opt/client/Flink/flink/examples/batch/WordCount.jar”。将“WordCount.jar”上传至“mrs-demo-data/program”目录下。创建并运行Flink作业方式1：在控制台界面在线提交作业。登录MRS管理控制台，单击MRS集群名称，进入集群详情页面。在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。单击“作业管理”，进入“作业管理”页签。单击“添加”，添加一个Flink作业。作业类型：Flink作业名称：自定义，例如flink_obs_test。执行程序路径：本示例使用Flink客户端的WordCount程序为例。运行程序参数：使用默认值。执行程序参数：设置应用程序的输入参数，“input”为待分析的测试数据，“output”为结果输出文件。例如本示例中，我们设置为“--input obs://mrs-demo-data/flink/mrs_flink_test.txt --output obs://mrs-demo-data/flink/output”。服务配置参数：使用默认值即可，如需手动配置作业相关参数，可参考运行Flink作业。确认作业配置信息后，单击“确定”，完成作业的新增，并等待运行完成。方式2：通过集群客户端提交作业。使用root用户登录集群客户端节点，进入客户端安装目录。su - omm cd /opt/client source bigdata_env执行以下命令验证集群是否可以访问OBS。hdfs dfs -ls obs://mrs-demo-data/flink提交Flink作业，指定源文件数据进行消费。flink run -m yarn-cluster /opt/client/Flink/flink/examples/batch/WordCount.jar --input obs://mrs-demo-data/flink/mrs_flink_test.txt --output obs://mrs-demo/data/flink/output2执行后结果类似如下：... Cluster started: Yarn cluster with application id application_1654672374562_0011 Job has been submitted with JobID a89b561de5d0298cb2ba01fbc30338bc Program execution finished Job with JobID a89b561de5d0298cb2ba01fbc30338bc has finished. Job Runtime: 1200 ms查看作业执行结果作业提交成功后，登录MRS集群的FusionInsight Manager界面，选择“集群 > 服务 > Yarn”。单击“ResourceManager WebUI”后的链接进入Yarn Web UI界面，在Applications页面查看当前Yarn作业的详细运行情况及运行日志。等待作业运行完成后，在OBS文件系统中指定的结果输出文件中可查看数据分析输出的结果。下载“output”文件到本地并打开，可查看输出的分析结果。a 3 and 2 batch 1 both 1 computing 2 data 2 demo 1 distribution 1 engine 1 flink 2 for 1 framework 1 is 2 it 1 mrs 1 parallel 1 processing 3 provides 1 stream 2 supports 2 test 1 that 2 this 1 unified 1使用集群客户端命令行提交作业时，若不指定输出目录，在作业运行界面也可直接查看数据分析结果。Job with JobID xxx has finished. Job Runtime: xxx ms Accumulator Results: - e6209f96ffa423974f8c7043821814e9 (java.util.ArrayList) [31 elements] (a,3) (and,2) (batch,1) (both,1) (computing,2) (data,2) (demo,1) (distribution,1) (engine,1) (flink,2) (for,1) (framework,1) (is,2) (it,1) (mrs,1) (parallel,1) (processing,3) (provides,1) (stream,2) (supports,2) (test,1) (that,2) (this,1) (unified,1)

【功能模块】如题：result = model.predict(input_data) predict 没有分batch 的参数，是不是这能手动拆分推理【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】kafka消费线程停止，并报错，报错日志在下面【操作步骤&问题现象】1、2、【截图信息】这是我们消费端kafka配置,看报错说group.instance.id问题不知道怎么回事【日志信息】（可选，上传日志内容或者附件）2022-07-04 10:53:51.550 ERROR [] [kafkaTopicNormalConsumer]  com.cloudwalk.portal.config.HwMrsKafkaConfig$1[76] - [kafkaTopicNormalConsumer]: Error due toorg.apache.kafka.common.errors.FencedInstanceIdException: The broker rejected this static consumer since another consumer with the same group.instance.id has registered with a different member.id.2022-07-04 10:53:51.508 ERROR [] [kafkaTopicNormalConsumer]  org.apache.kafka.clients.consumer.internals.AbstractCoordinator[1326] - [Consumer instanceId=mh_id_c, clientId=consumer-1-mh_id_c, groupId=1] Caught fenced group.instance.id Optional[mh_id_c] error in heartbeat thread2022-07-04 10:53:51.461 ERROR [] [kafkaTopicNormalConsumer]  org.apache.kafka.clients.consumer.internals.AbstractCoordinator[1062] - [Consumer instanceId=mh_id_c, clientId=consumer-1-mh_id_c, groupId=1] Received fatal exception: group.instance.id gets fenced

【功能模块】clickhouse、hetuengine【操作步骤&问题现象】1、在clickhouse两个节点查询的库不一致节点1：节点2：2、在hetu上配置clickhouse数据源，使用hetu查询，一开始能查到5个库，后来又只能查到3个库，查不到想要的库【截图信息】【日志信息】（可选，上传日志内容或者附件）

1、应用系统本身有大数据平台，是基于开源组件搭建的，现在要适配MRS安全集群，打算将原有大数据平台与应用先行解耦，再在MRS上进行组件适配，不知道此思路是否正确？2、安全集群内MRS内的组件需要做安全认证，但MRS内的组件并不能满足所有业务需求，还需要部署开源组件，开源组件涉及到调度MRS内的组件，请问这种情况是否需要做安全认证？

已经在porm里面配置了maven仓库配置是默认配置但是报错这个去官方仓库里找到的是这个所以maven解析的时候3.5.6-hw-ei-310003-12.0版本号里面多出来了hw-ei-310003。手动修改版本号也不行。求助