环境：FusionInsight HD 6513背景：     1. 原集群datanode 机器基本为ARM,且配置较高，设备较新；     2. 现有一批低性能、低配置X86主机，需扩容到集群中；计划：启动HDFS NodeLabel 功能，对HDFS 目录进行打标签，将后扩容主机设置成指定标签目录的主机，以此来规避机器异构可能出现的负载不均等问题。需求:      1. 帮忙确认一下该方案是否可行，是否有更好的方案。      2. 如果此方案可行，是否有需要注意的方向，是否有踩坑案例(越详细越好)可以提供一下。烦请社区的大佬，帮帮忙！

需求：       想后台方式批量查找FusionInsight HD的管理平台Manager 上的role 角色，都授权了哪些服务，哪些权限。例， 查询A 角色授权了哪些服务和权限，A权限拥有哪些组件权限，Hive组件，有哪些库权限，哪些表/视图权限；HDFS组件，哪些目录有读写权限等。

【功能模块】HCS8.1.1 MRS console【操作步骤&问题现象】1、HCS升级后（MRS管里面已升级完毕）MRS console页面上选择集群提交作业2、编辑作业形式，提交，报服务器内部问题的错【截图信息】【日志信息】（可选，上传日志内容或者附件）

目录1 课程说明... 1课程介绍... 1课程目标... 1相关资料... 12 实验环境... 22.1 实验环境... 23 需求描述... 33.1 实验目的... 33.2 根据需求进行业务逻辑梳理... 33.3 模型设计... 34 质差小区批处理开发... 54.1 准备工作... 54.2 创建工程... 54.3 创建轻量化ETL. 84.4 在线调测... 174.5 APP编译、打包... 21 

【功能模块】进入hetu命令行不管输入什么都报错：Error running command: java.net.ConnectException: Failed to connect to /192.168.1.140:29884但是这个ip不是hetu的节点，不知道为什么会去连这个ip【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

DWS版本：8.1.1MRS：3.0.2Flink：1.12.0Flink读取kafka数据，sink到dws里面。程序正常运行12小时左右就报错。但是超时的参数都配置的没问题。statement_timeout=0;session_timeout=0;这俩参数都没问题。但是不知道为什么就会中断了？

【功能模块】hetu需要配置内置的hive元数据作为数据源，请问是否支持？是添加为gaussdb数据源吗？或者hive内置元数据库怎么连接呢【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【摘要】 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。本文分享自华为云社区《【云小课】EI第47课 MRS离线数据分析-通过Flink作业处理OBS数据》，作者：Hello EI 。MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。在本示例中，我们使用MRS集群内置的Flink WordCount作业程序，来分析OBS文件系统中保存的源数据，以统计源数据中的单词出现次数。当然您也可以获取MRS服务样例代码工程，参考Flink开发指南开发其他Flink流作业程序。本案例基本操作流程如下所示：创建MRS集群创建并购买一个包含有Flink组件的MRS集群，详情请参见购买自定义集群。本文以购买MRS 3.1.0版本的集群为例，集群未开启Kerberos认证。在本示例中，由于我们要分析处理OBS文件系统中的数据，因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托，使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”，也可以自行创建其他具有OBS文件系统操作权限的自定义委托。集群购买成功后，在MRS集群的任一节点内，使用omm用户安装集群客户端，具体操作可参考安装并使用集群客户端。例如客户端安装目录为“/opt/client”。准备测试数据在创建Flink作业进行数据分析前，我们需要在提前准备待分析的测试数据，并将该数据上传至OBS文件系统中。本地创建一个“mrs_flink_test.txt”文件，例如文件内容如下：This is a test demo for MRS Flink. Flink is a unified computing framework that supports both batch processing and stream processing. It provides a stream data processing engine that supports data distribution and parallel computing.在云服务列表中选择“存储 > 对象存储服务”，登录OBS管理控制台。单击“并行文件系统”，创建一个并行文件系统，并上传测试数据文件。例如创建的文件系统名称为“mrs-demo-data”，单击系统名称，在“文件”页面中，新建一个文件夹“flink”，上传测试数据至该目录中。则本示例的测试数据完整路径为“obs://mrs-demo-data/flink/mrs_flink_test.txt”。上传数据分析应用程序。使用管理台界面直接提交作业时，将已开发好的Flink应用程序jar文件也可以上传至OBS文件系统中，或者MRS集群内的HDFS文件系统中。本示例中我们使用MRS集群内置的Flink WordCount样例程序，可从MRS集群的客户端安装目录中获取，即“/opt/client/Flink/flink/examples/batch/WordCount.jar”。将“WordCount.jar”上传至“mrs-demo-data/program”目录下。创建并运行Flink作业方式1：在控制台界面在线提交作业。登录MRS管理控制台，单击MRS集群名称，进入集群详情页面。在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。单击“作业管理”，进入“作业管理”页签。单击“添加”，添加一个Flink作业。作业类型：Flink作业名称：自定义，例如flink_obs_test。执行程序路径：本示例使用Flink客户端的WordCount程序为例。运行程序参数：使用默认值。执行程序参数：设置应用程序的输入参数，“input”为待分析的测试数据，“output”为结果输出文件。例如本示例中，我们设置为“--input obs://mrs-demo-data/flink/mrs_flink_test.txt --output obs://mrs-demo-data/flink/output”。服务配置参数：使用默认值即可，如需手动配置作业相关参数，可参考运行Flink作业。确认作业配置信息后，单击“确定”，完成作业的新增，并等待运行完成。方式2：通过集群客户端提交作业。使用root用户登录集群客户端节点，进入客户端安装目录。su - omm cd /opt/client source bigdata_env执行以下命令验证集群是否可以访问OBS。hdfs dfs -ls obs://mrs-demo-data/flink提交Flink作业，指定源文件数据进行消费。flink run -m yarn-cluster /opt/client/Flink/flink/examples/batch/WordCount.jar --input obs://mrs-demo-data/flink/mrs_flink_test.txt --output obs://mrs-demo/data/flink/output2执行后结果类似如下：... Cluster started: Yarn cluster with application id application_1654672374562_0011 Job has been submitted with JobID a89b561de5d0298cb2ba01fbc30338bc Program execution finished Job with JobID a89b561de5d0298cb2ba01fbc30338bc has finished. Job Runtime: 1200 ms查看作业执行结果作业提交成功后，登录MRS集群的FusionInsight Manager界面，选择“集群 > 服务 > Yarn”。单击“ResourceManager WebUI”后的链接进入Yarn Web UI界面，在Applications页面查看当前Yarn作业的详细运行情况及运行日志。等待作业运行完成后，在OBS文件系统中指定的结果输出文件中可查看数据分析输出的结果。下载“output”文件到本地并打开，可查看输出的分析结果。a 3 and 2 batch 1 both 1 computing 2 data 2 demo 1 distribution 1 engine 1 flink 2 for 1 framework 1 is 2 it 1 mrs 1 parallel 1 processing 3 provides 1 stream 2 supports 2 test 1 that 2 this 1 unified 1使用集群客户端命令行提交作业时，若不指定输出目录，在作业运行界面也可直接查看数据分析结果。Job with JobID xxx has finished. Job Runtime: xxx ms Accumulator Results: - e6209f96ffa423974f8c7043821814e9 (java.util.ArrayList) [31 elements] (a,3) (and,2) (batch,1) (both,1) (computing,2) (data,2) (demo,1) (distribution,1) (engine,1) (flink,2) (for,1) (framework,1) (is,2) (it,1) (mrs,1) (parallel,1) (processing,3) (provides,1) (stream,2) (supports,2) (test,1) (that,2) (this,1) (unified,1)

【功能模块】如题：result = model.predict(input_data) predict 没有分batch 的参数，是不是这能手动拆分推理【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】kafka消费线程停止，并报错，报错日志在下面【操作步骤&问题现象】1、2、【截图信息】这是我们消费端kafka配置,看报错说group.instance.id问题不知道怎么回事【日志信息】（可选，上传日志内容或者附件）2022-07-04 10:53:51.550 ERROR [] [kafkaTopicNormalConsumer]  com.cloudwalk.portal.config.HwMrsKafkaConfig$1[76] - [kafkaTopicNormalConsumer]: Error due toorg.apache.kafka.common.errors.FencedInstanceIdException: The broker rejected this static consumer since another consumer with the same group.instance.id has registered with a different member.id.2022-07-04 10:53:51.508 ERROR [] [kafkaTopicNormalConsumer]  org.apache.kafka.clients.consumer.internals.AbstractCoordinator[1326] - [Consumer instanceId=mh_id_c, clientId=consumer-1-mh_id_c, groupId=1] Caught fenced group.instance.id Optional[mh_id_c] error in heartbeat thread2022-07-04 10:53:51.461 ERROR [] [kafkaTopicNormalConsumer]  org.apache.kafka.clients.consumer.internals.AbstractCoordinator[1062] - [Consumer instanceId=mh_id_c, clientId=consumer-1-mh_id_c, groupId=1] Received fatal exception: group.instance.id gets fenced

【功能模块】clickhouse、hetuengine【操作步骤&问题现象】1、在clickhouse两个节点查询的库不一致节点1：节点2：2、在hetu上配置clickhouse数据源，使用hetu查询，一开始能查到5个库，后来又只能查到3个库，查不到想要的库【截图信息】【日志信息】（可选，上传日志内容或者附件）

1、应用系统本身有大数据平台，是基于开源组件搭建的，现在要适配MRS安全集群，打算将原有大数据平台与应用先行解耦，再在MRS上进行组件适配，不知道此思路是否正确？2、安全集群内MRS内的组件需要做安全认证，但MRS内的组件并不能满足所有业务需求，还需要部署开源组件，开源组件涉及到调度MRS内的组件，请问这种情况是否需要做安全认证？

已经在porm里面配置了maven仓库配置是默认配置但是报错这个去官方仓库里找到的是这个所以maven解析的时候3.5.6-hw-ei-310003-12.0版本号里面多出来了hw-ei-310003。手动修改版本号也不行。求助

背景信息DLI在创建运行作业需要连接外部其他数据源，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。创建增强型跨源连接网络不通的问题，可以根据本指导的整体流程和步骤进行排查验证。前提条件已创建DLI队列。创建队列详见创建DLI队列操作指导。注意：队列的计费类型需要为：“包年/包月”或“按需计费”时勾选“专属资源模式”才能创建增强型跨源连接。已创建对应的外部数据源集群。具体对接的外部数据源根据业务自行选择。表1 创建各外部数据源参考服务名参考文档链接RDSRDS MySQL快速入门。DWS创建DWS集群。DMS Kafka创建Kafka实例。注意：创建DMS Kafka实例时，不能开启Kafka SASL_SSL。CSS创建CSS集群。MRS创建MRS集群。注意：绑定跨源的DLI队列网段和其他数据源子网网段不能重合。系统default队列不支持创建跨源连接。整体流程创建增强型跨源连接，整体分为以下操作步骤：图1 增强型跨源连接配置流程步骤1：获取外部数据源的内网IP、端口和安全组各数据源信息获取DMS Kafka在Kafka管理控制台，选择“Kafka专享版”，单击对应的Kafka名称，进入到Kafka的基本信息页面。在“连接信息”中获取该Kafka的“内网连接地址”，在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息。Kafka的基本信息页面，“网络 > 安全组”参数下获取Kafka的安全组。RDS在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”，获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。CSS在CSS管理控制台，选择“集群管理”，单击已创建的CSS集群名称，进入到CSS的基本信息页面。在“基本信息”中获取CSS的“内网访问地址”、“虚拟私有云”、“子网”和“安全组”信息，方便后续操作步骤使用。DWS在DWS管理控制台，选择“集群管理”，单击已创建的DWS集群名称，进入到DWS的基本信息页面。在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”，“基本信息”页面的“网络”中获取“虚拟私有云”、“子网”和“安全组”信息，方便后续操作步骤使用。MRS HBase以MRS 3.x版本集群为例。登录MRS管理控制台，单击“集群列表 > 现有集群”，单击对应的集群名称，进入到集群概览页面。在集群概览页面“基本信息”中获取“虚拟私有云”、“子网”和“安全组”。因为在创建连接MRS HBase的作业时，需要用到MRS集群的ZooKeeper实例和端口，则还需要获取MRS集群主机节点信息。参考访问MRS Manager登录MRS Manager，在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”，根据“主机名称”和“业务IP”获取ZooKeeper的主机信息。在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“clientPort”，获取“clientPort”的参数值即为ZooKeeper的端口。使用root用户ssh登录任意一个MRS主机节点。具体请参考登录MRS集群节点。执行以下命令获取MRS对应主机节点的hosts信息，复制保存。cat /etc/hosts例如，查询结果参考如下，将内容复制保存，以备后续步骤使用。步骤2：获取DLI队列网段在DLI管理控制台，单击“队列管理”，选择运行作业的队列，单击队列名称旁的按钮，获取队列的网段信息。步骤3：外部数据源的安全组添加放通DLI队列网段的规则进入到对应数据源的管理控制台，参考步骤1：获取外部数据源的内网IP、端口和安全组获取对应数据源的安全组。登录VPC控制台，单击“访问控制 > 安全组”，单击对应的安全组名称，在“入方向规则”中添加放通队列网段的规则。规则添加为：优先级选为：1，策略选为：允许，协议选择：TCP，端口值不填或者填写为步骤1：获取外部数据源的内网IP、端口和安全组获取的数据源的端口，类型：IPV4，源地址为：步骤2：获取DLI队列网段获取的队列网段，单击“确定”完成安全组规则添加。步骤4：创建增强型跨源连接登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。连接名称：设置具体的增强型跨源名称。队列：选择DLI的队列。虚拟私有云：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的虚拟私有云。子网：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的子网。其他参数可以根据需要选择配置。参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。如果是连接MRS HBase，则还需要添加MRS的主机节点信息，具体步骤如下：在“跨源管理 > 增强型跨源”中，在已创建的增强型跨源连接的“操作”列，单击“更多 > 修改主机信息”。在“主机信息”参数中，将步骤1：获取外部数据源的内网IP、端口和安全组中获取到的MRS HBase主机节点信息拷贝追加进去。图2 修改主机信息单击“确定”完成主机信息添加。步骤5：测试网络连通性单击“队列管理”，选择操作的队列，在操作列，单击“更多 > 测试地址连通性”。在“测试连通性”界面，根据步骤1：获取外部数据源的内网IP、端口和安全组中获取的数据源的IP和端口，地址栏输入“数据源内网IP:数据源端口”，单击“测试”测试DLI到外部数据源网络是否可达。说明：MRS HBase在测试网络连通性的时候，使用：ZooKeeperIP地址:ZooKeeper端口，或者，ZooKeeper的主机信息:ZooKeeper端口。

>摘要：本文主要介绍如何在MRS之上使用Superset进行数据分析。 本文分享自华为云社区《[使用商业智能软件Superset分析MRS数据之最佳实践](https://bbs.huaweicloud.com/blogs/358344?utm_source=csdn&utm_medium=bbs-ex&utm_campaign=ei&utm_content=content)》，作者： 啊喔YeYe 。 # 1. 概要 ## Superset Apache Superset是一个现代的数据探索和可视化平台。具有功能强大、支持数据种类多、使用简单、易扩展、可视化能力丰富等诸多优势，在github上也有4.6w+的star.  ## MRS MRS是华为云提供的一站式大数据平台，基本覆盖了Hadoop生态中常用的基本组件，免去我们运维、搭建的烦恼。 本文主要介绍如何在MRS之上使用Superset进行数据分析。 # 2.环境准备 1. 在华为云购买创建弹性云服务器ECS（公共镜像建议选择CentOS 8.2 64bit），用于安装运行Superset，并绑定弹性公网IP，用于访问公网安装依赖包和Superset服务。 2. MRS服务开通，选择MRS 3.1.0版本的普通集群模式。注意网络与superset打通 # 3. superset安装 ## 3.1 登录已购买的Linux弹性云服务器，执行以下命令安装Superset运行依赖包 ``` yum install gcc gcc-c++ libffi-devel openssl-devel cyrus-sasl-devel openldap-devel python36-devel cyrus-sasl-plain ``` ## 3.2 执行以下命令升级pip版本 ``` pip3 install --upgrade pip ``` ## 3.3 执行以下命令安装python虚拟环境 ``` pip install virtualenv ``` ## 3.4 执行以下命令创建，并进入python虚拟环境 ``` python3 -m venv venv . venv/bin/activate ``` ## 3.5 执行以下命令安装python依赖包 ``` pip install dataclasses pip install pyhive[hive] pip install pyhive[presto] 3.6 执行以下命令安装Superset pip install apache-superset ``` ## 3.7 执行以下命令初始化database ``` superset db upgrade ``` ## 3.8 执行以下命令创建admin用户。需要输入用户名、FirstName、LastName和电子邮箱地址和密码 ``` export FLASK_APP=superset superset fab create-admin ``` ## 3.9 执行以下命令初始化角色和用户信息 ``` superset init ``` ## 3.10 执行以下命令启动superset服务 ``` superset run -p 8088 -h 0.0.0.0 --with-threads --reload --debugger ``` ## 3.11 选择“服务列表 > 弹性云服务器ECS > 待操作弹性云服务器名称 > 安全组”，单击“配置规则”。在配置规则界面，选择“入方向规则 > 添加规则”，将协议端口设置为8088，源地址设置为访问Supereset页面的机器的IP。 ## 3.12 访问http://ECS弹性IP:8088，并以admin用户登录，开始使用Superset  # 4. MRS Hive对接 MRS HiveServer通过ZooKeeper实现高可用，Superset直接使用pyhive连接HiveServer，无法通过ZooKeeper进行服务发现，因此只配置连接一个HiveServer。 ## 4.1 登录MRS管理控制台，在现有集群页面，单击集群名称进入MRS Manager页面。选择“组件管理 > Hive > 实例”，查看HiveServer实例所在节点IP  ## 4.2 在Superset界面，选择“Data > Databases”，单击右侧的“+”按钮进入创建Database页面  ## 4.3 在Add Database页面填写Database和SQL Alchemy URI。SQL Alchemy URI的填写内容为“hive://{HiveServer实例ip}:端口/{hive database名字}?auth=NONE”，其中，{HiveServer实例ip}为HiveServer实例的业务IP，{hive database名字}为要连接的Hive Database，例如default。勾选“Expose in SQL Lab”，单击“Save”保存配置. MRS 普通集群hiveserver2默认端口为10000。查看方式：登录manager，点击hive服务，点击全部配置，搜索hive.server2.thrift.port  superset配置：  ## 4.4 选择“SQL Lab > SQL Editor”，进入Untitled Query页面。在左侧“Database”下拉菜单中选择创建好的Database，在“Select a schema”下拉菜单中选择要查询的Schema（即Hive的databse，如default），在中间SQL编辑框内输入SQL语句。然后单击“RUN”按钮执行SQL，在下方Result页签中查看执行结果。  # 5. MRS SparkJDBC对接使用 ## 5.1 参考hive对接方式获取SparkJDBC实例ip与端口（默认22550，配置项：hive.server2.thrift.port），然后在Superset添加database。  ## 5.2 执行SQL验证  # 6. Superset中使用MRS PrestoSQL ## 6.1 在Manager界面，选择“集群 > 服务 > Presto > 配置 > 全部配置” ，搜索配置项PRESTO_COORDINATOR_FLOAT_IP ，获取Presto Coordinator浮动IP  端口：默认7520  ## 6.2 添加Presto database SQL Alchemy URI填写内容为“presto://{Presto Coordinator浮动IP}:{port}/{catalog名称}/{schema名称}”，其中{Presto Coordinator浮动IP}为1中获取的Presto Coordinator浮动IP，{catalog名称}为要连接的Presto catalog，{schema名称}为catalog对应的schema名字，例如hive/default.  ## 6.3 执行Presto SQL验证