MRS 是否支持只修改wsip 为IPV6 地址，其他节点地址，内部OM地址还是保持IPV4 地址。

HD651的大数据各个组件对应连接端口使用有没有文档

问题背景：某集群集群做了kafka集群切换zk服务变更。在变更期间，停止多个kafka业务（主要是Flink流作业）30分钟左右。变更结束后，恢复kafka业务，其中一个Flink作业写Kafka不稳定，运行几分钟后其中一个partition写入超时，导致作业失败。               问题分析：从报错堆栈上来看，数据向topic所在节点发送数据过程中出现了超时，也就是producer端与kafka端连接超时。触发报错的场景一般有两种原因：（1）网络问题：发送数据的客户端到服务端之间存在一定网络延迟，导致发送失败。通过检测网络质量，这个场景能够排除。（2）Kafka服务端异常。分区所在的kafka节点本身存在异常，导致数据发送超时。例如：磁盘、CPU等硬件资源使用过载会出现处理能力下降等。   在登录这个异常的broker节点后，通过磁盘io命令查看磁盘使用率，发现磁盘io长时间处于了90%以上。                 2. 磁盘io长时间处于100%，与节点的数据流量异常有关。对比异常的broker节点和其它的broker节点，发现数据流量较之前增长明显。并且这个节点上的分区大小相比较于其它分区大了将近10倍。                                                             3. 通常出现这种情况时，往往有如下几种场景：     （1）数据带了key而导致的数据倾斜。例如如下写法：                           通过排查业务侧的代码。数据中并没有带有key值，因此该假设不成立。       （2）分区倾斜：业务的数据量大，但是分区数量少。Topic的分区数均衡200分区，每个分区数量不一致。如果分区倾斜每个分区中的数据量应该是一致的。不会出现这种现象。故不成立。      4. 通过观查，出现问题的节点只有一个。也就是说，只要topic的分区在异常的broker节点上，这些分区的数据量就会异常。如果停止了这个异常节点，流量会迁移到另外一个节点上。原因分析Producer的粘性分区特性先来了解一下2.4版本以后引进的粘性特性：https://cwiki.apache.org/confluence/display/KAFKA/KIP-480:+Sticky+Partitioner关于粘性的介绍可以看下这篇文章：cid:link_0划重点：     在6.5.1版本（1.1.0版本）之前，如果数据没有key默认的分区散列算法如下：                                                                                   图一：原始的分区散列算法每条数据会随机选择一个分区数据进入分区所在的Deque队列，deque队列中以batch为单位进行数据缓存，每个batch大小默认为16384bytes（由生产者参数batch.size决定）当满足batch大小满足条件或者超过ling.ms设定时间时，触发数据发送。651版本（kafka为2.4版本）以后，数据不带key的默认发送场景为粘性发送。             ​​​​​​​                                      图二：粘性分区散列算法（1）随即挑选一个可用分区（如果leader不为-1或者none均为可用分区，被选择过的分区在下次选择时候不再作为候选分区）。见代码：               （2） 当至少将分区填满或者达到linger.ms上限后，发送整个分区的数据。         根据上述说明，当设置了linger.ms就意味着要等到到达linger.ms设置的限定时间或者batch.size后才能发送数据。     1. 使用原始的发送方法。数据均匀散列到各个分区，batch.size很难填满，此时就必须要等待到达linger.ms设定的时间限制。在到达时间后，topic的所有分区同时发送请求，例如图一中的topic有三个分区，等待时间超过linger.ms后才会发送请求。    2.  使用粘性分区发送。数据会集中发送到一个分区，这个分区会写满一个batch才会选择另外一个分区。如果在linger.ms设定的时间内写满，那么就会体现发送这个batch的数据，并且在同一时间只产生一个请求。    通过比对，粘性分区从吞吐率和资源使用上都有一定程度的优化。但是粘性设计仍然存在一定的缺陷。见粘性优化方案：KAFKA-10888二，粘性分区的问题​​​​​​​     回到问题中，为什么粘性会带来数据倾斜。上文提到如果数据的发送依赖于linger.ms和batch.size两个参数。在默认情况下linger.ms会配置为0，也就是立即发送。这样每个分区中的数据难达到batch.size的大小就会立即发送。       生产者中有一个参数能够限制生产者最大的请求数量：max.in.flight.requests.per.connection 该参数能够限制生产者与一个broker的链接上最大的请求数量，也就是说当生产者与broker建立一个常链接后，这个链接上能够持有的最多未通过acks确认的发送请求最大数。默认值为5。假设5个链接全部被占用，那么生产者中的数据将的缓存起来，当有可用的链接时。缓存中的数据将以batch的形式发出去。      在有可用发送线程的情况，如下图：                             Producerbatch能够及时发送到kafka的broker节点，并且由于linger.ms设置为0，batch.Size不会写满就会发送。如果kafka的broker节点出现性能问题，例如CPU、磁盘IO、网络等问题导致节点响应慢，就会出现大批量的batch挤压，多数batch都会被填满。如下图：                          此时，这样就会产生这样的现象：1.无异常的节点batch无法写满，发送的量少，分区中的数据量少。2. 异常节点由于响应慢，请求池被占用完，大量的数据挤压，每个batch的数据全部写满。分区中的数据会越来越多。最后所达到的现象就是。每个分区的数据量差异变大。                      ​​​​​​​​​​​​​​更严重的是，如果这个现象一旦出现，性能差的节点会成为短板节点，很难自行恢复，并且性可能会越来越差。解决方案：通过修改分区散列算法能够规避这个问题。（1）Kafka生产者原生API：将散列算法修改为RoundRobin 随机算法。如下配置                         初始化properties时加入配置："partitioner.class"，并且修改value为"org.apache.kafka.clients.producer.RoundRobinPartitioner"（2）如果使用的是Flink作为生产者。如果配置了下图中的内容将使用粘性分区。              可以将上图的红框内容替换为Optional.of(new FlinkFixedPartitioner<>())。

spark支持读取hive事务表么,3.1.1版本

图：client为业务的客户端节点（生产数据、消费数据的节点上图为例，client节点与kafka集群的broker-3节点可能存在网络问题，那么需要用以下的手段进行检测：网络延迟检测：从client节点向broker-3节点发送ping包然后查看前30次的延时，看一下是否有网络抖动，如下命令：ping –s 5000 broker-3IP延时在20ms以内则认为正常。2. 带宽检测：网络延迟没有问题并不代表带宽是正常的，通常带宽的检查方法使用scp命令就能够看出带宽的大小。流程如下：找一个1G左右的压缩文件（不要使用文件夹）执行scp命令，将文件传送到broker-3节点的/tmp目录下，命令如下：scp 文件root@broker-3 ip:/tmp/  执行结果例如如下：如上结果，每秒传送性能在107M左右，如果这个性能低于80M则认为带宽不足或者带宽占用量大。可定性为网络质量问题。

kafka-root.log 位于broker实例所在节点的路径：/var/log/Bigdata/kafka/broker下，该日志里面会统计每分钟kafka磁盘io的使用率，打印信息如下：可以通过Linux命令批量检查一个或者整个集群的io使用情况。         （1）查询一个broker节点的io使用情况，并且过滤掉0.0x的低磁盘使用率数据。登录到其中一个broker节点的后台目录/var/log/Bigdata/kafka/broker，执行以下命令cat kafka-root.* |   grep "Collect topic partition" | awk -F'is:' '{print $2}' | awk -F',' '{print $1}' | grep –v "0.0"（2） 查询整个集群所有broker节点的io使用情况，并且过滤掉0.0x的低磁盘使用率数据。通过前台将对应时间段的kafka日志全部收集回来在本地全部解压缩后，在根目录下全部查询，zgrep ioUsage ./根目录kafka的目录*/var/log/Bigdata/kafka/broker/kafka-root.* | grep "Collect topic partition" | awk -F'topic info' '{print $1}' | awk '{print $1 " " $2 " " $15}' | grep -v "0.0"例如：如下根目录下kafka的目录名称为n-kafka-* 那么命令为zgrep "ioUsage" ./n-kafka-*/var/log/Bigdata/kafka/broker/kafka-root.* | grep "Collect topic partition" | awk -F'topic info' '{print $1}' | awk '{print $1" "$2 " " $15}' | grep -v "0.0"得出的结果如下：如果以上的结果持续出现0.8~1.0的数值，说明磁盘io在80%~100%之间，磁盘可能存在异常注意：在8.0版本后ioUsage的数据信息被调整为了DEBUG，如果需要该数据需要手动调整broker节点的log4j日志。调整方式如下：1，登录到每个broker节点的/opt/huawei/Bigdata/FusionInsight_Current/*_*_Broker/etc目录下2，打开log4j.properties文件vim log4j.properties3，在最后一行追加log4j.logger.com.huawei.kafka.PartitionStatusMetrics=DEBUG,rootAppender

PR巡检是RAID卡的一个特性，它会周期性的定时巡检磁盘，对数据进行检查校验，以防出错，但是在巡检的时候会导致磁盘读写性能下降。Raid卡缓存写策略，建议使用WB模式，WB：在配置界面中一般体现为“Write Back”等字样。使用此策略后，需要向虚拟磁盘写数据时，会直接写入Cache中，当写入的数据积累到一定程度，RAID卡才将数据刷新到虚拟磁盘，这样不但实现了批量写入，而且提升了数据写入的速度。当控制器Cache收到所有的传输数据后，将给主机返回数据传输完成信号。要使用该策略，要求RAID卡支持数据掉电保护功能，且如果此时超级电容异常，可能导致数据丢失。WT：在配置界面中一般体现为“Write Through”等字样。使用此策略后，RAID卡向虚拟磁盘直接写入数据，不经过Cache。当磁盘子系统接收到所有传输数据后，控制器将给主机返回数据传输完成信号。此策略缺点是写入速度较低。排查方式：针对以上两种场景，均有明显的磁盘IO升高的情况，建议通过3.3章节对kafka-root.log进行检查。如果kafka集群的磁盘部署使用了raid5建议硬件侧关闭PR巡检。开启WB模式

在客户端连接hbase shell 之后 建表没权限：hbase:001:0> create 'table1', 'cf'ERROR: org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions for user 'humh@HADOOP.COM' (action=create)For usage try 'help "create"'Took 1.7642 second用户humh登录时：kinit humh 后执行的。麻烦处理

分类文档链接备注最新动态cid:link_6特性清单cid:link_5原子API参考https://support.huaweicloud.com/api-mrs/mrs_02_0007.htmlFAQcid:link_4华为云在线课程（免费）MRS中级工程师课程https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE098+Self-paced/about?isAuth=0&cfrom=hwcMapReduce服务（MapReduce Service）提供租户完全可控的企业级一站式大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。本课程为大家介绍MRS基本概念、MRS集群部署以及大数据迁移组件的基础知识。MRS高级工程师课程https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE102+Self-paced/about?isAuth=0&cfrom=hwcMapReduce服务（MapReduce Service）提供租户完全可控的企业级一站式大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。本课程通过深入介绍MRS服务HCS环境的搭建，以及大数据分层迁移上云方案和案例的介绍，助您掌握MRS大数据服务的进阶技能。华为云培训服务（收费）华为云智能数据培训服务cid:link_2大数据架构与技术原理、数据治理、MRS、DGC相关培训与认证，提升用户使用并基于华为云大数据产品进行业务规划与设计的能力。（华为云大数据工程师培训/华为云大数据高级工程师培训/华为云大数据工作级开发者认证培训/华为云数据治理高级工程师培训）华为云开发者网MRS开放能力cid:link_7

在hive里创建udf后，如何复用？例如使用用户usr_a在数据库database_a创建udf1后，如何授权给usr_b用户使用。是否有grant select on function database_a.udf1 to user usr_b;类似的授权语句。请专家予以解答，多谢。

页面报错截图如下所示：

如图，decimal类型的数据写入hdfs后，通过hive external表读取，两边类型一致(均为decimal)时，hive读取的值为NULL，当修改hive external数据类型为String时，读取到的值为7014XXXX，烦请专家予以解答。

操作场景Apache Livy 是一个可以通过 REST 接口与 Spark 集群进行交互的服务，它可以提交 Spark 作业或者 Spark 代码片段，同步或者异步的进行结果检索以及 Spark Context 上下文管理。了解更多请访问livy官网http://livy.incubator.apache.org/。本指导旨在介绍，如何在创建集群时添加引导操作，利用shell脚本自动化地在MRS集群master节点安装livy。使用限制在创建集群时使用只在master节点安装livy创建集群时需要赋予集群默认委托MRS_ECS_DEFAULT_AGENCY，赋予集群节点权限从OBS对象桶中下载livy安装包只适用于MRS普通集群，开启kerberos认证的安全集群暂不适用前提条件对MRS集群引导操作功能有一定了解，具体可以参见链接引导操作简介、通过引导操作安装第三方软件、引导操作脚本样例文后所附引导操作脚本bootstrap-livy.sh已上传到OBS桶某路径下，本指导存放脚本的OBS桶路径以"obs://qianyu-xg/"为例。livy安装包已下载，并上传到OBS桶某路径下，附livy安装包官方下载链接livy-download。本指导存放livy安装包的OBS桶路径以"obs://qianyu-xg/pack/"为例，livy安装包名以"apache-livy-0.7.1-incubating-bin.zip"为例操作步骤1、如下图所示，使用自定义购买方式购买MRS集群：2、如下图，在高级配置阶段，点选引导操作添加按钮：3、如下图所示，填写引导操作相关参数，具体参数内容见如下描述描述：名称：该引导操作名称，默认bootstrap_0，可不做修改脚本路径：bootstrap-livy.sh在OBS对象桶上存放的全路径，obs://qianyu-xg/bootstrap-livy.sh参数：bootstrap-livy.sh的脚本入参，第一个为livy安装包存放路径，obs://qianyu-xg/pack/，第二个为livy安装包全名，apache-livy-0.7.1-incubating-bin.zip 执行节点：只选择master节点，active master可以不开启执行时机：组件首次启动后失败操作：继续4、以上操作结束后，点选确定，完成引导操作添加：5、集群创建完成后，使用EIP访问livy web ui，浏览器中输入 http://${manager_eip}:8998/ 访问附：引导脚本bootstrap-livy.sh#!/bin/bash -exBUCKET_PATH=$1ZIP_FILE=$2LIVY_DIR=`basename $ZIP_FILE .zip`DOWNLOAD_DIR=/tmpAPPLICATION_DIR=/home/ommecho "=====================Set env====================="if [ ! -f /opt/Bigdata/client/bigdata_env ] ; then echo "Skip master3" exit 0fisource /opt/Bigdata/client/bigdata_envecho "=====================Download and unpack install package====================="cd $DOWNLOAD_DIRhdfs dfs -get $BUCKET_PATH/$ZIP_FILE ./$ZIP_FILEif [ ! -f ./$ZIP_FILE ] ; then echo "Failed to download $ZIP_FILE" return 1fi echo "Succeeded to download $ZIP_FILE"cd $APPLICATION_DIRunzip -d $APPLICATION_DIR $DOWNLOAD_DIR/$ZIP_FILE echo "=====================Configure livy====================="cd $APPLICATION_DIR/$LIVY_DIRcp conf/livy.conf.template conf/livy.confecho "livy.spark.master = yarn" >> conf/livy.confecho "livy.spark.deploy-mode = cluster" >> conf/livy.confecho "=====================Start livy====================="bin/livy-server start > /home/omm/livy.out

  在使用FI过程中突然hive无法使用，重启了hive发现无法启动，日志报错信息为Permission denied: user=admin, access=READ_EXECUTE, inode="/tmp":hive:supergroup:drwxrwx---

 Could not find artifact com.huawei.mrs:mrs-obs-provider:pom:2.8.3.43-SNAPSHOT  [WARNING] Missing POM for com.huawei.mrs:mrs-obs-provider:jar:2.8.3.43-SNAPSHOT Missing POM for com.huawei.mrs:mrs-obs-provider:jar:2.8.3.43-SNAPSHOT  Failure to find org.apache.hadoop:hadoop-huaweicloud:pom:3.1.1-hw-37 in https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/ was cached in the local repository, resolution will not be reattempted until the update interval of HuaweiCloudSDK has elapsed or updates are forced  [WARNING] Missing POM for org.apache.hadoop:hadoop-huaweicloud:jar:3.1.1-hw-37 Missing POM for org.apache.hadoop:hadoop-huaweicloud:jar:3.1.1-hw-37  Could not find artifact org.apache.hive:hive-standalone-metastore:pom:3.1.0-hw-ei-dlcatalog-SNAPSHOT  [WARNING] Missing POM for org.apache.hive:hive-standalone-metastore:jar:3.1.0-hw-ei-dlcatalog-SNAPSHOT Missing POM for org.apache.hive:hive-standalone-metastore:jar:3.1.0-hw-ei-dlcatalog-SNAPSHOT  Could not find artifact com.huawei.dlcatalog:authcommon:pom:1.0.0-hw-ei-dlcatalog-SNAPSHOT  [WARNING] Missing POM for com.huawei.dlcatalog:authcommon:jar:1.0.0-hw-ei-dlcatalog-SNAPSHOT Missing POM for com.huawei.dlcatalog:authcommon:jar:1.0.0-hw-ei-dlcatalog-SNAPSHOT  Failure to find org.apache.hadoop:hadoop-common:pom:3.1.1.0200-hw-ei-05 in https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/ was cached in the local repository, resolution will not be reattempted until the update interval of HuaweiCloudSDK has elapsed or updates are forced  [WARNING] Missing POM for org.apache.hadoop:hadoop-common:jar:3.1.1.0200-hw-ei-05 Missing POM for org.apache.hadoop:hadoop-common:jar:3.1.1.0200-hw-ei-05  Could not find artifact org.apache.hive:hive-exec:pom:3.1.0-hw-ei-302001-SNAPSHOT  [WARNING] Missing POM for org.apache.hive:hive-exec:jar:3.1.0-hw-ei-302001-SNAPSHOT Missing POM for org.apache.hive:hive-exec:jar:3.1.0-hw-ei-302001-SNAPSHOT  Could not find artifact org.apache.hive.hcatalog:hive-hcatalog-core:pom:3.1.0-spark-2.3.2-hw-ei-SNAPSHOT  [WARNING] Missing POM for org.apache.hive.hcatalog:hive-hcatalog-core:jar:3.1.0-spark-2.3.2-hw-ei-SNAPSHOT Missing POM for org.apache.hive.hcatalog:hive-hcatalog-core:jar:3.1.0-spark-2.3.2-hw-ei-SNAPSHOT  Failure to find org.apache.hadoop:hadoop-common:pom:3.1.1.0200-hw-ei-05 in https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/ was cached in the local repository, resolution will not be reattempted until the update interval of HuaweiCloudSDK has elapsed or updates are forced  [WARNING] Missing POM for org.apache.hadoop:hadoop-common:jar:3.1.1.0200-hw-ei-05 Could not find artifact com.huawei.mrs:mrs-obs-provider:pom:2.8.3.43-SNAPSHOT  [WARNING] Missing POM for com.huawei.mrs:mrs-obs-provider:jar:2.8.3.43-SNAPSHOT Failure to find org.apache.hadoop:hadoop-huaweicloud:pom:3.1.1-hw-37 in https://mirrors.huaweicloud.com/repository/maven/huaweicloudsdk/ was cached in the local repository, resolution will not be reattempted until the update interval of HuaweiCloudSDK has elapsed or updates are forced  [WARNING] Missing POM for org.apache.hadoop:hadoop-huaweicloud:jar:3.1.1-hw-37 Could not find artifact org.apache.hive:hive-standalone-metastore:pom:3.1.0-hw-ei-dlcatalog-SNAPSHOT  [WARNING] Missing POM for org.apache.hive:hive-standalone-metastore:jar:3.1.0-hw-ei-dlcatalog-SNAPSHOT Could not find artifact com.huawei.dlcatalog:authcommon:pom:1.0.0-hw-ei-dlcatalog-SNAPSHOT  [WARNING] Missing POM for com.huawei.dlcatalog:authcommon:jar:1.0.0-hw-ei-dlcatalog-SNAPSHOT