问题背景：MRS 安全模式，客户通过dbeaver访问carbon数据库时，需要先做kerboes认证，然后才能访问，票据最长时间为24小时。不接受定时任务或工具续期，有没有通过账号密码方式访问carbon数据库，或其他非kerboes方式访问carbon数据库。

hive版本：3.1.0FusionInsight HD：6.5.1.6GausssDB 200：6.5.1.5问题描述如题，此外除了datax有没有其他工具或许法子可以提供写入速度。使用datax写入任务平均流量为100KB/S，写入速度为 1600rsc/s

花了两星期整理了一下《华为FusionInsight Hadoop最新8.2.0.1版本二次开发指导》，相关文档见附件。有问题欢迎沟通。

由于在sql-client中报错了：keeperErrorCode = Session closed because client failed to authenticate for /flink_base/flink，然后检查flink_base/flink 的权限的时候又报错，求解答啊

请教个问题，通过jdbc提交mrs作业到yarn上，mrs是否接口可以返回yarn上执行的作业占用的资源(cpu/memory)的情况

使用hivecalalog在程序中创建了一张hive表，从kafka读数据写到这张表里面，最后验证hive表是否有数据时候报错

集群环境：生成环境问题描述：某单一数据节点已完成操作系统的重装，现在需在manager页面重装主机，疑惑的点是重装主机之前需不需要做preinstall和precheck？

根据文档的认证都修改了，最后报这个错误：Authentication failed during authentication due to invalid credentials with SASL mechanism

①：我在flink-conf.yaml文件里面，打开了SSL总开关，启动flink-session模式就是报错：找不到flink.truststore这个文件，在flink-conf.yaml修改成了相对路径也不行，把security.ssl.enableed ：false 就能启动了 ，是怎么回事啊？②：提交到flink客户端时，提交失败，flink是yarn-session模式启动的。报错信息：Authentication failed during authentication due to invalid credentials with SASL mechanism

请问是不是必须得上传到安装mrs客户端的linux服务器上面才能运行啊？如果只能上传linux服务器才能运行，那我们开发起来不能调试我们代码，上传服务器才知道错了，岂不是很麻烦吗？求大神指导！

在centos虚拟机上面安装FusionInsight-HD平台，完成大学期末实训项目，看到b站视频过来的，不用商用的FusionInsight-HD安装包，随便给个能用的安装包就行，谢谢啦。

线下的FusionInsight HD 6513版本集群spark2X是否有方案关闭kerberos

Windows执行hetu的odbc 样例1 前提条件已获取JDBC jar包文件。已在集群中创建“人机”用户，如hetu_user，可参考创建HetuEngine用户。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限，可参考添加HetuEngine的Ranger访问权限策略。已创建计算实例并运行正常，可参考创建HetuEngine计算实例。2 配置ODBC数据源 （参考产品手册）2.1 配置安装“hetu-odbc-win64.msi”驱动程序下载驱动程序，下载地址：cid:link_0。安装驱动程序使用默认配置安装，Choose Setup Type选择Complete。2.2 配置数据源驱动在本地命令提示符中执行以下命令停止自动启动的ODBC服务cd C:\Program Files\openLooKeng\openLooKeng ODBC Driver 64-bit\odbc_gateway\mycat\binmycat.bat stop如下表示ODBC服务停止成功：wrapper  | Stopping the Mycat-server service...wrapper  | Mycat-server stopped.替换JDBC驱动拷贝步骤 1中获取的JDBC Jar包到“C:\Program Files\openLooKeng\openLooKeng ODBC Driver 64-bit\odbc_gateway\mycat\lib”目录下，并删除该目录下原始的“hetu-jdbc-1.0.1.jar”包。编辑ODBC的“server.xml”文件的协议前缀将“C:\Program Files\openLooKeng\openLooKeng ODBC Driver 64-bit\odbc_gateway\mycat\conf”目录中的“server.xml”文件的属性值“<property name="jdbcUrlPrefix">jdbc:lk://</property>”修改为“<property name="jdbcUrlPrefix">jdbc:trino://</property>”。配置用户名/密码方式连接在自定义路径，如“C:\hetu”中新建“jdbc_param.properties”文件，添加如下内容：user=admintestpassword=密码user：已创建的“人机”用户的用户名，如：admintest。password：已创建的“人机”用户的用户密码。执行以下命令重启ODBC服务cd C:\Program Files\openLooKeng\openLooKeng ODBC Driver 64-bit\odbc_gateway\mycat\binmycat.bat restart如下表示ODBC服务重启成功：wrapper  | The Mycat-server service was not running.wrapper  | Starting the Mycat-server service...wrapper  | Mycat-server started.每次修改配置时都需要停止odbc服务，修改完毕后再重启服务。2.3 在window系统的控制面板中输入“odbc”搜索ODBC的管理程序查找ODBC程序2.4 在应用程序中选择“添加 > openLookeng ODBC 1.2.0 Driver > 完成“添加驱动程序2.5 参考下图填写名称和描述，单击“Next”填写名称2.6 参考下图完成参数配置“Connect URL”为访问HetuEngine服务ODBC连接的URL格式，支持HSFabric方式和HSBroker方式HSFabric方式：<HSFabricIP1:port1>,<HSFabricIP2:port2>,<HSFabricIP3:port3>/catalog名/schema名?serviceDiscoveryMode=hsfabric&tenant=租户名示例：192.168.8.37:29902,192.168.8.38:29902,192.168.8.39:29902/hive/default?serviceDiscoveryMode=hsfabric&tenant=defaultHSBroker方式：<HSBrokerIP1:port1>,<HSBrokerIP2:port2>,<HSBrokerIP3:port3>/catalog名/schema名?serviceDiscoveryMode=hsbroker&tenant=default示例：192.168.8.37:29860,192.168.8.38:29860,192.168.8.39:29860/hive/default?serviceDiscoveryMode=hsbroker&tenant=租户名获取HSFabric、HSBroker节点IP及端口号：1.登录FusionInsight Manager。2.选择“集群 > 服务 > HetuEngine > 实例”，获取HSFabric或HSBroker所有实例的业务IP，可选择一个或多个正常状态的进行连接。3.获取端口号，选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”：搜索“gateway.port”，获取HSFabric的端口号，安全模式默认为29902，普通模式默认29903；搜索“server.port”，获取HSBroker的端口号，安全模式默认为29860，普通模式默认29861；若连接不成功，请关闭代理重试。tenant参数可选，如不设置，随机匹配一个租户。“Connect Config”选择2.d准备好的“jdbc_param.properties”文件。“User name”是下载凭据的用户名称。配置User name2.7 单击“Test DSN ”测试连接， 显示连接成功且“Catalog”和“Schema”中均有内容表示连接成功，单击“Next”。测试连接查看内容2.8 单击“Finish”完成连接完成连接3 运行样例代码3.1 安装pyodbcpip install pyodbc3.2 编写Python样例代码import pyodbcconn = pyodbc.connect('DSN=Hive1;')cursor = conn.cursor()cursor.execute("select * from t_user")row = cursor.fetchone()while row:    print(row)    row = cursor.fetchone()conn.close()3.3 在hetu客户端创建表插入测试数据create table t_user(a1 int,a2 string);insert into t_user values(1,'2');3.4 运行样例代码

因FusionInsight MRS 8.x版本集群的LDAP管理员密码是系统随机生成，所以要进行以下步骤操作。 #登录客户端所在节点，切换omm用户执行 su - omm #1、获取密文 cd /opt/huawei/Bigdata/FusionInsight_BASE_8.1.2.2/1_3_KerberosServer/etc vim ENV_VARS #获取LDAP_SERVER_PASSWD后面的密文  #2、查找到解密脚本 cd /opt/huawei/Bigdata/om-server/om/tools #修改解密脚本（解密完记得要改回去） vim recoveryRealm.sh  #3、执行脚本对LDAP的root用户进行解密 ./recoveryRealm.sh 密文 #获取返回结果即密码  #4、查看ldaps参数信息及域名信息 ps -ef |grep ldap | grep 21750  #5、查看kadmin相关信息 ldapsearch -H ldap://xxx.xx.xx.xx:21750 -LLL -x -D cn=root,dc=hadoop,dc=com -w '第三步获取的密码' -b krbPrincipalName=kadmin/admin@本地域名,cn=本地域名,cn=krbcontainer,dc=hadoop,dc=com #其中krbLastPwdChange是最后一次更改密码时间 #其中krbPasswordExpiration是密码有效期  #6、执行下面语句将密码有效期延长（时间自己定） ldapsearch -H ldap://xxx.xx.xx.xx:21750 -LLL -x -D cn=root,dc=hadoop,dc=com -w '第三步获取的密码' <<EOF dn: krbPrincipalName=kadmin/admin@本地域名,cn=本地域名,cn=krbcontainer,dc=hadoop,dc=com changetype: modify replace: krbPasswordExpiration 从第五步获取的krbPasswordExpiration这一行粘贴到这并修改时间 EOF  #7、在执行第五步看看密码有效期是否更新  #8、可以重新生成keytab文件，使用keytab文件认证kadmin cd /opt/huawei/Bigdata/om-server/om/meta-0.0.1-SNAPSHOT/kerberos/scripts/ ./genkeytab.sh kadmin/admin /home/omm/kadmin.keytab keytab kadmin -p kadmin/admin -kt /home/omm/kadmin.keytab 

springboot调用hdfs1 HDFS简介HDFS（Hadoop Distribute File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用2 样例背景HDFS的业务操作对象是文件，代码样例中所涉及的文件操作主要包括创建文件夹写文件追加文件内容读文件删除文件/文件夹HDFS还有其他的业务处理，例如设置文件权限等，其他操作可以在掌握本代码样例之后，再扩展学习。3 Windows环境样例调用步骤环境准备https://bbs.huaweicloud.com/forum/thread-88552-1-1.html比对时间，与集群时间误差不能超过5分钟检查 C:\Windows\System32\drivers\etc\hosts文件中是否包含所有集群节点的域名IP映射信息在IDEA打开样例代码中的hdfs-springboot目录，默认会自动下载依赖，如未下载，选中该目录下的pom.xml文件，右键点击“Add As Maven Project”后等待项目自动将依赖下载完毕从Manager界面下载用户认证凭据后，解压缩获取秘钥文件user.keytab和krb5.conf从客户端 /opt/client/HDFS/hadoop/etc/hadoop 目录中获取core-site.xml和hdfs-site.xml把上面获取的user.keytab\krb5.conf\core-stie.xml\hdfs-site.xml四个文件放到统一目录下配置application.properties中的用户名和配置文件存放目录（第7步文件的目录）打开测试类 HDFApplication.java， 文件右键执行Run 运行代码调用接口 POST cid:link_0创建hdfs目录4 Linux环境调试步骤完成Windows环境样例调用步骤在windows环境中执行打包检查linux环境时间与集群误差不超过5分钟检查linux环境的JDK版本为1.8检查linux环境的/etc/hosts文件中包含所有集群节点的域名IP映射信息创建样例执行路径，例如/opt/hdfstest上传windows环境打包后生成的target目录下的 hdfd-springboot-1.0-SNAPSHOT.jar 包到/opt/hdfstest目录上传windows环境中调试通过后的配置文件到/opt/hdfstest/conf目录配置application.properties中的用户名和配置文件存放目录（/opt/hdfstest/conf/）执行如下命令启动服务java –jar hdfs-springboot-1.0-SNAPSHOT.jar