-
问题描述:请问专家当前FI版本的flink1.10在使用HiveCatlog如何进行zookeeper的鉴权认证?如有示例代码能提供最好,谢谢了。官网的代码如下,但是未发现有鉴权相关的类或者方法:EnvironmentSettings settings = EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build(); TableEnvironment tableEnv = TableEnvironment.create(settings); String name = "myhive"; String defaultDatabase = "mydatabase"; String hiveConfDir = "/opt/hive-conf"; // a local path String version = "2.3.4"; HiveCatalog hive = new HiveCatalog(name, defaultDatabase, hiveConfDir, version); tableEnv.registerCatalog("myhive", hive); // set the HiveCatalog as the current catalog of the session tableEnv.useCatalog("myhive");在flink集群上面访问zookeeper后面的hive该如何鉴权认证呀?
-
flink提交测试程序wordCount能正常跑,自己写的flink消费kafka写hive的任务打包上去报如下错误:运行脚本如下:flink run --detached -m yarn-cluster \ -ynm test_real_time1 \ -c com.xxxx.xxxxx1.FlinkKafka2Hive \ ./DataCollectorRealTime-1.0-SNAPSHOT.jar config运维跟我说有可能是jar冲突,请问有可能是jar包冲突吗?另外尝试过使用如下参数提交任务,没有效果:-D java.security.auth.login.config "/data01/BigData/data1/FusionInsight/client/Kafka/kafka/config/jaas.conf" \-D zookeeper.server.principal "zookeeper/xxxx.xxxx1" \-D java.security.krb5.conf "/data01/BigData/data1/FusionInsight/keytab/krb5.conf" \求助解决办法
-
【功能模块】【mrs.6.5.1 】【flink 引入第三方jar包 】flink 怎么配置第三方jar包? flink 版本1.7.2 commit id:3ff30be【操作步骤&问题现象】1、2、【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】FI集群的flink 是开启的Kerberos认证 再flink-conf.yml中配置过的。现在需要用flink消费另外一个集群中开启Kerberos认证的kafka 拿到了kafka集群的的认证文件 krb5.conf jaas.conf user.keytab。【操作步骤&问题现象】1、整个flink应用是需要自己集群的认证 ,怎么在一个flink程序中认证另外一个kafka ,将其当作该Flink应用的source源,然后处理呢?拜托各位大佬提供一下处理思路!
-
请问MRS8.1.0.1 版本 flink可以读写hudi文件吗?
-
华为的flink 版本的客户端可以在外网下载下来研究一下吗?
-
我的Flink作业提交报错了,我咋知道哪里有问题,提工单处理太慢了。
-
【功能模块】flink执行yarn-session报错【操作步骤&问题现象】1、MRS版本为8.1.0.1flink版本为1.12.0根据上个版本的flink组件配置进行配置之后,执行命令yarn-session报错,具体报错信息如下:2、完整信息如文档所示【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【功能模块】DLI Flink【操作步骤&问题现象】请教下Flink作业重启后,如何保证不丢失数据?
上滑加载中
推荐直播
-
数据隔离方案探讨,让SaaS应用开发更轻松
2022/08/17 周三 19:00-20:30
李良龙 华为云DTSE技术布道师
本期直播将探讨SaaS应用开发中,随着业务规模的变化,如何选择租户数据隔离的方式,隔离如何实现等问题。参与互动更有华为周边好礼等你领!
回顾中 -
企业能耗数字化,助力节能降耗
2022/08/18 周四 16:00-17:00
秦国庆 智物联产品和市场总监
本次直播分享主要围绕中小企业如何由“制造”向“智造”转变,由传统高能耗、不可控向低能高效、可视可控转变,助力企业实现降本增效,提升企业竞争力。
即将直播
热门标签