你好，我的Flink作业反压严重，请问如何判断瓶颈点在哪？如何确定是资源不足还是其他问题？

我的Flink作业提交报错了，我咋知道哪里有问题，提工单处理太慢了。

【功能模块】flink执行yarn-session报错【操作步骤&问题现象】1、MRS版本为8.1.0.1flink版本为1.12.0根据上个版本的flink组件配置进行配置之后，执行命令yarn-session报错，具体报错信息如下：2、完整信息如文档所示【截图信息】【日志信息】（可选，上传日志内容或者附件）

请问下DLI Flink作业支持哪些数据格式和数据源?我想使用json输入，parquet输出，请问如何实现

我使用Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数，很麻烦。如何不停止作业实现自动感知？

【功能模块】DLI Flink【操作步骤&问题现象】请教下Flink作业重启后，如何保证不丢失数据？

【功能模块】DLI Flink【操作步骤&问题现象】我现在Kafka的数据流量是两千万records/s，我需要配置多少个taskmanager，jobmanager的spu设置为多少？

【功能模块】DLI Flink作业如何配置资源？【操作步骤&问题现象】这些参数到底怎么配置，怎么计算？【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】DLI Flink【操作步骤&问题现象】使用DLI Flink发现页面上有反压，数据消费变慢了【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】Flink【操作步骤&问题现象】你好，我看资料里有opensource语法的资料，但直接使用会报语法错误，请问如何才能使用。【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】DLI Flink【操作步骤&问题现象】1、使用DLI Flink Jar作业看不到日志输出2、从转储的日志来看，日志全输出到.err日志文件中，没有输出到.log文件中【截图信息】【日志信息】（可选，上传日志内容或者附件）

编译环境虚拟机服务器 KVM Virtual Machine 虚拟机配置：aarch64架构 、 32G内存 、 16核 、300G磁盘空间 虚拟机操作系统： Linux version 4.19.90-2009.3.0.0045.up1.uel20.aarch64 (abuild@armbuild-02) (gcc version 7.3.0 (GCC)) #1 SMP Sun Oct 11 16:12:59 UTC 2020 软件版本：flink-1.11.3 版本获取方式https://github.com/apache/flink/archive/release-1.11.3.tar.gz 参考编译指南和问题 编译完成Jar包中还有x86 so依赖Flink移植指南： https://support.huaweicloud.com/prtg-apache-kunpengbds/kunpengbds_02_0011.html flink 1.11 后就不再与 hadoop 版本绑定，不需要编译特定 hadoop 版本 的 shaded 包 flink 1.11.0 release notes : https://flink.apache.org/news/2020/07/06/release-1.11.0.html  执行如下编译命令： mvn clean package -DskipTests Flink按照迁移指南编译完还含有x86 so依赖，通过checkSo结果如下：  一些问题可能导致下载的jar包不是从鲲鹏仓库中下载的。这几个包分别对应的jar是：scala-compiler-2.12.7.jar flink-shaded-netty-4.1.39.Final-11.0.jarscala-compiler-2.11.12.jar 问题处理方案： 手动从华为鲲鹏仓库中下载这些jar包，然后替换本地mvn仓库中jar ,下载链接分别如下：https://mirrors.huaweicloud.com/kunpeng/maven/org/apache/flink/flink-shaded-netty/4.1.39.Final-11.0/flink-shaded-netty-4.1.39.Final-11.0.jarhttps://mirrors.huaweicloud.com/kunpeng/maven/com/data-artisans/frocksdbjni/5.17.2-artisans-2.0/frocksdbjni-5.17.2-artisans-2.0.jar https://mirrors.huaweicloud.com/kunpeng/maven/org/scala-lang/scala-compiler/2.11.12/scala-compiler-2.11.12.jar 替换完后从新编译。 编译后通过迁移分析工具分析Flink的jar包已经不包含x86的依赖。 对于link-1.11.3-bin中还有x86的依赖  从华为鲲鹏库中下载如下包替换mvn本地参考中的包：https://mirrors.huaweicloud.com/kunpeng/maven/org/apache/flink/flink-shaded-netty-tcnative-dynamic/2.0.25.Final-11.0/flink-shaded-netty-tcnative-dynamic-2.0.25.Final-11.0.jar 对于flink-python 中的x86依赖需要进行编译： 安装gradle-5.4.1wget https://services.gradle.org/distributions/gradle-5.4.1-bin.zipunzip gradle-5.4.1-bin.zipexport PATH=`pwd`/gradle-5.4.1/bin:$PATH移植beam-vendor-grpcwget https://github.com/apache/beam/archive/v2.18.0.tar.gz -O beam-v2.18.0.tar.gztar -zxf beam8v2.18.0.tar.gzcd beam-2.19.0/vendor/grpc-1_21_0/ vim build.gradle在文件vendorJava所在行之前加入以下内容：repositories {     maven { url "https://mirrors.huaweicloud.com/kunpeng/maven/" }    mavenLocal()    maven { url "https://mirrors.huaweicloud.com/repository/maven/"} } 执行编译gradle build编译好的beam-vendor-grpc-1_21_0-0.1.jar在build/libs目录下安装到本地maven仓库直接替换mvn仓库中的jar包，或者通过mvn install 安装：mvn install:install-file -DgroupId=org.apache.beam -DartifactId=beam-vendor-grpc-1_21_0 -Dversion=0.1 -Dpackaging=jar -DgeneratePom=true -Dfile=build/libs/beam-vendor-grpc-1_21_0-0.1.jar NodeJs问题Runtime web 包是编译时，因为要在线下载一些包，基本都在国外，下载慢或者根本访问不了。1) nodejs 包下载不下来Downloading https://nodejs.org/dist/v10.9.0/node-v10.9.0-linux-x64.tar.gz to /root/.m2/repository/com/github/eirslett/node/10.9.0/node-10.9.0-linux-x64.tar.gz 直接访问 URL 下载，放到 mvn 目录中:   2) npm 执行不动 Running 'npm ci --cache-max=0 --no-save' in /home/venn/git/flink-1.12.0/flink-runtime-web/web-dashboard 直接安装 npm yum  install -y npm  nodejs npm config set registry http://registry.npm.taobao.org

【求助】 1.任务提交到集群是使用的配置是集群上的flink/conf/下的日志配置文件 2.如何在任务提交时指定自定义的配置文件？

【功能模块】Flink DataStream 数据sink到带有用户名密码的验证的ES集群中报错。【操作步骤&问题现象】1、使用开源的flink-connector-elasticsearch6_2.11 的jar包2、SunCertPathBuilderException: unable to find valid certification path to requested target3、在es客户端那 提示找不到有效的证书路径  我觉得应该是协议错误 我们集群使用curl 方式操作es 需要指定  --tlsv1.2【求助】1.是不是不能使用开源的flink 连接器 sink 到es2.有没有FI集群sink 到ES的样例demo 可以参考一下3.或者帮忙提醒一下从哪里设置tlsv1.2协议  【日志信息】（可选，上传日志内容或者附件）Caused by: org.elasticsearch.client.ResponseException: method [HEAD], host [https://10.28.132.195:24100], URI [/], status line [HTTP/1.1 403 Forbidden]

### 1. 首先客户需要在消息通知服务（SMN）中提前创建一个【主题】，并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知，点击链接确认订阅即可。   ### 2. 创建Flink SQL作业，编写作业SQL完成后，配置【运行参数】。 #### 2.1 配置作业的【CU数量】、【管理单元】与【最大并行数】，依据如下公式： ```sql CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 ``` 例如：CU数量为9CU，管理单元为1CU，最大并行数为16，则计算单元为8CU。 如果不手动配置TaskManager资源，则单TM所占CU数默认为1，单TM slot数显示值为0，实际值依据上述公式计算结果为 16÷(9-1)=2。 #### 2.2 勾选【保存作业日志】按钮，选择一个OBS桶。如该桶未授权，需点击【立即授权】。此项配置可以在作业异常失败后将作业日志保存到客户的OBS桶下，方便客户定位故障原因。  #### 2.3 勾选【作业异常告警】选项，选择前述步骤创建的【SMN主题】。此项配置可以在作业异常情况下，向客户指定邮箱或者手机发送消息通知，方便客户及时感知异常。  #### 2.4 勾选【开启Checkpoint】选项，依据自身业务情况调整Checkpoint间隔和模式。Flink checkpoint机制可以保证Flink任务突然失败时，能够从最近的Checkpoint进行状态恢复重启。  说明： - 此处的Checkpoint间隔为两次触发Checkpoint的间隔，执行checkpoint会影响实时计算性能，配置间隔时间需权衡对业务的性能影响及恢复时长，最好大于Checkpoint的完成时间，建议设置为5min。 - Exactly Once模式保证每条数据只被消费一次，At Least Once模式每条数据至少被消费一次，请依据业务情况选择。 #### 2.5 勾选【异常自动恢复】与【从Checkpoint恢复】，根据自身业务情况选择重试次数。 #### 2.6 配置【脏数据策略】，依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择【运行队列】，提交并运行作业。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 ### 3. 登录【云监控服务CES】，在【云服务监控】列表中找到【数据湖探索】服务，在Flink作业中找到目标作业，点击【创建告警规则】。    DLI 为Flink作业提供了丰富的监控指标，客户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。 监控指标说明见：https://support.huaweicloud.com/usermanual-dli/dli_01_0445.html