我使用Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数，很麻烦。如何不停止作业实现自动感知？

【功能模块】DLI Flink【操作步骤&问题现象】我现在Kafka的数据流量是两千万records/s，我需要配置多少个taskmanager，jobmanager的spu设置为多少？

【功能模块】DLI Flink作业如何配置资源？【操作步骤&问题现象】这些参数到底怎么配置，怎么计算？【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】DLI Flink【操作步骤&问题现象】使用DLI Flink发现页面上有反压，数据消费变慢了【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】Flink【操作步骤&问题现象】你好，我看资料里有opensource语法的资料，但直接使用会报语法错误，请问如何才能使用。【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】DLI Flink【操作步骤&问题现象】1、使用DLI Flink Jar作业看不到日志输出2、从转储的日志来看，日志全输出到.err日志文件中，没有输出到.log文件中【截图信息】【日志信息】（可选，上传日志内容或者附件）

### 1. 首先客户需要在消息通知服务（SMN）中提前创建一个【主题】，并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知，点击链接确认订阅即可。   ### 2. 创建Flink SQL作业，编写作业SQL完成后，配置【运行参数】。 #### 2.1 配置作业的【CU数量】、【管理单元】与【最大并行数】，依据如下公式： ```sql CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 ``` 例如：CU数量为9CU，管理单元为1CU，最大并行数为16，则计算单元为8CU。 如果不手动配置TaskManager资源，则单TM所占CU数默认为1，单TM slot数显示值为0，实际值依据上述公式计算结果为 16÷(9-1)=2。 #### 2.2 勾选【保存作业日志】按钮，选择一个OBS桶。如该桶未授权，需点击【立即授权】。此项配置可以在作业异常失败后将作业日志保存到客户的OBS桶下，方便客户定位故障原因。  #### 2.3 勾选【作业异常告警】选项，选择前述步骤创建的【SMN主题】。此项配置可以在作业异常情况下，向客户指定邮箱或者手机发送消息通知，方便客户及时感知异常。  #### 2.4 勾选【开启Checkpoint】选项，依据自身业务情况调整Checkpoint间隔和模式。Flink checkpoint机制可以保证Flink任务突然失败时，能够从最近的Checkpoint进行状态恢复重启。  说明： - 此处的Checkpoint间隔为两次触发Checkpoint的间隔，执行checkpoint会影响实时计算性能，配置间隔时间需权衡对业务的性能影响及恢复时长，最好大于Checkpoint的完成时间，建议设置为5min。 - Exactly Once模式保证每条数据只被消费一次，At Least Once模式每条数据至少被消费一次，请依据业务情况选择。 #### 2.5 勾选【异常自动恢复】与【从Checkpoint恢复】，根据自身业务情况选择重试次数。 #### 2.6 配置【脏数据策略】，依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择【运行队列】，提交并运行作业。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 ### 3. 登录【云监控服务CES】，在【云服务监控】列表中找到【数据湖探索】服务，在Flink作业中找到目标作业，点击【创建告警规则】。    DLI 为Flink作业提供了丰富的监控指标，客户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。 监控指标说明见：https://support.huaweicloud.com/usermanual-dli/dli_01_0445.html

【功能模块】【DLI】【Flink作业】【问题】 问题1：    在LiveData向Topic “T_IO_PARKING_FREE_SPACE” 发送消息，此topic作为“dli_vehicle_all”作业的其中一个数据源，发送消息内容如下：    Flink作业数据源：    Flink作业目标表：        到最后，到DAYU中查询这张目标表，确实新增了一条记录，但是所有字段值都为空。    问题：MQS到Flink作业的数据源 需要配置消息与字段的映射关系吗？否则怎么解释这个现象：发送消息后，确实在目标表实时新增了记录，但值都为空。问题2： DLI中有能看到完整SQL日志的地方吗？（能看到参数值的）【截图信息】【日志信息】（可选，上传日志内容或者附件）

分类说明文档名链接线下材料备注产品介绍数据湖探索DLI产品介绍DLI主打胶片线下文档《附件1：【主打胶片】华为云数据湖探索DLI_v2.0.pptx》DLI产品特性介绍https://support.huaweicloud.com/productdesc-dli/dli_07_0001.html快速入门材料https://support.huaweicloud.com/qs-dli/最佳实践https://support.huaweicloud.com/bestpractice-dli/dli_05_0001.html适配与场景构建数据湖探索 DLI服务购买数据湖探索DLI服务官网页https://www.huaweicloud.com/product/dli.html连接访问管理控制台方式https://console.huaweicloud.com/dli/?region=cn-north-4#/main/dashboardAPI方式https://support.huaweicloud.com/api-dli/dli_02_0100.htmlJDBC或ODBChttps://support.huaweicloud.com/devg-dli/dli_09_0124.htmlBeelinehttps://support.huaweicloud.com/devg-dli/dli_09_0121.htmlSpark-submithttps://support.huaweicloud.com/devg-dli/dli_09_0122.html典型场景产品组合通用场景：海量日志分析、异构数据源联邦分析、大数据ETL处理https://support.huaweicloud.com/productdesc-dli/dli_07_0002.html行业场景：电商、游戏、大企业、基因以及金融等线下文档《附件2：DLI常见行业场景和服务组合介绍.pptx》问题求助智能机器人https://console.huaweicloud.com/smartadvisor/沃土云创论坛https://bbs.huaweicloud.com/forum/forum-1343-1.html常见问题常见问题通用问题https://support.huaweicloud.com/dli_faq/dli_03_0001.html计费问题https://support.huaweicloud.com/dli_faq/dli_03_0051.html授权问题https://support.huaweicloud.com/dli_faq/dli_03_0054.htmlSQL作业相关问题https://support.huaweicloud.com/dli_faq/dli_03_0020.htmlSpark作业相关问题https://support.huaweicloud.com/dli_faq/dli_03_0021.htmlFlink作业相关问题https://support.huaweicloud.com/dli_faq/dli_03_0037.html跨源连接相关问题https://support.huaweicloud.com/dli_faq/dli_03_0022.html其他https://support.huaweicloud.com/dli_faq/dli_03_0056.html故障定位跨源问题https://support.huaweicloud.com/trouble-dli/dli_11_0011.htmlFlink作业https://support.huaweicloud.com/trouble-dli/dli_11_0008.htmlSQL作业https://support.huaweicloud.com/trouble-dli/dli_11_0004.html其他DLI相关华为云助力斗鱼，轻松应对海量数据分析华为云多元计算+AI，打造企业级智能数据湖打破“数据孤岛”，实现数据湖探索的秘诀是什么？揭秘华为云DLI背后的核心计算引擎数据赋能，如何精细化保障企业大数据安全Spark SQL在HBase的查询性能优化一文读懂Spark SQL运行流程Serverless计算这么强大[基础入门]你的第一个Spark程序大数据计算架构的演进浅谈存储计算分离架构实时流计算和时空数据库助力用户IoT的无限可能SparkSQL分布式事务处理能力的探索与实践【内部文档解读】鞋服企业的数据**长什么样？

【功能模块】【ROMA】【DGC】【问题】1、下面模型图中，子系统如何向贴源层上行数据？ 作业“dli_res_datalog_res”在哪？2、如何使用作业“dli_res_datalog_res”这种方式去上行一些模拟数据，从而使用基线接口？【截图信息】【日志信息】（可选，上传日志内容或者附件）

数据直接接入的dis，是加密好的，再用dli flink去处理dis的数据时怎么写入解密过程 求一个详细的解决方案。

【功能模块】【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

功能使用指南：https://support.huaweicloud.com/sqlref-spark-dli/dli_08_0205.html问题：结果指定为CSV格式时，字符串没有用双引号括起来，请帮忙解决

DLI的Spark怎么遍历OBS桶的目录，进而获取文件名称等，求指导，感谢~~！

尊敬的华为云客户：华为云计划于2020/12/22 00:00（北京时间）对数据湖探索服务DLI的Flink边缘作业（Flink Edge SQL）正式开始收费，中国站计费标准为20000元/年/节点，目前仅支持按1年购买，计费周期从购买成功的时间点开始计算。华为云在此提醒您，若您在2020/12/22 00:00（北京时间）后仍需继续使用DLI Flink边缘作业任务，请及时购买边缘鉴权码，否则将无法正常使用该任务。更多关于Flink边缘作业的介绍，请您点击了解。如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。感谢您对华为云的支持！