【功能模块】DLI Flink【操作步骤&问题现象】我现在Kafka的数据流量是两千万records/s，我需要配置多少个taskmanager，jobmanager的spu设置为多少？

【功能模块】DLI Flink作业如何配置资源？【操作步骤&问题现象】这些参数到底怎么配置，怎么计算？【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】DLI Flink【操作步骤&问题现象】使用DLI Flink发现页面上有反压，数据消费变慢了【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】Flink【操作步骤&问题现象】你好，我看资料里有opensource语法的资料，但直接使用会报语法错误，请问如何才能使用。【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】DLI Flink【操作步骤&问题现象】1、使用DLI Flink Jar作业看不到日志输出2、从转储的日志来看，日志全输出到.err日志文件中，没有输出到.log文件中【截图信息】【日志信息】（可选，上传日志内容或者附件）

### 1. 首先客户需要在消息通知服务（SMN）中提前创建一个【主题】，并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知，点击链接确认订阅即可。   ### 2. 创建Flink SQL作业，编写作业SQL完成后，配置【运行参数】。 #### 2.1 配置作业的【CU数量】、【管理单元】与【最大并行数】，依据如下公式： ```sql CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 ``` 例如：CU数量为9CU，管理单元为1CU，最大并行数为16，则计算单元为8CU。 如果不手动配置TaskManager资源，则单TM所占CU数默认为1，单TM slot数显示值为0，实际值依据上述公式计算结果为 16÷(9-1)=2。 #### 2.2 勾选【保存作业日志】按钮，选择一个OBS桶。如该桶未授权，需点击【立即授权】。此项配置可以在作业异常失败后将作业日志保存到客户的OBS桶下，方便客户定位故障原因。  #### 2.3 勾选【作业异常告警】选项，选择前述步骤创建的【SMN主题】。此项配置可以在作业异常情况下，向客户指定邮箱或者手机发送消息通知，方便客户及时感知异常。  #### 2.4 勾选【开启Checkpoint】选项，依据自身业务情况调整Checkpoint间隔和模式。Flink checkpoint机制可以保证Flink任务突然失败时，能够从最近的Checkpoint进行状态恢复重启。  说明： - 此处的Checkpoint间隔为两次触发Checkpoint的间隔，执行checkpoint会影响实时计算性能，配置间隔时间需权衡对业务的性能影响及恢复时长，最好大于Checkpoint的完成时间，建议设置为5min。 - Exactly Once模式保证每条数据只被消费一次，At Least Once模式每条数据至少被消费一次，请依据业务情况选择。 #### 2.5 勾选【异常自动恢复】与【从Checkpoint恢复】，根据自身业务情况选择重试次数。 #### 2.6 配置【脏数据策略】，依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择【运行队列】，提交并运行作业。 Flink Jar作业可靠性配置与SQL作业相同，不再另行说明。 ### 3. 登录【云监控服务CES】，在【云服务监控】列表中找到【数据湖探索】服务，在Flink作业中找到目标作业，点击【创建告警规则】。    DLI 为Flink作业提供了丰富的监控指标，客户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。 监控指标说明见：https://support.huaweicloud.com/usermanual-dli/dli_01_0445.html

【功能模块】【DLI】【Flink作业】【问题】 问题1：    在LiveData向Topic “T_IO_PARKING_FREE_SPACE” 发送消息，此topic作为“dli_vehicle_all”作业的其中一个数据源，发送消息内容如下：    Flink作业数据源：    Flink作业目标表：        到最后，到DAYU中查询这张目标表，确实新增了一条记录，但是所有字段值都为空。    问题：MQS到Flink作业的数据源 需要配置消息与字段的映射关系吗？否则怎么解释这个现象：发送消息后，确实在目标表实时新增了记录，但值都为空。问题2： DLI中有能看到完整SQL日志的地方吗？（能看到参数值的）【截图信息】【日志信息】（可选，上传日志内容或者附件）

分类说明文档名链接线下材料备注产品介绍数据湖探索DLI产品介绍DLI主打胶片线下文档《附件1：【主打胶片】华为云数据湖探索DLI_v2.0.pptx》DLI产品特性介绍https://support.huaweicloud.com/productdesc-dli/dli_07_0001.html快速入门材料https://support.huaweicloud.com/qs-dli/最佳实践https://support.huaweicloud.com/bestpractice-dli/dli_05_0001.html适配与场景构建数据湖探索 DLI服务购买数据湖探索DLI服务官网页https://www.huaweicloud.com/product/dli.html连接访问管理控制台方式https://console.huaweicloud.com/dli/?region=cn-north-4#/main/dashboardAPI方式https://support.huaweicloud.com/api-dli/dli_02_0100.htmlJDBC或ODBChttps://support.huaweicloud.com/devg-dli/dli_09_0124.htmlBeelinehttps://support.huaweicloud.com/devg-dli/dli_09_0121.htmlSpark-submithttps://support.huaweicloud.com/devg-dli/dli_09_0122.html典型场景产品组合通用场景：海量日志分析、异构数据源联邦分析、大数据ETL处理https://support.huaweicloud.com/productdesc-dli/dli_07_0002.html行业场景：电商、游戏、大企业、基因以及金融等线下文档《附件2：DLI常见行业场景和服务组合介绍.pptx》问题求助智能机器人https://console.huaweicloud.com/smartadvisor/沃土云创论坛https://bbs.huaweicloud.com/forum/forum-1343-1.html常见问题常见问题通用问题https://support.huaweicloud.com/dli_faq/dli_03_0001.html计费问题https://support.huaweicloud.com/dli_faq/dli_03_0051.html授权问题https://support.huaweicloud.com/dli_faq/dli_03_0054.htmlSQL作业相关问题https://support.huaweicloud.com/dli_faq/dli_03_0020.htmlSpark作业相关问题https://support.huaweicloud.com/dli_faq/dli_03_0021.htmlFlink作业相关问题https://support.huaweicloud.com/dli_faq/dli_03_0037.html跨源连接相关问题https://support.huaweicloud.com/dli_faq/dli_03_0022.html其他https://support.huaweicloud.com/dli_faq/dli_03_0056.html故障定位跨源问题https://support.huaweicloud.com/trouble-dli/dli_11_0011.htmlFlink作业https://support.huaweicloud.com/trouble-dli/dli_11_0008.htmlSQL作业https://support.huaweicloud.com/trouble-dli/dli_11_0004.html其他DLI相关华为云助力斗鱼，轻松应对海量数据分析华为云多元计算+AI，打造企业级智能数据湖打破“数据孤岛”，实现数据湖探索的秘诀是什么？揭秘华为云DLI背后的核心计算引擎数据赋能，如何精细化保障企业大数据安全Spark SQL在HBase的查询性能优化一文读懂Spark SQL运行流程Serverless计算这么强大[基础入门]你的第一个Spark程序大数据计算架构的演进浅谈存储计算分离架构实时流计算和时空数据库助力用户IoT的无限可能SparkSQL分布式事务处理能力的探索与实践【内部文档解读】鞋服企业的数据**长什么样？

【功能模块】【ROMA】【DGC】【问题】1、下面模型图中，子系统如何向贴源层上行数据？ 作业“dli_res_datalog_res”在哪？2、如何使用作业“dli_res_datalog_res”这种方式去上行一些模拟数据，从而使用基线接口？【截图信息】【日志信息】（可选，上传日志内容或者附件）

数据直接接入的dis，是加密好的，再用dli flink去处理dis的数据时怎么写入解密过程 求一个详细的解决方案。

【功能模块】【操作步骤&问题现象】1、2、【截图信息】【日志信息】（可选，上传日志内容或者附件）

功能使用指南：https://support.huaweicloud.com/sqlref-spark-dli/dli_08_0205.html问题：结果指定为CSV格式时，字符串没有用双引号括起来，请帮忙解决

DLI的Spark怎么遍历OBS桶的目录，进而获取文件名称等，求指导，感谢~~！

尊敬的华为云客户：华为云计划于2020/12/22 00:00（北京时间）对数据湖探索服务DLI的Flink边缘作业（Flink Edge SQL）正式开始收费，中国站计费标准为20000元/年/节点，目前仅支持按1年购买，计费周期从购买成功的时间点开始计算。华为云在此提醒您，若您在2020/12/22 00:00（北京时间）后仍需继续使用DLI Flink边缘作业任务，请及时购买边缘鉴权码，否则将无法正常使用该任务。更多关于Flink边缘作业的介绍，请您点击了解。如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。感谢您对华为云的支持！

本文主要给大家介绍隐藏在华为云数据湖探索服务（后文简称DLI）背后的核心计算引擎——Spark。DLI团队在Spark之上做了大量的性能优化与服务化改造，但其本质还是脱离不了Spark的核心概念与思想，因此笔者从以下几点阐述，让读者快速对Spark有一个直观的认识，玩转DLI。Spark的诞生及优势     2009年，Spark诞生于伯克利大学AMPLab，诞生之初是属于伯克利大学的研究性项目。于2010年开源，2013年成为Apache开源项目，经过几年的发展逐渐取代了Hadoop，成为了开源社区炙手可热的大数据处理平台。Spark官方的解释：“Spark是用于大规模数据处理的统一分析引擎”，把关键词拆开来看，“大规模数据”指的是Spark的使用场景是大数据场景；“统一”主要体现在将大数据的编程模型进行了归一化，同时满足多种类型的大数据处理场景（批处理、流处理、机器学习等），降低学习和维护不同大数据引擎的成本；“分析引擎”表明Spark聚焦在计算分析，对标的是Hadoop中的MapReduce，对其模型进行优化与扩展。Spark为了解决MapReduce模型的优化和扩展，那么我们先探讨一下MapReduce存在的问题，然后分析Spark在MapReduce之上的改进。（1）MapReduce中间结果落盘，计算效率低下随着业务数据不断增多，业务逻辑不断多样化，很多ETL和数据预处理的工作需要多个MapReduce作业才能完成，但是MapReduce作业之间的数据交换需要通过写入外部存储才能完成，这样会导致频繁地磁盘读写，降低作业执行效率。Spark设计之初，就想要解决频繁落盘问题。Spark只在需要交换数据的Shuffle阶段（Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算）才会写磁盘，其它阶段，数据都是按流式的方式进行并行处理。（2）编程模型单一，场景表达能力有限MapReduce模型只有Map和Reduce两个算子，计算场景的表达能力有限，这会导致用户在编写复杂的逻辑（例如join）时，需要自己写关联的逻辑，如果逻辑写得不够高效，还会影响性能。与MapReduce不同，Spark将所有的逻辑业务流程都抽象成是对数据集合的操作，并提供了丰富的操作算子，如：join、sortBy、groupByKey等，用户只需要像编写单机程序一样去编写分布式程序，而不用关心底层Spark是如何将对数据集合的操作转换成分布式并行计算任务，极大的简化了编程模型Spark的核心概念：RDD     Spark中最核心的概念是RDD（Resilient Distributed Dataset）——弹性分布式数据集，顾名思义，它是一个逻辑上统一、物理上分布的数据集合，Spark通过对RDD的一系列转换操作来表达业务逻辑流程，就像数学中对一个向量的一系列函数转换。Spark通过RDD的转换依赖关系生成对任务的调度执行的有向无环图，并通过任务调度器将任务提交到计算节点上执行，任务的划分与调度是对业务逻辑透明的，极大的简化了分布式编程模型，RDD也丰富了分布式并行计算的表达能力。RDD上的操作分为Transformation算子和Action算子。Transformation算子用于编写数据的变换过程，是指逻辑上组成变换过程。Action算子放在程序的最后一步，用于对结果进行操作，例如：将结果汇总到Driver端（collect）、将结果输出到HDFS（saveAsTextFile）等，这一步会真正地触发执行。常见的Transformation算子包括：map、filter、groupByKey、join等，这里面又可以分为Shuffle算子和非Shuffle算子，Shuffle算子是指处理过程需要对数据进行重新分布的算子，如：groupByKey、join、sortBy等。常见的Action算子如：count、collect、saveAsTextFile等如下是使用Spark编程模型编写经典的WordCount程序：该程序通过RDD的算子对文本进行拆分、统计、汇总与输出。Spark程序中涉及到几个概念，Application、Job、Stage、Task。每一个用户写的程序对应于一个Application，每一个Action生成一个Job（默认包含一个Stage），每一个Shuffle算子生成一个新的Stage，每一个Stage中会有N个Task（N取决于数据量或用户指定值）。Spark的架构设计    前面讲述了Spark 核心逻辑概念，那么Spark的任务是如何运行在分布式计算环境的呢？接下来我们来看看开源框架Spark的架构设计。（注：涂色表示进程）Spark是典型的主从（Master- Worker）架构，Master 节点上常驻 Master守护进程，负责管理全部的 Worker 节点。Worker 节点上常驻 Worker 守护进程，负责与 Master 节点通信并管理 Executor。（注：橙色和绿色表示进程）Spark程序在客户端提交时，会在Application的进程中启动一个Driver。看一下官方对Driver的解释“The process running the main() function of the application and creating the SparkContext”。我们可以把Master和Worker看成是生产部总部老大（负责全局统一调度资源、协调生产任务）和生产部分部部长（负责分配、上报分部的资源，接收总部的命令，协调员工执行任务），把Driver和Executor看成是项目经理（负责分配任务和管理任务进度）和普通员工（负责执行任务、向项目经理汇报任务执行进度）。项目经理D to 总部老大M：Hi，老大，我刚接了一个大项目，需要你通知下面的分部部长W安排一些员工组成联合工作小组。总部老大M to 分部部长W：最近项目经理D接了一个大项目，你们几个部长都安排几个员工，跟项目经理D一起组成一个联合工作小组。分部部长W to 员工E：今天把大家叫到一起，是有个大项目需要各位配合项目经理D去一起完成，稍后会成立联合工作小组，任务的分配和进度都直接汇报给项目经理D。项目经理D to 员工E：从今天开始，我们会一起在这个联合工作小组工作一段时间，希望我们好好配合，把项目做好。好，现在开始分配任务…员工E to 项目经理D：你分配的xxx任务已完成，请分配其它任务。项目所有任务都完成后，项目经理D to 总部老大M：Hi，老大，项目所有的任务都已经完成了，联合工作小组可以解散了，感谢老大的支持。以上就是Spark的基本框架，基于Apache Spark/Flink生态，DLI提供了完全托管的大数据处理分析服务。借助DLI服务，你只需要关注应用的处理逻辑，提供构建好的应用程序包，就可以轻松完成你的大规模数据处理分析任务，即开即用，按需计费。华为云828企业上云节期间，购买数据湖探索DLI优惠更多。点击这里→了解更多精彩内容