【功能模块】DLI 模块【操作步骤&问题现象】1、创建新的flink作业 无法提交运行【截图信息】【日志信息】（可选，上传日志内容或者附件）

> 前言： 这期大数据有点儿小意思，从课程预热的资源获取（还能抽奖）到目前接触到两期的实战讲解，都是能产出商业价值视频实战课，而不再是只是根据指导，一步一步的验证理论的课程了，而且还留有一定拓展空间。话不多说，咱们进入这次电商实时数据分析案例的实操分享～场景描述 当前线上购物无疑是最火热的购物方式，而电商平台则又可以以多种方式接入例如 通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等 -- 分析： 属于异构平台而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据，方便及时了解数据变化，有针对性地调整营销策略。而如何高效快捷地统计这些指标呢？        假设平台已经将每个商品的订单信息实时写入Kafka中，这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额、折扣后实际支付 金额、支付时间、用户ID、用户姓名、订单地区ID等信息。而我们需要做的，就是根据当前可以获取到的业务数据，实时统计每种渠道的相关指标，输出存储到 数据库中，并进行大屏展示。我们不难发现，需要用到的技术点如下：DMS Kafka  -- 用于生产数据RDS MySQL -- 用于模拟存储DLI CCE -- 用于跨源数据处理DLV大屏 -- 用于可视化展示给用户创建的过程就不详细写了，请大家可以看附件，老师们总结得很详细～我这边发现的几个问题点：几个服务要创建在同一个区域，同一个VPC里，网络网段需要在一起注意创建跨源链接时，勾选 专属可以不用创建虚拟机去安装Kafka的客户端，用自己的PC就可以  ，有答复就可以   可视化服务可以访问其页面进行试用  直达-->  数据可视化_数据可视化平台_数据可视化制作_数据大屏制作-华为云 (huaweicloud.com)在数据库的脚本里，记得修改为自己的mysql实例，以及Kafka实例有趣的点儿Flink UIKafka Manager不得不说华为云的性能监控常见问题解答：1.运行日志加载不出来，同时在OBS桶不允许下载？答：配置作业时勾选保存日志到obs2.创建的队列怎么找？答： 1.确认已联系包子老师开通CCE专属队列白名单；2.创建队列的时候勾选一下专属，按需。3.怎么知道买的队列是CCE队列呢？答：cce队列是我们在内测的容器化队列，你把项目id发群内包子老师，给你加了权限再建出来的就是，前台没有显式标明。4.java kafaka client的安装包怎么下？答：本地有linux环境的话，直接下载一个kafka的tar包，www.kafkatool.com，命令行就可以。5.是否需要买云服务器ECS？答：不需要，在dms实例上挂个eip开启公网访问，这样本地就可以发数据到云上kafka。6.创建对等连接要很长时间么？答：不需要，不过如果你的队列还在绑定集群的话可能时间就会比较长，大概10分钟。7.两个都在一个VPC，不需要创建对等连接的嘛？答：我们理一下。首先你在你的账户下创建了vpc1，然后在vpc1里面创建了dms和rds，再然后你创建了dli队列，因为dli队列是逻辑资源，实际资源在dli的账户的vpc2下面。这两个vpc网络是不同的，也是不通的，所以需要打通网络。创建跨源链接实际就是打通网络的过程，选择的vpc是vpc1，安全组也是。8.Kafka groupID是指Kafka 的实例ID 么？答：group是消费组，每个组都是独立消费的，建议这块可以找个kafka博客看一下，这里你任意指定就可以，比如test-group9.怎么看是否授权成功？答：是dli这边的授权么，那个勾打上了就OK10.运行失败怎么查看日志、分析原因呢？答：看运行日志，配置作业时勾选保存日志到obs祝愿大家都能组合成自己的大屏～～

《DAYU数据使能实施服务伙伴赋能课程》答疑FAQ参考链接：link数据连接问题问题描述：在RDS存在的数据库，在创建CDM数据连接的时候不能识别？          原因分析：RDS创建数据库时，名称前有空格，导致创建CDM数据连接的时候不能识别到RDS数据库          解决方案：由于RDS数据库名称不支持修改，所以删库重建问题描述：创建跨源连接失败，报错信息为：Destination subnet CIDR duplicated.Please check if you already have connection on this queue. Existing connection(connection_name, destination_network_id):(dws_retail,571fd550-f3e64003-9490-765564ece70c)          原因分析：增强跨源绑定队列的限制：1、队列网段与跨源子网网段不能冲突。2、队列如果已经绑定跨源1（子网网段为IP1），那么队列不能再绑定跨源2（子网网段也为IP1）。          解决方案：跨源连接已创建完成，无须再次创建。问题描述：跨源连接失败，报错信息为：The connection attempt faied          原因分析：跨源连接被删除或者连接域名错误，导致数据连接失败          解决方案：先在DLI测试一下域名，域名能正常连接上DWS后，再使用该域名连接DWS配额问题问题描述：采集元数据失败，报错信息为：Insufficient quota!          原因分析：基础版DGC数据治理支持的数据资产数量为1000，达到额度后采集任务失败          解决方案：删除元数据问题描述：CDM迁移作业，创建分组失败          原因分析：分组达到上限，创建不了分组          解决方案：不创建分组，使用default问题描述：创建应用管理失败          原因分析：额度达到上限后，不能创建          解决方案：不创建应用管理，API有数据返回就可以问题描述：CDM迁移作业失败，报错信息为： failed to download job while call REST api; failed to create dli upload job.          原因分析：cdm(MYSQL-DLI)迁移作业的时候，DLI会创建一个中间桶存放数据，桶的额度是100，达到额度后cdm迁移作业失败          解决方案：联系dli同事删除dli创建的桶数据采集问题描述：维度表关联技术资产失败          原因分析：未采集数据资产，导致维度表关联技术资产失败          解决方案：创建采集任务，采集数据表修改IAM账号绑定的手机号问题描述：身份认证时，绑定的手机号码不是自己的号码，怎么获取验证码？          解决方案：获取短信验证码时，修改IAM账号绑定的手机号指导如下：https://retail-practice.obs.obs.cn-south-1.myhuaweicloud.com/%E4%BF%AE%E6%94%B9IAM%E7%94%A8%E6%88%B7%E4%BF%A1%E6%81%AF%E6%8C%87%E5%AF%BC.pdf

【功能模块】计费模块【操作步骤&问题现象】按需专属的队列购买后，按照自然小时还是非自然小时计费？

【功能模块】增强型跨源【操作步骤&问题现象】1、增强型跨源绑定成功2、数据源地址连通性不通【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】DLI增强跨源模块【操作步骤&问题现象】1、绑定增强跨源2、一直是绑定证

RT

RT

RT

rt

SQL 如下：SELECT http_method, count(http_method) FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method

我想依据队列的实际资源使用情况，决定作业的调度策略.

DLI的队列资源怎么购买才划算？购买4000cus 规格DLI队列，一次性购买3个月的和分3次购买，每次购买一个1月的，这两种付费方式的区别？

请问下DLI Flink作业支持哪些数据格式和数据源?我想使用json输入，parquet输出，请问如何实现

我使用Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大，后期需要更改Kafka区分数，很麻烦。如何不停止作业实现自动感知？