华为云上搭建的高可用Flink集群最新版本是 flink1.18.0，jdk是21DLI山的最新flink只是 flink1.15，jdk每看到这两个有啥区别吗？DLI的flink版本为什么不和flink集群的保持一致呢？那我在本地基于flink1.18开发的程序，打包后是不是就不能提交到DLI上执行了？

客户目前的程序是基于flink1.13开发的，版本都是适配1.13的，如果迁移到DLI ，flink是1.15的,那么程序依赖connector是否能正常使用呢？

请问DLI Spark 作业支持读写华为云GeminiDB Cassandra 数据源吗？

为啥datatool的flink 写入表中会多出[""]

DLI解耦计算和存储负载为什么能提高性能？总所周知，网络传输数据延迟很大，远不如数据在单机上要来的快。那为啥分离存储和技术在不同主机，反而能提高性能呢

opcDA协议数据是否可以接入数据湖中？

1.资产轨迹Flink脚本中的时间加8小时逻辑描述2.为什么要加8小时，以致于轨迹时间不是当前时间，而是加8小时后的时间

需要将dws数据源A中的多张表join以后得结果集，写入另一个dws数据源中，有什么好办法？不想在源dws数据源中创建很多表，想将多表join后查询结果直接写入另一个dws数据源中

对于集成后在贴原层的数据，含有加密的数据，在有密钥的情况下如何进行解密，平台支持吗？求助大佬~

停止任务命令:flink stop d173e065c36b4385f2d386fb6e480274 -p obs://ddos/AIAE/savepoint/tianmen/ -yid application_1676631574356_0854报错截图 keeperErrorCode = Session closed because client failed to authenticate for /flink_base/flink zk截图

kafka消息正文-- key:`yd_test`.`test`, -- value:{ -- "mysqlType":{"name":"char","id":"int","age":"int"}, -- "id":606, -- "es":1662693580000, -- "ts":1662693580897, -- "database":"yd_test", -- "table":"test", -- "type":"INSERT", -- "isDdl":false, -- "sql":"", -- "sqlType":{"name":1,"id":4,"age":4}, -- "data":[{"name":"yd","id":"4","age":"95"}], -- "old":null, -- "pkNames":null -- }需要指定data的id字段为upsert-kafka源表的主键，怎么指定呢？经测试，我这样指定不对！--kafka源表 CREATE table test2(   data ARRAY>,   PRIMARY KEY (id) )    with (     "connector" = "upsert-kafka",      "properties.bootstrap.servers" = "",--kafka的内网连接地址和端口     "properties.group.id" = "",     "topic" = "",--Kafka的Topic     --'key.format' = 'json',     --'value.format' = 'json',     "scan.startup.mode" = "latest-offset" );

IDEA 上的database 连接数据湖

云服务公共资源服务开通服务官网云服务社区入门材料赋能&产品文档等DGC大数据领域公共资源：1、大数据福利专场 0元试用 - 数据域主力产品0元试用https://activity.huaweicloud.com/Date-free.html2、微信公众号：智能数据湖微信号：ei-datalake    1、免费注册-[教程]DGC免费实例购买流程2.0https://bbs.huaweicloud.com/forum/thread-193738-1-1.html华为云-数据湖治理中心DGC-服务官网https://www.huaweicloud.com/product/dayu.html云社区 -EI企业智能数据湖治理中心DGChttps://bbs.huaweicloud.com/forum/forum-890-1.html1、快速入门：提供3个入门示例场景https://support.huaweicloud.com/qs-dgc/dgc_04_0021.html2、数据湖治理中心 DGC> 视频：入门准备https://support.huaweicloud.com/dgc_video/index.html1、DGC官方使用帮助文档：DGC的每个功能提供详细指导https://support.huaweicloud.com/dgc/index.html2、DGC 赋能视频：数据湖治理中心（DGC）伙伴赋能课程https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE133+Self-paced/about3、华为伙伴暨开发者大会2022数据治理生产线，加速构建企业数据资产视频回看：https://live.huawei.com/HPDC/meeting/cn/10741.htmlMRS1、云原生数据湖MRS集群开通https://support.huaweicloud.com/qs-mrs/mrs_09_0010.html华为云-云原生数据湖MRS-服务官网https://www.huaweicloud.com/product/mrs.html云社区 -云原生数据湖MRShttps://bbs.huaweicloud.com/forum/forum-612-1.html云原生数据湖MRS> 视频：入门介绍、操作&二次开发指导https://support.huaweicloud.com/mrs_video/index.html1、云原生数据湖MRS帮助文档：MRS的每个功能提供详细指导https://support.huaweicloud.com/mrs/index.html2、云原生数据湖MRS最佳实践https://support.huaweicloud.com/bestpractice-mrs/mrs_05_0023.htmlDLI免费注册-[教程]DLI免费实例购买流程2.0https://bbs.huaweicloud.com/forumreview/thread-193899-1-1.html华为云-数据湖探索 DLI-服务官网https://www.huaweicloud.com/product/dli.html云社区 -数据湖探索 DLIhttps://bbs.huaweicloud.com/forum/forum-599-1.html1、快速入门：使用DLI SQL分析OBS数据https://support.huaweicloud.com/bestpractice-dli/dli_05_0044.html2、数据湖探索 DLI> 视频：入门准备https://support.huaweicloud.com/dli_video/index.html1、DLI官方使用帮助文档：DLI的每个功能提供详细指导https://support.huaweicloud.com/wtsnew-dli/index.html2、DLI 赋能视频：数据湖探索（DLI）伙伴赋能课程https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE100+Self-paced/about

​1、 账号注册a) 在免费试用页面 点击跳转购买页，找到数据湖探索DLI​ ​​​b) 点击立即购买c) 输入手机号，验证码及密码，点击注册​d) 在新的窗口中勾选阅读并同意，点击开通​e) 注册成功​2、 实名认证a) 微信扫描上图中的二维码完成实名认证​​b) 认证成功截图如下： ​3、 购买DLI免费实例a) 认证成功后，点击立即购买，进入新页面，按照下图进行购买0元购买“扫描数据量套餐包”​ ​​​​​b) 点击立即购买按钮，跳转下一页，点击去支付c) 在新页面的折扣中选择“数据湖探索服务DLI  0折”，并确认付款d) 支付成功，步骤结束。 PS：点击下方的返回数据湖探索控制台，根据 快速入门 指引进行初次的DLI探索，使用DLI默认的 default 队列进行海量数据分析计算，真正按照执行的单条SQL扫描数据量计费（可从本次购买的扫描量套餐包中抵扣），不使用不花钱。Welcome to DLI ！​

本文主要分析并介绍传统实时数据湖解决方案、华为云DLI实时数据湖解决方案和相关的客户案例。云服务介绍：DLI Flink：是完全兼容Flink开源生态，提供基于Flink 1.12开源深度优化的流处理服务DWS：兼容PostgreSQL/Oracle生态的分析型数据库服务RDS：提供基于MySQL/PostgreSQL/SQL Server的在线关系型云数据库服务CSS: 提供托管的分布式搜索能力，兼容Elasticsearch、Kibana、Cerebro等软件 1.   传统实时数据湖解决方案采用 Debezium 订阅 MySQL 的 Binlog  传输到 Kafka，后端是由计算程序从 Kafka 里消费，最后将数据写入到其他存储。Kafka 消息队列做消峰、解耦，经Flink进行流式ETL后，再将数据写入到目的端。目的端可以是各种DB，数据湖，实时数仓和离线数仓。 但是该方案也有明显缺陷：部署难度大：方案中数据采集链路长，额外增加了组件部署、运维成本，技术门槛较高，无法做到可视化操作。数据重复：云原生Debezium可能存在消息重复。数据一致性：由于Kafka中接收的消息存在重复，导致Flink sink端在保证数据的一致性上存在难度。 2.   华为云现有实时数据湖解决方案与业界传统的实时数据湖解决方案相比，华为云现有实时数据湖解决方案采用 DRS 数据复制服务订阅 MySQL 的 Binlog  传输到 分布式消息服务DMS，再由DLI Flink从 DMS 里消费，最后将数据写入到其他存储。同时，支持的源端较丰富，DLI Flink除了支持开源存储引擎外，同时对于华为云云服务等进行了深度优化，能够更好的支撑客户实时数据分析和同步。 方案优势：操作可视化：全程可视化操作，上手门槛低支持源端丰富： DRS支持对应的数据库种类繁多，包括Mysql、PostgreSQL、Oracle、GaussDB、MongoDB等。低时延：在金融、科技等一系列对数据处理实时性方面有非常高要求的行业，至关重要数据一致性：DLI Flink结合DMS确保数据最终一致性。 3.   Flink CDC介绍在 DLI Flink 1.12 版本中引入了 CDC 机制，CDC 的全称是 Change Data Capture，用于捕捉数据库表的增删改查操作，是目前成熟的同步数据库变更方案。Flink CDC Connectors 是 Apache Flink 的一组源连接器，是可以从 MySQL、PostgreSQL 数据直接读取全量数据和增量数据的 Source Connectors。 4.   华为云DLI实时数据湖解决方案方案优势：流程简便：省去了传统CDC，采集数据库binlog到Kafka的过程，将采集、计算都在DLI flink中完成。全程可视化操作，上手门槛低，集成进入DGC作业调度，与Spark离线、openLooKeen交互式作业数据复用、元数据统一降低成本、减少数据冗余：与传统华为云实时大数据方案相比，数据库与DLI flink链路中间，可以省去DRS数据复制服务于DMS kafka分布式消息服务的成本，并减少了数据冗余。缩短时延：在金融、科技等一系列对数据处理实时性方面有非常高要求的行业，至关重要 5.   实时日志分析解决方案介绍一句话应用场景：在复杂业务场景下，存在海量繁杂的日志信息，需要拥有能够实时更新的强大全文信息检测能力。 CSS云搜索服务，是一个基于Elasticsearch且完全托管的在线分布式搜索服务。能为用户提供结构化、非结构化文本的多条件检索、统计、BI报表功能。5.1 实时日志分析解决方案方案优势：无需Flink本身提供CDC变更数据捕获功能。历史、变更数据统一输出到DMS/Kafka中，DLI Flink再订阅DMS/Kafka进行实时消费。此外，DRS支持对应的数据库种类繁多，包括Mysql、PostgreSQL、Oracle、GaussDB、MongoDB等。 5.2 进阶CDC实时日志分析解决方案方案优势：Flink 支持读取CDC源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。链路简洁、时延降低、节省总体成本。 6.   实时数仓解决方案介绍一句话应用场景：该方案旨在为客户分析师团队提供可实时追加更新数据的秒级增强型简单ETL+实时BI分析的场景化解决方案。 DWS数据仓库服务是一种基于华为云基础架构和平台的在线数据处理数据库，能够为各行业提供有竞争力的PB级海量大数据分析能力。6.1 实时数仓解决方案方案优势：无需Flink本身提供CDC变更数据捕获功能。历史、变更数据统一输出到DMS/Kafka中，DLI Flink再订阅DMS/Kafka进行实时消费。此外，DRS支持对应的数据库种类繁多，包括Mysql、PostgreSQL、Oracle、GaussDB、MongoDB等。 6.2 进阶CDC实时数仓解决方案方案优势：Flink 支持读取CDC源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。链路简洁、时延降低、节省总体成本。 7.   当前客户实时解决方案介绍目前点触科技、爱库存、能链、富米等多家NA客户均采用该实时解决方案方案价值：免运维：Serverless云服务，无需客户运维，聚焦业务开发，降低人力投入成本，优化基础IT设施易开发：全链路可视化开发，DLI Flink提供简单易用的Flink SQL开发和调试能力，轻松掌握实时数据湖统一引擎：DLI Flink统一提供引擎运维、升级能力，全兼容开源Flink能力 客户诉求：运维难度高：自建Kafka、Flink等自运维难度高，需要投入额外人力进行组件升级维护开发效率低：开源Flink不具备可视化开发界面，作业开发依赖命令行+jar，管理复杂实时引擎混乱：自建实时引擎版本较多，存在历史遗留问题，多版本管理和升级都比较复杂维表管理混乱：维表存放位置较多，没有很好的统一，导致数据源连接多，维护复杂