- theme: condensed-night-purple Flink操作流程携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情public class StreamingJob { public static void main(String[] args) throws Exception { // 创建执行环境 ... theme: condensed-night-purple Flink操作流程携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情public class StreamingJob { public static void main(String[] args) throws Exception { // 创建执行环境 ...
- Flink综合案例(九) 今日目标Flink FileSink 落地写入到 HDFSFlinkSQL 整合 Hive数据仓库订单自动好评综合案例 Flink FileSink 落地写入到 HDFS常用的文件存储格式TextFilecsvrcFileparquetorcsequenceFile支持流批一体的写入到 HDFSFile Sink 需求将流数据写入到 HDFSpackage cn.... Flink综合案例(九) 今日目标Flink FileSink 落地写入到 HDFSFlinkSQL 整合 Hive数据仓库订单自动好评综合案例 Flink FileSink 落地写入到 HDFS常用的文件存储格式TextFilecsvrcFileparquetorcsequenceFile支持流批一体的写入到 HDFSFile Sink 需求将流数据写入到 HDFSpackage cn....
- Kafka 连接方式Kafka 是消息队列需求：通过 Flink 将数据元素写入（producer）到 Kafka 中~~~java package cn.itcast.flink.sink; import com.alibaba.fastjson.JSON; import lombok.AllArgsConstructor; import lombok.Data; impo... Kafka 连接方式Kafka 是消息队列需求：通过 Flink 将数据元素写入（producer）到 Kafka 中~~~java package cn.itcast.flink.sink; import com.alibaba.fastjson.JSON; import lombok.AllArgsConstructor; import lombok.Data; impo...
- 今日目标 流处理概念（理解） 程序结构之数据源Source（掌握） 程序结构之数据转换Transformation（掌握） 程序结构之数据落地Sink（掌握） Flink连接器Connectors（理解） 今日目标 流处理概念（理解） 程序结构之数据源Source（掌握） 程序结构之数据转换Transformation（掌握） 程序结构之数据落地Sink（掌握） Flink连接器Connectors（理解）
- 本文实战Flink1.7的安装和Demo运行过程 本文实战Flink1.7的安装和Demo运行过程
- MapState 会存储 key、namespace、userKey、userValue，缩写为 <K, N, UK, UV> MapState 会存储 key、namespace、userKey、userValue，缩写为 <K, N, UK, UV>
- 1、安装flink：tar -zxvf flink-1.13.5-bin-scala_2.11.tgzflink1.13.5下载地址：https://www.apache.org/dyn/closer.lua/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgz2、修改flink-conf.yaml文件添加以下配置：#可以参考mrs flink... 1、安装flink：tar -zxvf flink-1.13.5-bin-scala_2.11.tgzflink1.13.5下载地址：https://www.apache.org/dyn/closer.lua/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgz2、修改flink-conf.yaml文件添加以下配置：#可以参考mrs flink...
- mrs 3.1.0集群启动flink HistoryServer服务1.修改$FLINK_HOME/conf/flink-conf.yaml文件#==============================================================================# HistoryServer#==============================... mrs 3.1.0集群启动flink HistoryServer服务1.修改$FLINK_HOME/conf/flink-conf.yaml文件#==============================================================================# HistoryServer#==============================...
- 问题描述Flink业务一般在运行过程中默认加载的jar包路径为：xxx/Flink/flink/lib的目录下，如果添加其它路径的jar包会报错，如何添加其它外部依赖解决方案创建一个外部的lib目录，将部分依赖包放到外部lib目录下，如下图： 2. 修改启动脚本的参数配置脚本，sh将jar包路径传给环境变量中 3. 此时正常启动任务即可， 不需要加-C参数 HDFS上也能看到第三... 问题描述Flink业务一般在运行过程中默认加载的jar包路径为：xxx/Flink/flink/lib的目录下，如果添加其它路径的jar包会报错，如何添加其它外部依赖解决方案创建一个外部的lib目录，将部分依赖包放到外部lib目录下，如下图： 2. 修改启动脚本的参数配置脚本，sh将jar包路径传给环境变量中 3. 此时正常启动任务即可， 不需要加-C参数 HDFS上也能看到第三...
- 1.Flink对接kafka出现数据倾斜问题现象使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中，其它的分区没有数据写入。可能原因1：Flink写kafka使用的机制与原生接口的写入方式是有差别的，在默认情况下，Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景： 1. 并行度%分区数量=0，表示并行度是kafk... 1.Flink对接kafka出现数据倾斜问题现象使用FlinkKafkaProducer进行数据生产过程中数据只写到了kafka的部分分区中，其它的分区没有数据写入。可能原因1：Flink写kafka使用的机制与原生接口的写入方式是有差别的，在默认情况下，Flink使用了并行度编号和分区数量做取模运算计算出来。那么会有以下两种场景： 1. 并行度%分区数量=0，表示并行度是kafk...
- 1.Flink架构（图-1 Flink Runtime 来自：https://ci.apache.org/projects/flink/flink-docs-release-1.6/concepts/runtime.html）2.基本原理2.1 JobmanagerJobManager（下称为JM）负责整个Flink集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中的ta... 1.Flink架构（图-1 Flink Runtime 来自：https://ci.apache.org/projects/flink/flink-docs-release-1.6/concepts/runtime.html）2.基本原理2.1 JobmanagerJobManager（下称为JM）负责整个Flink集群任务的调度以及资源的管理，从客户端中获取提交的应用，然后根据集群中的ta...
- 前言 Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data Source... 前言 Data Sources 是什么呢？就字面意思其实就可以知道：数据来源。 Flink 做为一款流式计算框架，它可用来做批处理，即处理静态的数据集、历史的数据集；也可以用来做流处理，即实时的处理些实时数据流，实时的产生数据流结果，只要数据源源不断的过来，Flink 就能够一直计算下去，这个 Data Source...
- 前言 本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括： 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 实时任务监控 Streaming SQL 平台化 Streami... 前言 本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括： 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 实时任务监控 Streaming SQL 平台化 Streami...
- flink流和mysql交互强烈推荐 https://www.studytime.xin/article/flink-mysql-source-sink.html flink批和mysql交互强烈推荐 https://blog.51cto.com/simplelife/2443000 flink流和mysql交互强烈推荐 https://www.studytime.xin/article/flink-mysql-source-sink.html flink批和mysql交互强烈推荐 https://blog.51cto.com/simplelife/2443000
- 本节书摘来自华章计算机《Flink原理、实战与性能优化》 一书中第3章，第3.5节，作者是张利兵 。 本节书摘来自华章计算机《Flink原理、实战与性能优化》 一书中第3章，第3.5节，作者是张利兵 。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签