- 目录 案例二 需求 代码实现-SQL 代码实现-Table 案例二 需求 使用SQL和Table两种方式对DataStream中的单词进行统计 代码实现-SQL package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp... 目录 案例二 需求 代码实现-SQL 代码实现-Table 案例二 需求 使用SQL和Table两种方式对DataStream中的单词进行统计 代码实现-SQL package cn.itcast.sql; import lombok.AllArgsConstructor;import lombok.Data;imp...
- 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然... 目录 Savepoint Savepoint介绍 Savepoint VS Checkpoint Savepoint演示 Savepoint Savepoint介绍 Savepoint:保存点,类似于以前玩游戏的时候,遇到难关了/遇到boss了,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然...
- 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &... 目录 案例准备 依赖 程序结构 案例准备 依赖 https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/ <dependency> &...
- Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。... Flink 实时计算在微博的应用 https://zhuanlan.zhihu.com/p/375032985 Flink GitHub 地址 https://github.com/apache/flink 一、微博介绍 二、数据计算平台介绍 1. 数据计算平台概况 基于 K8s 和 Yarn 分别部署了实时数据处理的 Flink、Storm，以及用于离线处理的 SQL 服务。...
- 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh... 答：Flink的分布式快照是根据Chandy-Lamport算法量身定做的。简单来说就是持续创建分布式数据流及其状态的一致快照。 核心思想是在 input source 端插入 barrier，控制 barrier 的同步来实现 snapshot 的备份和 exactly-once 语义。 什么是Chandy-Lamport算法 什么是barrier 标记 snapsh...
- 请按照如下方法进行日志获取： 1、 登录yarn原生界面找到对应任务的appid 已经任务提交用户 2、 hdfs dfs –get /tmp/logs/提交任务用户名/logs/任务ID /tmp 3、 到/tmp目录下找到get下来的文件 请按照如下方法进行日志获取： 1、 登录yarn原生界面找到对应任务的appid 已经任务提交用户 2、 hdfs dfs –get /tmp/logs/提交任务用户名/logs/任务ID /tmp 3、 到/tmp目录下找到get下来的文件
- 1.Operator Level（算子级别）(可以使用) 一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定 image.png 2.Execution Environment Level（Env级别）(可以使用) 执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的... 1.Operator Level（算子级别）(可以使用) 一个算子、数据源和sink的并行度可以通过调用 setParallelism()方法来指定 image.png 2.Execution Environment Level（Env级别）(可以使用) 执行环境(任务)的默认并行度可以通过调用setParallelism()方法指定。为了以并行度3来执行所有的...
- sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和BatchRolloverInterval一定要加L，虽然不加L也不会报错， 但笔者遇到一个坑设置10... sink.setBatchSize(1024 * 1024 * 400L); // this is 400 MB, sink.setBatchRolloverInterval(20 * 60 * 1000L); // this is 20 mins 注意：batchSize和BatchRolloverInterval一定要加L，虽然不加L也不会报错， 但笔者遇到一个坑设置10...
- Flink.png flink 1.12.2 hudi 0.9.0 一、组件下载 1.1、flink1.12.2编译包下载： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz 1.2、hudi编译： git clone htt... Flink.png flink 1.12.2 hudi 0.9.0 一、组件下载 1.1、flink1.12.2编译包下载： https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.12.2/flink-1.12.2-bin-scala_2.11.tgz 1.2、hudi编译： git clone htt...
- Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的... Flink 中的执行图可以分成四层：StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行图。 StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。 JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的...
- Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*... Flink8种分区策略有哪几种？ Flink实现的分区策略继承图：.png GlobalPartitioner: DataStream => DataStream GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 GlobalPartitioner,GLOBAL分区。`将记录输出到下游Operator的第一个实例。 源码解读: /*...
- 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2... 下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。 1.Checkpoint Coordinator 向所有 source 节点 trigger Checkpoint。 image.png 2...
- 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J... 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J...
- 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的... 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的...
- 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water... 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签