- 文章目录 一、Flink概述 （一）Flink为何物 （二）访问Flink官网 （三）流处理的演变 （四）Flink计算框架 ... 文章目录 一、Flink概述 （一）Flink为何物 （二）访问Flink官网 （三）流处理的演变 （四）Flink计算框架 ...
- 文章目录 一、Local 模式 （一）简单说明 （二）案例演示 1、准备测试数据集 2、Flink Shel... 文章目录 一、Local 模式 （一）简单说明 （二）案例演示 1、准备测试数据集 2、Flink Shel...
- 学习总结 （1）Flink 是最具代表性的批流一体的大数据平台。特点：让批处理和流处理共用一套代码，从而既能批量处理已落盘的数据，又能直接处理实时数据流。 （2）Flink 提高推荐系统实时性：用户数据... 学习总结 （1）Flink 是最具代表性的批流一体的大数据平台。特点：让批处理和流处理共用一套代码，从而既能批量处理已落盘的数据，又能直接处理实时数据流。 （2）Flink 提高推荐系统实时性：用户数据...
- 前言 本文基于 Flink 1.12-SNAPSHOT，使用sql client命令行提交insert语句进行整个流程的分析。 sql-client.sh embedded --update "INSERT INTO user_log_sink2 SELECT *... 前言 本文基于 Flink 1.12-SNAPSHOT，使用sql client命令行提交insert语句进行整个流程的分析。 sql-client.sh embedded --update "INSERT INTO user_log_sink2 SELECT *...
- 目录 Flink 流处理为什么需要网络流控？ Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理，Credit是如何解决 Flink 1.5 之前的问题？ 对比spark，都说flink延迟低，来一条处理一条，真是这样吗？其实Flin... 目录 Flink 流处理为什么需要网络流控？ Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理，Credit是如何解决 Flink 1.5 之前的问题？ 对比spark，都说flink延迟低，来一条处理一条，真是这样吗？其实Flin...
- 集群和部署 支持 Hadoop 3.0 及更高的版本：Flink 不再提供任何 flink-shaded-hadoop- 依赖。用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 lib 文件夹下放入 Hadoop 依赖项。另外 include-hadoop Mave... 集群和部署 支持 Hadoop 3.0 及更高的版本：Flink 不再提供任何 flink-shaded-hadoop- 依赖。用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 lib 文件夹下放入 Hadoop 依赖项。另外 include-hadoop Mave...
- 前言 在实时计算作业中，往往需要动态改变一些配置，举几个栗子： 实时日志ETL服务，需要在日志的格式、字段发生变化时保证正常解析； 实时NLP服务，需要及时识别新添加的领域词与停用词； 实时风控服务，需要根据业务情况调整触发警告的规则。  ... 前言 在实时计算作业中，往往需要动态改变一些配置，举几个栗子： 实时日志ETL服务，需要在日志的格式、字段发生变化时保证正常解析； 实时NLP服务，需要及时识别新添加的领域词与停用词； 实时风控服务，需要根据业务情况调整触发警告的规则。  ...
- 准备工作 安装查看 Java 的版本号，推荐使用 Java 8。 安装 Flink 在 Mac OS X 上安装 Flink 是非常方便的。推荐通过 homebrew 来安装。 1brew install apache-flink 检查安装： 1flink --version 结果： 1... 准备工作 安装查看 Java 的版本号，推荐使用 Java 8。 安装 Flink 在 Mac OS X 上安装 Flink 是非常方便的。推荐通过 homebrew 来安装。 1brew install apache-flink 检查安装： 1flink --version 结果： 1...
- 前言 生产环境，我们的 Flink 作业偶尔会出现 heap OOM，那么当出现这种情况我们会怎么办？通常来说会通过 jmap 命令去将作业的 heap dump 一份文件出来，可是 jmap 导出的文件我们也看不懂啊，那么该怎么分析呢？今天推荐 memory analyzer(mat)这个工具，让他帮助我们来观察程序的内存分布情况吧... 前言 生产环境，我们的 Flink 作业偶尔会出现 heap OOM，那么当出现这种情况我们会怎么办？通常来说会通过 jmap 命令去将作业的 heap dump 一份文件出来，可是 jmap 导出的文件我们也看不懂啊，那么该怎么分析呢？今天推荐 memory analyzer(mat)这个工具，让他帮助我们来观察程序的内存分布情况吧...
- 前言 随着 Flink 在流式计算的应用场景逐渐成熟和流行。如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 的开发和维护成本，并且能够丰富 Flink 的生态。因为 SQL 是批计算比较常用的工具，所以 Flink 针对于批计算主要以 SQL 为主要接口。本次分享主要针对 Flink 对批处理的设计... 前言 随着 Flink 在流式计算的应用场景逐渐成熟和流行。如果 Flink 能同时把批量计算的应用场景处理好，就能减少用户在使用 Flink 的开发和维护成本，并且能够丰富 Flink 的生态。因为 SQL 是批计算比较常用的工具，所以 Flink 针对于批计算主要以 SQL 为主要接口。本次分享主要针对 Flink 对批处理的设计...
- 前言 本文根据 Apache Flink 系列直播整理而成，由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下： 实时数仓建设目的 如何建立实时数仓 仓库质量保证 实时数仓建设目的 实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把 PPT 黑色的背景变得更白一样，从传统的经... 前言 本文根据 Apache Flink 系列直播整理而成，由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下： 实时数仓建设目的 如何建立实时数仓 仓库质量保证 实时数仓建设目的 实时数仓是一个很容易让人产生混淆的概念。实时数仓本身似乎和把 PPT 黑色的背景变得更白一样，从传统的经...
- 前言 现如今想阅读 HashMap 源码实际上比较简单，因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap。本文详细分析 CopyOnWriteStateTable 源码，阅读复杂集合类源码的过程是相当有挑战的，博主在刚开始阅读也遇到很多疑问，最后一一解决了。 ❝ 声明：源码分析都是基于 fl... 前言 现如今想阅读 HashMap 源码实际上比较简单，因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap。本文详细分析 CopyOnWriteStateTable 源码，阅读复杂集合类源码的过程是相当有挑战的，博主在刚开始阅读也遇到很多疑问，最后一一解决了。 ❝ 声明：源码分析都是基于 fl...
- 前言 Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。 滴滴基于 Apache Flink 做了大量的优化，也增加了更多的功能，比如扩展 DDL、内置消息格式解析、扩展 UDX 等，使得 Flink 能够在滴滴的业务场景... 前言 Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。 滴滴基于 Apache Flink 做了大量的优化，也增加了更多的功能，比如扩展 DDL、内置消息格式解析、扩展 UDX 等，使得 Flink 能够在滴滴的业务场景...
- 前言 如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台的建设实践。 本次分享主要分为四个方面： L... 前言 如何基于 Flink 搭建大规模准实时数据分析平台？在 Flink Forward Asia 2019 上，来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台的建设实践。 本次分享主要分为四个方面： L...
- Java SPI 机制简介 Java SPI机制，即Java Service Provider Interface，是Java提供的基于“接口编程 + 策略模式 + 配置文件”组合实现的动态加载机制。调用者可以根据实际使用需要，来启用、扩展或者替换框架的现有实现策略。在Java中，基于该SPI思想，提供了具体的实现，ServiceLo... Java SPI 机制简介 Java SPI机制，即Java Service Provider Interface，是Java提供的基于“接口编程 + 策略模式 + 配置文件”组合实现的动态加载机制。调用者可以根据实际使用需要，来启用、扩展或者替换框架的现有实现策略。在Java中，基于该SPI思想，提供了具体的实现，ServiceLo...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签