- 在大数据处理领域，Apache Flink以其流处理和批处理一体化的能力，成为许多企业的首选。然而，随着数据量的增长，性能优化变得至关重要。本文将深入浅出地探讨Flink SQL的常见性能问题、调优方法、易错点及调优技巧，并提供代码示例。 1. 常见性能问题 1.1 数据源读取效率低并行度不足：默认的并行度可能无法充分利用硬件资源。-- 设置并行度SET 'parallelism.defau... 在大数据处理领域，Apache Flink以其流处理和批处理一体化的能力，成为许多企业的首选。然而，随着数据量的增长，性能优化变得至关重要。本文将深入浅出地探讨Flink SQL的常见性能问题、调优方法、易错点及调优技巧，并提供代码示例。 1. 常见性能问题 1.1 数据源读取效率低并行度不足：默认的并行度可能无法充分利用硬件资源。-- 设置并行度SET 'parallelism.defau...
- Flink实例：处理IoT事件流 Flink实例：处理IoT事件流
- 在深入了解Flink实时数据处理程序的开发之前，先通过一个简单示例来了解使用Flink的DataStream API构建有状态流应用程序的过程。 在深入了解Flink实时数据处理程序的开发之前，先通过一个简单示例来了解使用Flink的DataStream API构建有状态流应用程序的过程。
- Flink On Standalone任务提交Flink On Standalone 即Flink任务运行在Standalone集群中，Standlone集群部署时采用Session模式来构建集群，即：首先构建一个Flink集群，Flink集群资源就固定了，所有提交到该集群的Flink作业都运行在这一个集群中，如果集群中提交的任务多资源不够时，需要手动增加节点，所以Flink 基于Stand... Flink On Standalone任务提交Flink On Standalone 即Flink任务运行在Standalone集群中，Standlone集群部署时采用Session模式来构建集群，即：首先构建一个Flink集群，Flink集群资源就固定了，所有提交到该集群的Flink作业都运行在这一个集群中，如果集群中提交的任务多资源不够时，需要手动增加节点，所以Flink 基于Stand...
- Flink 任务提交模式Flink分布式计算框架可以基于多种模式部署，每种部署模式下提交任务都有相应的资源管理方式，例如：Flink可以基于Standalone部署模式、基于Yarn部署模式、基于Kubernetes部署模式运行任务，以上不同的集群部署模式下提交Flink任务会涉及申请资源、各角色交互过程，不同模式申请资源涉及到的角色对象大体相同，下面我们以Flink运行时架构流程为例来总... Flink 任务提交模式Flink分布式计算框架可以基于多种模式部署，每种部署模式下提交任务都有相应的资源管理方式，例如：Flink可以基于Standalone部署模式、基于Yarn部署模式、基于Kubernetes部署模式运行任务，以上不同的集群部署模式下提交Flink任务会涉及申请资源、各角色交互过程，不同模式申请资源涉及到的角色对象大体相同，下面我们以Flink运行时架构流程为例来总...
- Flink集群部署Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理... Flink集群部署Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理...
- 集群基础环境搭建Flink可以运行在所有类unix环境中，例如：Linux，Mac OS 和Windows，一般企业中使用Flink基于的都是Linux环境，后期我们进行Flink搭建和其他框架整合也是基于linux环境，使用的是Centos7.6版本，JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)，本小节主要针对Flink集群使用到的基础环境进行配置，不再从零... 集群基础环境搭建Flink可以运行在所有类unix环境中，例如：Linux，Mac OS 和Windows，一般企业中使用Flink基于的都是Linux环境，后期我们进行Flink搭建和其他框架整合也是基于linux环境，使用的是Centos7.6版本，JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)，本小节主要针对Flink集群使用到的基础环境进行配置，不再从零...
- Flink批和流案例总结关于Flink 批数据处理和流式数据处理案例有以下几个点需要注意：一、Flink程序编写流程总结编写Flink代码要符合一定的流程，Flink代码编写流程如下：a. 获取flink的执行环境，批和流不同，Execution Environment。 b. 加载数据数据-- soure。 c. 对加载的数据进行转换-- transformation。 d. 对结果进行保... Flink批和流案例总结关于Flink 批数据处理和流式数据处理案例有以下几个点需要注意：一、Flink程序编写流程总结编写Flink代码要符合一定的流程，Flink代码编写流程如下：a. 获取flink的执行环境，批和流不同，Execution Environment。 b. 加载数据数据-- soure。 c. 对加载的数据进行转换-- transformation。 d. 对结果进行保...
- Seatunnel集群的搭建依赖于Hadoop提供的Yarn组件，本文将介绍通过Hadoop和Flink搭建SeaTunnel集群。 Seatunnel集群的搭建依赖于Hadoop提供的Yarn组件，本文将介绍通过Hadoop和Flink搭建SeaTunnel集群。
- 修改flink1.9.2源码，并编译构建，在新的任务中使用和验证 修改flink1.9.2源码，并编译构建，在新的任务中使用和验证
- 将最简单的flink任务在IDEA上开发和运行，为后面的深入学习和实践打好基础 将最简单的flink任务在IDEA上开发和运行，为后面的深入学习和实践打好基础
- Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode，一起来体验这两种模式 Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode，一起来体验这两种模式
- 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了
- 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好
- 客户端程序客户端负责接收服务端广播的实时行情数据，并对数据预处理加工，发送到消息队列Kafka中。1.获取服务端数据在cn.itcast.szse包下创建客户端接收数据对象：SocketClient开发步骤:1.创建main方法2.建立socket连接，获取流数据3.读文件缓存成交量和成交金额4.解析行数据，数据转换发送kafka代码略2.读取文件缓存成交数据解析文件获取成交量和成交金额数... 客户端程序客户端负责接收服务端广播的实时行情数据，并对数据预处理加工，发送到消息队列Kafka中。1.获取服务端数据在cn.itcast.szse包下创建客户端接收数据对象：SocketClient开发步骤:1.创建main方法2.建立socket连接，获取流数据3.读文件缓存成交量和成交金额4.解析行数据，数据转换发送kafka代码略2.读取文件缓存成交数据解析文件获取成交量和成交金额数...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签