- 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好
- 客户端程序客户端负责接收服务端广播的实时行情数据，并对数据预处理加工，发送到消息队列Kafka中。1.获取服务端数据在cn.itcast.szse包下创建客户端接收数据对象：SocketClient开发步骤:1.创建main方法2.建立socket连接，获取流数据3.读文件缓存成交量和成交金额4.解析行数据，数据转换发送kafka代码略2.读取文件缓存成交数据解析文件获取成交量和成交金额数... 客户端程序客户端负责接收服务端广播的实时行情数据，并对数据预处理加工，发送到消息队列Kafka中。1.获取服务端数据在cn.itcast.szse包下创建客户端接收数据对象：SocketClient开发步骤:1.创建main方法2.建立socket连接，获取流数据3.读文件缓存成交量和成交金额4.解析行数据，数据转换发送kafka代码略2.读取文件缓存成交数据解析文件获取成交量和成交金额数...
- 1.1. 实时流数据采集 1.1.1. 创建数据采集工程 1.1.1.1. 1.创建子工程此阶段采集的数据为深市实时行情数据，深市行情是已socket的方式对外广播行情数据。新建数据采集工程，在父类下新建子工程-producer： 1.1.1.2. 2.创建项目包目录结构包名说明cn.itcast.util工具类cn.itcast.avroavro对象cn.itcast.sse沪市数据采集... 1.1. 实时流数据采集 1.1.1. 创建数据采集工程 1.1.1.1. 1.创建子工程此阶段采集的数据为深市实时行情数据，深市行情是已socket的方式对外广播行情数据。新建数据采集工程，在父类下新建子工程-producer： 1.1.1.2. 2.创建项目包目录结构包名说明cn.itcast.util工具类cn.itcast.avroavro对象cn.itcast.sse沪市数据采集...
- 1.1. 数据源 1.1.1. 实时数据源接口 1.1.1.1. 文本数据上证行情数据接口文档文件名：竞价行情文件（sse.txt）接收方：[新债券业务管理系统,新公司业务管理系统,行情监测系统,期权风控系统,指数公司,信息中心,信息公司,港交所,新基金业务管理系统]功能描述：本文件为行情文件接口。对于竞价撮合平台，行情文件名为sse.txt，当日开市至交易结束期间实时发送。产品类型：债券... 1.1. 数据源 1.1.1. 实时数据源接口 1.1.1.1. 文本数据上证行情数据接口文档文件名：竞价行情文件（sse.txt）接收方：[新债券业务管理系统,新公司业务管理系统,行情监测系统,期权风控系统,指数公司,信息中心,信息公司,港交所,新基金业务管理系统]功能描述：本文件为行情文件接口。对于竞价撮合平台，行情文件名为sse.txt，当日开市至交易结束期间实时发送。产品类型：债券...
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第14天，点击查看活动详情 1 Flink Watermark(水位线) 1 事件时间（event time）为了使用事件时间，Flink任务需要知道事件的时间戳（标记），这意味着流中的每个元素都需要分配其事件时间戳/水位线(watermark)。通常，水位线的分配是通过从元素的某个字段提... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第14天，点击查看活动详情 1 Flink Watermark(水位线) 1 事件时间（event time）为了使用事件时间，Flink任务需要知道事件的时间戳（标记），这意味着流中的每个元素都需要分配其事件时间戳/水位线(watermark)。通常，水位线的分配是通过从元素的某个字段提...
- 🍬博主介绍👨🎓 博主简介：大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、 架构图Flink程序需要提交程序给 JobClientJobClient 将作业提交给 JobManangerJobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManagerTas... 🍬博主介绍👨🎓 博主简介：大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、 架构图Flink程序需要提交程序给 JobClientJobClient 将作业提交给 JobManangerJobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManagerTas...
- 🍬博主介绍👨🎓 博主介绍：CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、架构图client客户端提交任务给 JobManagerJobManager 负责Flink集群计算资源管理, 并分发任务给TaskManager执行TaskManager定期向JobManager汇报状态Flink的TM就是运行在不同节点上JVM... 🍬博主介绍👨🎓 博主介绍：CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、架构图client客户端提交任务给 JobManagerJobManager 负责Flink集群计算资源管理, 并分发任务给TaskManager执行TaskManager定期向JobManager汇报状态Flink的TM就是运行在不同节点上JVM...
- 6、FlinkSQL当中的函数FlinkSQL当中也内置了大量的函数，我们使用SQL主要就是在使用各种函数，这里我们来统一给大家介绍一下关于内置函数以及自定义函数 6.1、内置函数概览Flink Table API/SQL提供了⼤量的内置函数，⼤家⾃⼰⽤到了当字典查即可：https://nightlies.apache.org/flink/flink-docs-release-1.15/d... 6、FlinkSQL当中的函数FlinkSQL当中也内置了大量的函数，我们使用SQL主要就是在使用各种函数，这里我们来统一给大家介绍一下关于内置函数以及自定义函数 6.1、内置函数概览Flink Table API/SQL提供了⼤量的内置函数，⼤家⾃⼰⽤到了当字典查即可：https://nightlies.apache.org/flink/flink-docs-release-1.15/d...
- 4、Flink 的WaterMark机制Watermarks(水位线)机制是event time处理进度的标志表示比watermark更早(更老)的事件都已经到达(没有比水位线更低的数据 )基于watermark来进行窗口触发计算的判断 1 什么是乱序当数据是一条一条规规矩矩的按照流程发送，经过MQ传输，Flink接受后处理，这个时候，就是有序的处理。当出现异常，有些数据延迟了，排在后面的... 4、Flink 的WaterMark机制Watermarks(水位线)机制是event time处理进度的标志表示比watermark更早(更老)的事件都已经到达(没有比水位线更低的数据 )基于watermark来进行窗口触发计算的判断 1 什么是乱序当数据是一条一条规规矩矩的按照流程发送，经过MQ传输，Flink接受后处理，这个时候，就是有序的处理。当出现异常，有些数据延迟了，排在后面的...
- 3、Flink的Time类型对于流式数据处理，最大的特点是数据上具有时间的属性特征。Flink根据时间产生的位置不同，可以将时间区分为三种时间类型：==Event Time==（事件发生时间）事件产生的时间，它通常由事件中的时间戳描述==Ingestion time==（事件接入时间）事件进入Flink程序的时间==Processing Time==（事件处理时间）事件被处理时当前系统的时... 3、Flink的Time类型对于流式数据处理，最大的特点是数据上具有时间的属性特征。Flink根据时间产生的位置不同，可以将时间区分为三种时间类型：==Event Time==（事件发生时间）事件产生的时间，它通常由事件中的时间戳描述==Ingestion time==（事件接入时间）事件进入Flink程序的时间==Processing Time==（事件处理时间）事件被处理时当前系统的时...
- 2、FlinkTable API操作FlinkTable API提供了很多的connector用于对接各种数据源，例如CSV、json、HDFS数据、HBase数据、Kafka数据、JDBC数据、Hive数据等，可以将各个系统当中的数据，直接接入到Flink当中来进行处理，然后处理完成的数据，也可以写入到各个地方去我们接下来就一起来看一下关于各种输入数据源的使用 2.1、读取集合数据，并... 2、FlinkTable API操作FlinkTable API提供了很多的connector用于对接各种数据源，例如CSV、json、HDFS数据、HBase数据、Kafka数据、JDBC数据、Hive数据等，可以将各个系统当中的数据，直接接入到Flink当中来进行处理，然后处理完成的数据，也可以写入到各个地方去我们接下来就一起来看一下关于各种输入数据源的使用 2.1、读取集合数据，并...
- FlinkTableAPI与SQL编程实战接下来我们一起来进入到FlinkSQL的编码实战当中，通过代码来实现FlinkSQL的编码开发 1、Flink TableAPI实践 1.1、创建Maven工程 并添加以jar包坐标依赖 <properties> <maven.compiler.source>8</maven.compiler.source> <mav... FlinkTableAPI与SQL编程实战接下来我们一起来进入到FlinkSQL的编码实战当中，通过代码来实现FlinkSQL的编码开发 1、Flink TableAPI实践 1.1、创建Maven工程 并添加以jar包坐标依赖 <properties> <maven.compiler.source>8</maven.compiler.source> <mav...
- 想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上 想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上
- 创建Flink实时计算子工程 1 在原工程下创建实时分析子模块总工程结构设计创建StreamingAnalysis工程设置打包类型为：jar 2 导入实时分析子模块pom依赖略l 工程包目录 3 配置实时分析子模块资源文件conf.properties# mysql configurationjdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc... 创建Flink实时计算子工程 1 在原工程下创建实时分析子模块总工程结构设计创建StreamingAnalysis工程设置打包类型为：jar 2 导入实时分析子模块pom依赖略l 工程包目录 3 配置实时分析子模块资源文件conf.properties# mysql configurationjdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc...
- theme: condensed-night-purple Flink携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情目前唯一同时支持高吞吐、低延迟、高性能的分布式流式数据处理框架。像Apache Spark也只能兼顾高吞吐和高性能特性，主要因为在Spark Streaming流式计算中无法做到低延迟保障。优势支持事件事件概念。支持有状态计算，... theme: condensed-night-purple Flink携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情目前唯一同时支持高吞吐、低延迟、高性能的分布式流式数据处理框架。像Apache Spark也只能兼顾高吞吐和高性能特性，主要因为在Spark Streaming流式计算中无法做到低延迟保障。优势支持事件事件概念。支持有状态计算，...
上滑加载中
推荐直播
0.5
-
空中宣讲会 2025年华为软件精英挑战赛2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭！完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包，与全国优秀高校开发者同台竞技，直通顶尖赛事起跑线！
即将直播 -
空中宣讲会 2025年华为软件精英挑战赛
2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭！完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包，与全国优秀高校开发者同台竞技，直通顶尖赛事起跑线！
即将直播 -
空中宣讲会 2025年华为软件精英挑战赛
2025/03/10 周一 18:00-19:00
宸睿 华为云存储技术专家、ACM-ICPC WorldFinal经验 晖哥
2025华为软挑赛空中宣讲会重磅来袭！完整赛程首曝+命题天团硬核拆题+三轮幸运抽奖赢参赛助力礼包，与全国优秀高校开发者同台竞技，直通顶尖赛事起跑线！
即将直播
热门标签
