- 集群基础环境搭建Flink可以运行在所有类unix环境中，例如：Linux，Mac OS 和Windows，一般企业中使用Flink基于的都是Linux环境，后期我们进行Flink搭建和其他框架整合也是基于linux环境，使用的是Centos7.6版本，JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)，本小节主要针对Flink集群使用到的基础环境进行配置，不再从零... 集群基础环境搭建Flink可以运行在所有类unix环境中，例如：Linux，Mac OS 和Windows，一般企业中使用Flink基于的都是Linux环境，后期我们进行Flink搭建和其他框架整合也是基于linux环境，使用的是Centos7.6版本，JDK使用JDK8版本(Hive版本不支持JDK11,所以这里选择JDK8)，本小节主要针对Flink集群使用到的基础环境进行配置，不再从零...
- Flink批和流案例总结关于Flink 批数据处理和流式数据处理案例有以下几个点需要注意：一、Flink程序编写流程总结编写Flink代码要符合一定的流程，Flink代码编写流程如下：a. 获取flink的执行环境，批和流不同，Execution Environment。 b. 加载数据数据-- soure。 c. 对加载的数据进行转换-- transformation。 d. 对结果进行保... Flink批和流案例总结关于Flink 批数据处理和流式数据处理案例有以下几个点需要注意：一、Flink程序编写流程总结编写Flink代码要符合一定的流程，Flink代码编写流程如下：a. 获取flink的执行环境，批和流不同，Execution Environment。 b. 加载数据数据-- soure。 c. 对加载的数据进行转换-- transformation。 d. 对结果进行保...
- Seatunnel集群的搭建依赖于Hadoop提供的Yarn组件，本文将介绍通过Hadoop和Flink搭建SeaTunnel集群。 Seatunnel集群的搭建依赖于Hadoop提供的Yarn组件，本文将介绍通过Hadoop和Flink搭建SeaTunnel集群。
- 修改flink1.9.2源码，并编译构建，在新的任务中使用和验证 修改flink1.9.2源码，并编译构建，在新的任务中使用和验证
- 将最简单的flink任务在IDEA上开发和运行，为后面的深入学习和实践打好基础 将最简单的flink任务在IDEA上开发和运行，为后面的深入学习和实践打好基础
- Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode，一起来体验这两种模式 Flink on Yarn在使用的时候分为两种模式，Job Mode和Session Mode，一起来体验这两种模式
- 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了 本文是《Flink on Yarn三部曲》系列的第二篇，前面已经为部署做好了准备，现在可以一起来部署和启动Yarn环境了
- 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好
- 客户端程序客户端负责接收服务端广播的实时行情数据，并对数据预处理加工，发送到消息队列Kafka中。1.获取服务端数据在cn.itcast.szse包下创建客户端接收数据对象：SocketClient开发步骤:1.创建main方法2.建立socket连接，获取流数据3.读文件缓存成交量和成交金额4.解析行数据，数据转换发送kafka代码略2.读取文件缓存成交数据解析文件获取成交量和成交金额数... 客户端程序客户端负责接收服务端广播的实时行情数据，并对数据预处理加工，发送到消息队列Kafka中。1.获取服务端数据在cn.itcast.szse包下创建客户端接收数据对象：SocketClient开发步骤:1.创建main方法2.建立socket连接，获取流数据3.读文件缓存成交量和成交金额4.解析行数据，数据转换发送kafka代码略2.读取文件缓存成交数据解析文件获取成交量和成交金额数...
- 1.1. 实时流数据采集 1.1.1. 创建数据采集工程 1.1.1.1. 1.创建子工程此阶段采集的数据为深市实时行情数据，深市行情是已socket的方式对外广播行情数据。新建数据采集工程，在父类下新建子工程-producer： 1.1.1.2. 2.创建项目包目录结构包名说明cn.itcast.util工具类cn.itcast.avroavro对象cn.itcast.sse沪市数据采集... 1.1. 实时流数据采集 1.1.1. 创建数据采集工程 1.1.1.1. 1.创建子工程此阶段采集的数据为深市实时行情数据，深市行情是已socket的方式对外广播行情数据。新建数据采集工程，在父类下新建子工程-producer： 1.1.1.2. 2.创建项目包目录结构包名说明cn.itcast.util工具类cn.itcast.avroavro对象cn.itcast.sse沪市数据采集...
- 1.1. 数据源 1.1.1. 实时数据源接口 1.1.1.1. 文本数据上证行情数据接口文档文件名：竞价行情文件（sse.txt）接收方：[新债券业务管理系统,新公司业务管理系统,行情监测系统,期权风控系统,指数公司,信息中心,信息公司,港交所,新基金业务管理系统]功能描述：本文件为行情文件接口。对于竞价撮合平台，行情文件名为sse.txt，当日开市至交易结束期间实时发送。产品类型：债券... 1.1. 数据源 1.1.1. 实时数据源接口 1.1.1.1. 文本数据上证行情数据接口文档文件名：竞价行情文件（sse.txt）接收方：[新债券业务管理系统,新公司业务管理系统,行情监测系统,期权风控系统,指数公司,信息中心,信息公司,港交所,新基金业务管理系统]功能描述：本文件为行情文件接口。对于竞价撮合平台，行情文件名为sse.txt，当日开市至交易结束期间实时发送。产品类型：债券...
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第14天，点击查看活动详情 1 Flink Watermark(水位线) 1 事件时间（event time）为了使用事件时间，Flink任务需要知道事件的时间戳（标记），这意味着流中的每个元素都需要分配其事件时间戳/水位线(watermark)。通常，水位线的分配是通过从元素的某个字段提... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第14天，点击查看活动详情 1 Flink Watermark(水位线) 1 事件时间（event time）为了使用事件时间，Flink任务需要知道事件的时间戳（标记），这意味着流中的每个元素都需要分配其事件时间戳/水位线(watermark)。通常，水位线的分配是通过从元素的某个字段提...
- 🍬博主介绍👨🎓 博主简介：大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、 架构图Flink程序需要提交程序给 JobClientJobClient 将作业提交给 JobManangerJobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManagerTas... 🍬博主介绍👨🎓 博主简介：大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、 架构图Flink程序需要提交程序给 JobClientJobClient 将作业提交给 JobManangerJobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManagerTas...
- 🍬博主介绍👨🎓 博主介绍：CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、架构图client客户端提交任务给 JobManagerJobManager 负责Flink集群计算资源管理, 并分发任务给TaskManager执行TaskManager定期向JobManager汇报状态Flink的TM就是运行在不同节点上JVM... 🍬博主介绍👨🎓 博主介绍：CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、架构图client客户端提交任务给 JobManagerJobManager 负责Flink集群计算资源管理, 并分发任务给TaskManager执行TaskManager定期向JobManager汇报状态Flink的TM就是运行在不同节点上JVM...
- 6、FlinkSQL当中的函数FlinkSQL当中也内置了大量的函数，我们使用SQL主要就是在使用各种函数，这里我们来统一给大家介绍一下关于内置函数以及自定义函数 6.1、内置函数概览Flink Table API/SQL提供了⼤量的内置函数，⼤家⾃⼰⽤到了当字典查即可：https://nightlies.apache.org/flink/flink-docs-release-1.15/d... 6、FlinkSQL当中的函数FlinkSQL当中也内置了大量的函数，我们使用SQL主要就是在使用各种函数，这里我们来统一给大家介绍一下关于内置函数以及自定义函数 6.1、内置函数概览Flink Table API/SQL提供了⼤量的内置函数，⼤家⾃⼰⽤到了当字典查即可：https://nightlies.apache.org/flink/flink-docs-release-1.15/d...
上滑加载中
推荐直播
-
华为云云原生FinOps解决方案，为您释放云原生最大价值2024/04/24 周三 16:30-18:00
Roc 华为云云原生DTSE技术布道师
还在对CCE集群成本评估感到束手无策？还在担心不合理的K8s集群资源申请和过度浪费？华为云容器服务CCE全新上线云原生FinOps中心，为用户提供多维度集群成本可视化，结合智能规格推荐、混部、超卖等成本优化手段，助力客户降本增效，释放云原生最大价值。
回顾中 -
鲲鹏开发者创享日·江苏站暨数字技术创新应用峰会2024/04/25 周四 09:30-16:00
鲲鹏专家团
这是华为推出的旨在和众多技术大牛、行业大咖一同探讨最前沿的技术思考，分享最纯粹的技术经验，进行最真实的动手体验，为开发者提供一个深度探讨与交流的平台。
回顾中
热门标签