- 1.1. 实时流数据采集 1.1.1. 创建数据采集工程 1.1.1.1. 1.创建子工程此阶段采集的数据为深市实时行情数据，深市行情是已socket的方式对外广播行情数据。新建数据采集工程，在父类下新建子工程-producer： 1.1.1.2. 2.创建项目包目录结构包名说明cn.itcast.util工具类cn.itcast.avroavro对象cn.itcast.sse沪市数据采集... 1.1. 实时流数据采集 1.1.1. 创建数据采集工程 1.1.1.1. 1.创建子工程此阶段采集的数据为深市实时行情数据，深市行情是已socket的方式对外广播行情数据。新建数据采集工程，在父类下新建子工程-producer： 1.1.1.2. 2.创建项目包目录结构包名说明cn.itcast.util工具类cn.itcast.avroavro对象cn.itcast.sse沪市数据采集...
- 1.1. 数据源 1.1.1. 实时数据源接口 1.1.1.1. 文本数据上证行情数据接口文档文件名：竞价行情文件（sse.txt）接收方：[新债券业务管理系统,新公司业务管理系统,行情监测系统,期权风控系统,指数公司,信息中心,信息公司,港交所,新基金业务管理系统]功能描述：本文件为行情文件接口。对于竞价撮合平台，行情文件名为sse.txt，当日开市至交易结束期间实时发送。产品类型：债券... 1.1. 数据源 1.1.1. 实时数据源接口 1.1.1.1. 文本数据上证行情数据接口文档文件名：竞价行情文件（sse.txt）接收方：[新债券业务管理系统,新公司业务管理系统,行情监测系统,期权风控系统,指数公司,信息中心,信息公司,港交所,新基金业务管理系统]功能描述：本文件为行情文件接口。对于竞价撮合平台，行情文件名为sse.txt，当日开市至交易结束期间实时发送。产品类型：债券...
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第14天，点击查看活动详情 1 Flink Watermark(水位线) 1 事件时间（event time）为了使用事件时间，Flink任务需要知道事件的时间戳（标记），这意味着流中的每个元素都需要分配其事件时间戳/水位线(watermark)。通常，水位线的分配是通过从元素的某个字段提... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第14天，点击查看活动详情 1 Flink Watermark(水位线) 1 事件时间（event time）为了使用事件时间，Flink任务需要知道事件的时间戳（标记），这意味着流中的每个元素都需要分配其事件时间戳/水位线(watermark)。通常，水位线的分配是通过从元素的某个字段提...
- 🍬博主介绍👨🎓 博主简介：大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、 架构图Flink程序需要提交程序给 JobClientJobClient 将作业提交给 JobManangerJobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManagerTas... 🍬博主介绍👨🎓 博主简介：大数据高级开发工程师、CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、 架构图Flink程序需要提交程序给 JobClientJobClient 将作业提交给 JobManangerJobManager负责协调资源分配和作业执行. 资源分配完成后, 任务将提交给对应的TaskManagerTas...
- 🍬博主介绍👨🎓 博主介绍：CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、架构图client客户端提交任务给 JobManagerJobManager 负责Flink集群计算资源管理, 并分发任务给TaskManager执行TaskManager定期向JobManager汇报状态Flink的TM就是运行在不同节点上JVM... 🍬博主介绍👨🎓 博主介绍：CSDN大数据领域新星创作者、阿里云专家博主✨主攻领域：【大数据】【java】【python】【面试分析】 一、架构图client客户端提交任务给 JobManagerJobManager 负责Flink集群计算资源管理, 并分发任务给TaskManager执行TaskManager定期向JobManager汇报状态Flink的TM就是运行在不同节点上JVM...
- 6、FlinkSQL当中的函数FlinkSQL当中也内置了大量的函数，我们使用SQL主要就是在使用各种函数，这里我们来统一给大家介绍一下关于内置函数以及自定义函数 6.1、内置函数概览Flink Table API/SQL提供了⼤量的内置函数，⼤家⾃⼰⽤到了当字典查即可：https://nightlies.apache.org/flink/flink-docs-release-1.15/d... 6、FlinkSQL当中的函数FlinkSQL当中也内置了大量的函数，我们使用SQL主要就是在使用各种函数，这里我们来统一给大家介绍一下关于内置函数以及自定义函数 6.1、内置函数概览Flink Table API/SQL提供了⼤量的内置函数，⼤家⾃⼰⽤到了当字典查即可：https://nightlies.apache.org/flink/flink-docs-release-1.15/d...
- 4、Flink 的WaterMark机制Watermarks(水位线)机制是event time处理进度的标志表示比watermark更早(更老)的事件都已经到达(没有比水位线更低的数据 )基于watermark来进行窗口触发计算的判断 1 什么是乱序当数据是一条一条规规矩矩的按照流程发送，经过MQ传输，Flink接受后处理，这个时候，就是有序的处理。当出现异常，有些数据延迟了，排在后面的... 4、Flink 的WaterMark机制Watermarks(水位线)机制是event time处理进度的标志表示比watermark更早(更老)的事件都已经到达(没有比水位线更低的数据 )基于watermark来进行窗口触发计算的判断 1 什么是乱序当数据是一条一条规规矩矩的按照流程发送，经过MQ传输，Flink接受后处理，这个时候，就是有序的处理。当出现异常，有些数据延迟了，排在后面的...
- 3、Flink的Time类型对于流式数据处理，最大的特点是数据上具有时间的属性特征。Flink根据时间产生的位置不同，可以将时间区分为三种时间类型：==Event Time==（事件发生时间）事件产生的时间，它通常由事件中的时间戳描述==Ingestion time==（事件接入时间）事件进入Flink程序的时间==Processing Time==（事件处理时间）事件被处理时当前系统的时... 3、Flink的Time类型对于流式数据处理，最大的特点是数据上具有时间的属性特征。Flink根据时间产生的位置不同，可以将时间区分为三种时间类型：==Event Time==（事件发生时间）事件产生的时间，它通常由事件中的时间戳描述==Ingestion time==（事件接入时间）事件进入Flink程序的时间==Processing Time==（事件处理时间）事件被处理时当前系统的时...
- 2、FlinkTable API操作FlinkTable API提供了很多的connector用于对接各种数据源，例如CSV、json、HDFS数据、HBase数据、Kafka数据、JDBC数据、Hive数据等，可以将各个系统当中的数据，直接接入到Flink当中来进行处理，然后处理完成的数据，也可以写入到各个地方去我们接下来就一起来看一下关于各种输入数据源的使用 2.1、读取集合数据，并... 2、FlinkTable API操作FlinkTable API提供了很多的connector用于对接各种数据源，例如CSV、json、HDFS数据、HBase数据、Kafka数据、JDBC数据、Hive数据等，可以将各个系统当中的数据，直接接入到Flink当中来进行处理，然后处理完成的数据，也可以写入到各个地方去我们接下来就一起来看一下关于各种输入数据源的使用 2.1、读取集合数据，并...
- FlinkTableAPI与SQL编程实战接下来我们一起来进入到FlinkSQL的编码实战当中，通过代码来实现FlinkSQL的编码开发 1、Flink TableAPI实践 1.1、创建Maven工程 并添加以jar包坐标依赖 <properties> <maven.compiler.source>8</maven.compiler.source> <mav... FlinkTableAPI与SQL编程实战接下来我们一起来进入到FlinkSQL的编码实战当中，通过代码来实现FlinkSQL的编码开发 1、Flink TableAPI实践 1.1、创建Maven工程 并添加以jar包坐标依赖 <properties> <maven.compiler.source>8</maven.compiler.source> <mav...
- 想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上 想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上
- 创建Flink实时计算子工程 1 在原工程下创建实时分析子模块总工程结构设计创建StreamingAnalysis工程设置打包类型为：jar 2 导入实时分析子模块pom依赖略l 工程包目录 3 配置实时分析子模块资源文件conf.properties# mysql configurationjdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc... 创建Flink实时计算子工程 1 在原工程下创建实时分析子模块总工程结构设计创建StreamingAnalysis工程设置打包类型为：jar 2 导入实时分析子模块pom依赖略l 工程包目录 3 配置实时分析子模块资源文件conf.properties# mysql configurationjdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc...
- theme: condensed-night-purple Flink携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情目前唯一同时支持高吞吐、低延迟、高性能的分布式流式数据处理框架。像Apache Spark也只能兼顾高吞吐和高性能特性，主要因为在Spark Streaming流式计算中无法做到低延迟保障。优势支持事件事件概念。支持有状态计算，... theme: condensed-night-purple Flink携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情目前唯一同时支持高吞吐、低延迟、高性能的分布式流式数据处理框架。像Apache Spark也只能兼顾高吞吐和高性能特性，主要因为在Spark Streaming流式计算中无法做到低延迟保障。优势支持事件事件概念。支持有状态计算，...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Flink 操作 kafkahttps://zhuanlan.zhihu.com/p/92289771flink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafk...
- theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE... theme: condensed-night-purple携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第30天，点击查看活动详情 Sink ConnectorFlink 提供为 Kafka 0.8 版本后所有 Kafka 版本的 sink connectors。// 设定数据流DataStream[String] stream = environment.fromE...
上滑加载中
推荐直播
-
计算机核心课程贯通式实践教学体系介绍2025/01/05 周日 09:00-12:00
华为开发者布道师、湖南大学二级教授、博士生导师赵欢
1月5日上午，华为开发者布道师直播间将迎来重磅嘉宾！赵欢老师，计算机教育创新先锋，其 “小而全系统” 教学方案重塑计算机类专业课程与实践，融合鲲鹏生态技术知识，斩获国家级教学成果奖。杨科华老师专注小型全系统实践，在香橙派鲲鹏 Pro 开发板构建精妙 mini 系统，带您直击计算机底层奥秘。还有香橙派系统开发部李博经理，精通开发板硬件与应用，将全方位揭秘开发板使用及 FPGA 开发实战案例。三位大咖齐聚，为高校师生开启计算机系统能力提升的知识宝库，精彩即将上线，速速预约！
回顾中 -
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
去报名
热门标签