- Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、... Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、...
- Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈... Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈...
- Flink是分布式流数据处理引擎。 Flink是分布式流数据处理引擎。
- 本文通过阅读Kafka Connector代码的调用，分析了Kafka partition分配、Commit、线程模型等 本文通过阅读Kafka Connector代码的调用，分析了Kafka partition分配、Commit、线程模型等
- 《数据如何治理呢》 《数据如何治理呢》
- 本文目的是给自己备忘的，在后面的工作和学习中若想快速搭建Flink环境用于开发，可以照此进行 本文目的是给自己备忘的，在后面的工作和学习中若想快速搭建Flink环境用于开发，可以照此进行
- 本文主要介绍pyflink 1.14的一些特性 本文主要介绍pyflink 1.14的一些特性
- 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=... 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=...
- 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在... 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 以flink1.10开源代码未例子。梳理flink client提交作业的源码流程 1、/bin/flink run xxx用户通过flink client的命令行工具提交作业flink只是个shell脚本，原理就是调用如下类 org.apache.flink.client.cli.CliFrontend “$@” 2、CliFrontend的main()函数内部逻辑getConfigura... 以flink1.10开源代码未例子。梳理flink client提交作业的源码流程 1、/bin/flink run xxx用户通过flink client的命令行工具提交作业flink只是个shell脚本，原理就是调用如下类 org.apache.flink.client.cli.CliFrontend “$@” 2、CliFrontend的main()函数内部逻辑getConfigura...
- 告别Kafka+Flink拼装：用DolphinDB重构IoT数据分析平台 摘要做物联网数据分析的人大概都有过这样的体验：设备传感器每秒上报成百上千条数据，你想做个实时异常检测，结果数据要先从时序数据库导出来，用 Python 清洗一遍，再灌到 Flink 里做流处理——链路长、延迟高、维护成本大。更头疼的是，研究环境用 Python 写的检测逻辑，到了生产环境还得用 Java/C++ 重... 告别Kafka+Flink拼装：用DolphinDB重构IoT数据分析平台 摘要做物联网数据分析的人大概都有过这样的体验：设备传感器每秒上报成百上千条数据，你想做个实时异常检测，结果数据要先从时序数据库导出来，用 Python 清洗一遍，再灌到 Flink 里做流处理——链路长、延迟高、维护成本大。更头疼的是，研究环境用 Python 写的检测逻辑，到了生产环境还得用 Java/C++ 重...
- 别再堆机器了：无服务器流处理，才是实时数据的“降维打击” 别再堆机器了：无服务器流处理，才是实时数据的“降维打击”
- 随着大数据时代的深入发展，实时数据处理需求呈爆发式增长。作为实时计算领域的事实标准，Apache Flink在过去十年中不断演进，从最初的流式计算引擎发展为如今的流批一体计算平台。本文将深入探讨Flink未来的技术发展趋势，揭示流处理技术的下一个十年。 一、流处理技术演进历程Flink的发展历程反映了流处理技术的演进轨迹：2010-2015年：Lambda架构时代 - 批流分离架构，代码重复... 随着大数据时代的深入发展，实时数据处理需求呈爆发式增长。作为实时计算领域的事实标准，Apache Flink在过去十年中不断演进，从最初的流式计算引擎发展为如今的流批一体计算平台。本文将深入探讨Flink未来的技术发展趋势，揭示流处理技术的下一个十年。 一、流处理技术演进历程Flink的发展历程反映了流处理技术的演进轨迹：2010-2015年：Lambda架构时代 - 批流分离架构，代码重复...
- Apache Flink作为当前最活跃的开源流处理引擎，其"流批一体"的核心设计理念一直备受业界关注。Flink 1.18版本于2023年发布，不仅在稳定性、性能方面进行了优化，更在流批一体化道路上迈出了重要一步。本文将深入浅出地解析Flink 1.18在流批一体方面的关键演进。 流批一体：从理念到实践Flink的流批一体并非简单地将批处理视为有界流，而是通过统一的运行时架构和API设计，让... Apache Flink作为当前最活跃的开源流处理引擎，其"流批一体"的核心设计理念一直备受业界关注。Flink 1.18版本于2023年发布，不仅在稳定性、性能方面进行了优化，更在流批一体化道路上迈出了重要一步。本文将深入浅出地解析Flink 1.18在流批一体方面的关键演进。 流批一体：从理念到实践Flink的流批一体并非简单地将批处理视为有界流，而是通过统一的运行时架构和API设计，让...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签