- Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptionflinkCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.Pathorg.apache.hadoop.ipc.RemoteException: org.ap... Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptionflinkCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.Pathorg.apache.hadoop.ipc.RemoteException: org.ap...
- Flink初学：读写HBase Flink初学：读写HBase
- Apache Flink的核心是一个用Java和Scala编写的分布式流式数据流引擎 Apache Flink的核心是一个用Java和Scala编写的分布式流式数据流引擎
- 本文主要利用Flink的ProcessFunction api、状态编程,实现传感器温度持续上升时发出告警的功能 本文主要利用Flink的ProcessFunction api、状态编程,实现传感器温度持续上升时发出告警的功能
- 简介RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识： LSM树LSM树全称Log-Structured ... 简介RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识： LSM树LSM树全称Log-Structured ...
- 内存设置 TaskManager 内存模型TaskManager的内存模型如下图所示(1.10之后版本内存模型)：Flink使用了堆上内存和堆外内存。Flink 框架内存使用了堆外内存和堆外内存，不计入slot资源。Task执行的内存使用了堆上内存和堆外内存。网络缓冲内存：网络数据交换所使用的内存大小，如网络数据交换缓冲区。框架堆外内存、Task堆外内存、网络缓冲内存都在堆外的直接内存里面... 内存设置 TaskManager 内存模型TaskManager的内存模型如下图所示(1.10之后版本内存模型)：Flink使用了堆上内存和堆外内存。Flink 框架内存使用了堆外内存和堆外内存，不计入slot资源。Task执行的内存使用了堆上内存和堆外内存。网络缓冲内存：网络数据交换所使用的内存大小，如网络数据交换缓冲区。框架堆外内存、Task堆外内存、网络缓冲内存都在堆外的直接内存里面...
- 设置空闲状态保留时间不设置空闲状态保留时间会导致状态爆炸。FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置TTL ，要么使用 Flink SQL 的 interval join 。使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的... 设置空闲状态保留时间不设置空闲状态保留时间会导致状态爆炸。FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置TTL ，要么使用 Flink SQL 的 interval join 。使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的...
- 简介反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafkaconsumer）的摄入速率。简单来说... 简介反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafkaconsumer）的摄入速率。简单来说...
- 10、如何排查 Flink Checkpoint 超时问题？ 答：在计算过程中，排查有没有访问性能比较弱的服务，导致程序计算能力被大大降低。 Flink的checkpont是一个轻量级的快照，如果发现你的快照大小不是很大，但是时间很长，可以排查一下是不是程序有访问慢服务的代码 导致计算延迟，从而使得无法快速计算，从而导致checkpoint无法完成，正常情况下，checkpoi... 10、如何排查 Flink Checkpoint 超时问题？ 答：在计算过程中，排查有没有访问性能比较弱的服务，导致程序计算能力被大大降低。 Flink的checkpont是一个轻量级的快照，如果发现你的快照大小不是很大，但是时间很长，可以排查一下是不是程序有访问慢服务的代码 导致计算延迟，从而使得无法快速计算，从而导致checkpoint无法完成，正常情况下，checkpoi...
- 由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。PDF 版本内含大量补充链接，点击即可跳转。 由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。PDF 版本内含大量补充链接，点击即可跳转。
- Flink是一款开源分布式流处理框架，在数字化浪潮中崭露头角。它具备真正实时的毫秒级响应、卓越的高吞吐与低延迟性能、强大的容错机制确保数据一致性、灵活的窗口操作适配多样业务场景、丰富的API易于开发，以及批流一体的数据处理能力。Flink在金融交易、电商、物联网等领域广泛应用，助力企业实时处理海量数据，抢占先机，创造更大价值。 Flink是一款开源分布式流处理框架，在数字化浪潮中崭露头角。它具备真正实时的毫秒级响应、卓越的高吞吐与低延迟性能、强大的容错机制确保数据一致性、灵活的窗口操作适配多样业务场景、丰富的API易于开发，以及批流一体的数据处理能力。Flink在金融交易、电商、物联网等领域广泛应用，助力企业实时处理海量数据，抢占先机，创造更大价值。
- Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代... Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代...
- Flik的应用场景， Flink的流处理特性、Flink的优势、 Flink与Spark的差异、 flink的四⼤基⽯、Flink架构体系、无界数据流与有界数据流、Flink的编程模型 Flik的应用场景， Flink的流处理特性、Flink的优势、 Flink与Spark的差异、 flink的四⼤基⽯、Flink架构体系、无界数据流与有界数据流、Flink的编程模型
- 处理 IoT 事件流 处理 IoT 事件流
- 电商平台中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大量的用户行为数据，进而利用大数据技术进行深入挖掘和分析，得到感兴趣的商业指标并增强对风险的控制。 电商平台中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大量的用户行为数据，进而利用大数据技术进行深入挖掘和分析，得到感兴趣的商业指标并增强对风险的控制。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签