- 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J... 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化三部分分享。 第一部分: 大家都知道现在大数据生态非常火，大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 J...
- 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的... 简介： 时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层 作者：崔星灿 整理: 平凡的爱 image.png image.png 前言 Flink 的...
- 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water... 今天主要聊一下flink的新特性，帮大家解读一下: image.png image.png image.png api部分: 1.table & sql api image.png image.png image.png 通过trigger控制partition提交的时机，根据water...
- 4、Flink 中水印是什么概念，起到什么作用？ 答：Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。 Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发 Watermark 是用于处理乱序事件的，... 4、Flink 中水印是什么概念，起到什么作用？ 答：Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。 Watermark 是一种衡量 Event Time 进展的机制，可以设定延迟触发 Watermark 是用于处理乱序事件的，...
- 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H... 通过HiveCatalog，可以使用Apache Flink对Apache Hive表进行统一的批处理和流处理。这意味着Flink可以作为Hive的批处理引擎的一个性能更好的替代，或者可以持续地在Hive表中读写数据，从而为实时数据仓库应用程序提供动力。 Flink支持在批处理和流模式下从Hive写入数据。当作为批处理应用程序运行时，Flink将只在作业完成时才将这些记录写入H...
- Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上，这个内存块叫做 MemorySegment，它代表了一段固定长度的内存（默认大小为 32KB），也是 Flink 中最小的内存分配单元，并且提供了非常高效的读写方法。每条记录都会以序列化的形式存储在一个或多个MemorySegment中。Flink堆内存划分： image.png Ne... Flink 并不是将大量对象存在堆上，而是将对象都序列化到一个预分配的内存块上，这个内存块叫做 MemorySegment，它代表了一段固定长度的内存（默认大小为 32KB），也是 Flink 中最小的内存分配单元，并且提供了非常高效的读写方法。每条记录都会以序列化的形式存储在一个或多个MemorySegment中。Flink堆内存划分： image.png Ne...
- 面试官有可能这么问: 1.Flink中对窗口的支持包括哪几种？说说他们的使用场景 flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window flink支持窗口的两个重要属性（size和interval） 如果size=interval,那么就会形成t... 面试官有可能这么问: 1.Flink中对窗口的支持包括哪几种？说说他们的使用场景 flink支持两种划分窗口的方式（time和count） 如果根据时间划分窗口，那么它就是一个time-window 如果根据数据划分窗口，那么它就是一个count-window flink支持窗口的两个重要属性（size和interval） 如果size=interval,那么就会形成t...
- 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni... 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni...
- 简介： 大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。 首先讲一下 Checkpoint 与 state 的关系， 然后介绍什么是 state?， 第三部分介绍如何在 Flink 中使用state? 第四部分则介绍 Checkpoint 的执行机制。 作者：唐云(茶干) 整理:平凡的世界_zkx 第一部分: Checkpoint ... 简介： 大家好，今天我将跟大家分享一下 Flink 里面的 Checkpoint，共分为四个部分。 首先讲一下 Checkpoint 与 state 的关系， 然后介绍什么是 state?， 第三部分介绍如何在 Flink 中使用state? 第四部分则介绍 Checkpoint 的执行机制。 作者：唐云(茶干) 整理:平凡的世界_zkx 第一部分: Checkpoint ...
- 简介： 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、二部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。 作者：周凯波（宝牛） 整理：平凡的世界－zkx 第一大部分: 1.Flink 架构概览 image.png 用... 简介： 本文主要介绍 Flink on Yarn/K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、二部分内容进行分享并对 Flink on Yarn/Kubernetes 中存在的部分问题进行了解答。 作者：周凯波（宝牛） 整理：平凡的世界－zkx 第一大部分: 1.Flink 架构概览 image.png 用...
- 答：Flink 实现了多种重启策略。 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 没有重启策略（No Restart Strategy） Fallback重启策略（Fallback Restart Strategy） 问题拓展: Flink支持不同的重启策略，以在故... 答：Flink 实现了多种重启策略。 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 没有重启策略（No Restart Strategy） Fallback重启策略（Fallback Restart Strategy） 问题拓展: Flink支持不同的重启策略，以在故...
- image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ... image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ...
- 1Flinkchecpoint容错机制【并行barrier面试必问】 image.png image.png barrier携带者快照的id，快照的id在快照存放在最前面 flink容错-checkpoint概念 image.png flink容错-checkpoint流程 第二个问题：停止数据处理，做完快照，广播屏障。 1、快照数据存储，... 1Flinkchecpoint容错机制【并行barrier面试必问】 image.png image.png barrier携带者快照的id，快照的id在快照存放在最前面 flink容错-checkpoint概念 image.png flink容错-checkpoint流程 第二个问题：停止数据处理，做完快照，广播屏障。 1、快照数据存储，...
- image.png JobManager： 类似于经理 JobManager是Flink系统的协调者，它负责接收Flink Job，调度组成Job的多个Task的执行。同时，JobManager还负责收集Job的状态信息，并管理Flink集群中从节点TaskManager。 TaskManager：类似于泳教 TaskManager也是一个Actor，它是实际负责... image.png JobManager： 类似于经理 JobManager是Flink系统的协调者，它负责接收Flink Job，调度组成Job的多个Task的执行。同时，JobManager还负责收集Job的状态信息，并管理Flink集群中从节点TaskManager。 TaskManager：类似于泳教 TaskManager也是一个Actor，它是实际负责...
- Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。 一、Flink 的下载安装启动 设置：下载并启动Flink Flink可在Linux，Mac OS X和Windows上运行。为了能够运行Flink... Apache Flink是一个用于分布式流和批处理数据处理的开源平台。Flink的核心是流数据流引擎，为数据流上的分布式计算提供数据分发，通信和容错。Flink在流引擎之上构建批处理，覆盖本机迭代支持，托管内存和程序优化。 一、Flink 的下载安装启动 设置：下载并启动Flink Flink可在Linux，Mac OS X和Windows上运行。为了能够运行Flink...
上滑加载中
推荐直播
-
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
回顾中 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
回顾中 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签