- 1、MQ引言 1.1 什么是MQMQ(Message Quene) : 翻译为消息队列,通过典型的 生产者和消费者模型,生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入,轻松的实现系统间解耦。别名为 消息中间件通过利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成... 1、MQ引言 1.1 什么是MQMQ(Message Quene) : 翻译为消息队列,通过典型的 生产者和消费者模型,生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入,轻松的实现系统间解耦。别名为 消息中间件通过利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成...
- @TOC 一、消息的接收消息的接收：可以通过配置MessageListenerContainer并提供消息侦听器或使用@KafkaListener注释来接收消息。本章我们主要说明通过配置MessageListenerContainer并提供消息侦听器的方式接收消息。 1.1、消息监听器当使用消息监听容器时，就必须提供一个监听器来接收数据。目前有八个支持消息侦听器的接口：public inte... @TOC 一、消息的接收消息的接收：可以通过配置MessageListenerContainer并提供消息侦听器或使用@KafkaListener注释来接收消息。本章我们主要说明通过配置MessageListenerContainer并提供消息侦听器的方式接收消息。 1.1、消息监听器当使用消息监听容器时，就必须提供一个监听器来接收数据。目前有八个支持消息侦听器的接口：public inte...
- Kafka、ZeroMQ和RabbitMQ是非常流行的消息中间件，对于这三种消息中间件，开发者在选型中往往难以下手，本文会着重介绍每种MQ的原理、使用场景，还会对三种MQ进行比较，希望看完本文，对于您了解Kafka、ZeroMQ和RabbitMQ有所帮助！ Kafka、ZeroMQ和RabbitMQ是非常流行的消息中间件，对于这三种消息中间件，开发者在选型中往往难以下手，本文会着重介绍每种MQ的原理、使用场景，还会对三种MQ进行比较，希望看完本文，对于您了解Kafka、ZeroMQ和RabbitMQ有所帮助！
- 什么是kafkaApache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点.总而言之,kafka是一个消息队列中间件kafka特点kafka具有高吞吐量,内置分区,消息副本,高容错特性,分布式高吞吐量,虽然是磁盘存储数据库,但是使用了各种优化,使其能够支持高并发吞吐内置分区,... 什么是kafkaApache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点.总而言之,kafka是一个消息队列中间件kafka特点kafka具有高吞吐量,内置分区,消息副本,高容错特性,分布式高吞吐量,虽然是磁盘存储数据库,但是使用了各种优化,使其能够支持高并发吞吐内置分区,...
- Kafka 的事务可以看作Kafka 中最难的知识点之一! Kafka 的事务可以看作Kafka 中最难的知识点之一!
- 监控日志文件生产到Kafka案例：监控某个目录下的文件内容，将消息生产到Kafka中。此案例使用到“TailFile”和“PublishKafka_1_0”处理器。一、配置“TailFile”处理器创建“TailFile”处理器并配置：注意：以上需要在NiFi集群中的每个节点上创建“/root/test/logdata”文件，“logdata”是文件，而非目录。二、配置“Pub... 监控日志文件生产到Kafka案例：监控某个目录下的文件内容，将消息生产到Kafka中。此案例使用到“TailFile”和“PublishKafka_1_0”处理器。一、配置“TailFile”处理器创建“TailFile”处理器并配置：注意：以上需要在NiFi集群中的每个节点上创建“/root/test/logdata”文件，“logdata”是文件，而非目录。二、配置“Pub...
- 本文实战操作如何在K8S环境对kafka做监控(Prometheus+Grafana) 本文实战操作如何在K8S环境对kafka做监控(Prometheus+Grafana)
- docker-compose快速搭建Zookeeper集群。博客目录索引(持续更新) docker-compose快速搭建Zookeeper集群。博客目录索引(持续更新)
- kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享 kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享
- 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ... 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ...
- 《深入架构 第八篇》 《深入架构 第八篇》
- Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka... Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka...
- 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、... 业务实现之编写写入DM层业务代码DM层主要是报表数据，针对实时业务将DM层设置在Clickhouse中，在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析，每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析结果，实时写入到Clickhouse中。一、...
- 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce... 业务实现之编写写入ODS层业务代码由于本业务涉及到MySQL业务数据和用户日志数据，两类数据是分别采集存储在不同的Kafka Topic中的，所以这里写入ODS层代码由两个代码组成。一、代码编写处理MySQL业务库binlog数据的代码复用第一个业务代码只需要在”ProduceKafkaDBDataToODS.scala” 代码中写入存入Icebeg-ODS层表的代码即可，“Produce...
- 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺... 1 实时ETL任务消费数据 1 消费数据解析逻辑创建流式环境，设置检查点、kafka分区发现、任务重启策略，数据积压根据kafka属性配置创建FlinkKafkaConsumer，消费kafka数据根据kafka数据获得DataStream，进行json解析消费数据中的数据解析逻辑:n 得到解析成功的数据，称为正确数据u 原始文本为一行可成功解析的json格式数据，且数据中存在不可或缺...
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享：开源让物联网平台更开放、易用2024/05/14 周二 16:30-18:00
张俭 华为云IoT DTSE技术布道师
作为开发者的你是否也想加入开源社区？本期物联网平台资深“程序猿”，开源专家张俭，为你揭秘华为云IoT如何借助开源构建可靠、开放、易用的物联网平台，并手把手教你玩转开源社区！
去报名
热门标签