- Openeuler2203系统zookeeper+kafka集群部署 一，具体环境 1，主机信息前三台用来安装zookeeper-3.9.1与kafka_2.13-3.6.1,Java 采用JAVA-11-openjdk版本192.168.0.11 ecs-0001192.168.0.12 ecs-0002192.168.0.13 ecs-0003192.168.0.14 ecs-0004... Openeuler2203系统zookeeper+kafka集群部署 一，具体环境 1，主机信息前三台用来安装zookeeper-3.9.1与kafka_2.13-3.6.1,Java 采用JAVA-11-openjdk版本192.168.0.11 ecs-0001192.168.0.12 ecs-0002192.168.0.13 ecs-0003192.168.0.14 ecs-0004...
- 问题背景有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程我们先对客户端的环境及JVM情况进行了排查，从JVM所在的虚拟机到kafka server的网络正常，垃圾回收（GC）时间也在预期范围内，没有出现异常。紧接着，我们把目光转向了kafka 服务器，进行了一些基础的检查，同时也查看了kafka处理请求的超时日志，其中我们关心的metadata和produ... 问题背景有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程我们先对客户端的环境及JVM情况进行了排查，从JVM所在的虚拟机到kafka server的网络正常，垃圾回收（GC）时间也在预期范围内，没有出现异常。紧接着，我们把目光转向了kafka 服务器，进行了一些基础的检查，同时也查看了kafka处理请求的超时日志，其中我们关心的metadata和produ...
- 如何选择压缩算法？在选择压缩算法的时候，首先要考虑的就是压缩比和压缩速率。压缩比主要是为了节省网络带宽和磁盘存储空间，而压缩速率主要影响吞吐量。一般来说，压缩比越高，压缩速率越低；压缩比越低，压缩速率越高。 操作系统交换区在现代操作系统中，基本都支持交换区，也叫做 swap 分区。当操作系统发现可用的物理内存不足的时候，就会把物理内存里的一部分页淘汰出来，放到磁盘上，也就是放到 swap ... 如何选择压缩算法？在选择压缩算法的时候，首先要考虑的就是压缩比和压缩速率。压缩比主要是为了节省网络带宽和磁盘存储空间，而压缩速率主要影响吞吐量。一般来说，压缩比越高，压缩速率越低；压缩比越低，压缩速率越高。 操作系统交换区在现代操作系统中，基本都支持交换区，也叫做 swap 分区。当操作系统发现可用的物理内存不足的时候，就会把物理内存里的一部分页淘汰出来，放到磁盘上，也就是放到 swap ...
- 1、MQ引言 1.1 什么是MQMQ(Message Quene) : 翻译为消息队列,通过典型的 生产者和消费者模型,生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入,轻松的实现系统间解耦。别名为 消息中间件通过利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成... 1、MQ引言 1.1 什么是MQMQ(Message Quene) : 翻译为消息队列,通过典型的 生产者和消费者模型,生产者不断向消息队列中生产消息，消费者不断的从队列中获取消息。因为消息的生产和消费都是异步的，而且只关心消息的发送和接收，没有业务逻辑的侵入,轻松的实现系统间解耦。别名为 消息中间件通过利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成...
- @TOC 一、消息的接收消息的接收：可以通过配置MessageListenerContainer并提供消息侦听器或使用@KafkaListener注释来接收消息。本章我们主要说明通过配置MessageListenerContainer并提供消息侦听器的方式接收消息。 1.1、消息监听器当使用消息监听容器时，就必须提供一个监听器来接收数据。目前有八个支持消息侦听器的接口：public inte... @TOC 一、消息的接收消息的接收：可以通过配置MessageListenerContainer并提供消息侦听器或使用@KafkaListener注释来接收消息。本章我们主要说明通过配置MessageListenerContainer并提供消息侦听器的方式接收消息。 1.1、消息监听器当使用消息监听容器时，就必须提供一个监听器来接收数据。目前有八个支持消息侦听器的接口：public inte...
- Kafka、ZeroMQ和RabbitMQ是非常流行的消息中间件，对于这三种消息中间件，开发者在选型中往往难以下手，本文会着重介绍每种MQ的原理、使用场景，还会对三种MQ进行比较，希望看完本文，对于您了解Kafka、ZeroMQ和RabbitMQ有所帮助！ Kafka、ZeroMQ和RabbitMQ是非常流行的消息中间件，对于这三种消息中间件，开发者在选型中往往难以下手，本文会着重介绍每种MQ的原理、使用场景，还会对三种MQ进行比较，希望看完本文，对于您了解Kafka、ZeroMQ和RabbitMQ有所帮助！
- 什么是kafkaApache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点.总而言之,kafka是一个消息队列中间件kafka特点kafka具有高吞吐量,内置分区,消息副本,高容错特性,分布式高吞吐量,虽然是磁盘存储数据库,但是使用了各种优化,使其能够支持高并发吞吐内置分区,... 什么是kafkaApache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与 Java 语言编写，能够将消息从一个端点传递到另一个端点.总而言之,kafka是一个消息队列中间件kafka特点kafka具有高吞吐量,内置分区,消息副本,高容错特性,分布式高吞吐量,虽然是磁盘存储数据库,但是使用了各种优化,使其能够支持高并发吞吐内置分区,...
- Kafka 的事务可以看作Kafka 中最难的知识点之一! Kafka 的事务可以看作Kafka 中最难的知识点之一!
- 监控日志文件生产到Kafka案例：监控某个目录下的文件内容，将消息生产到Kafka中。此案例使用到“TailFile”和“PublishKafka_1_0”处理器。一、配置“TailFile”处理器创建“TailFile”处理器并配置：注意：以上需要在NiFi集群中的每个节点上创建“/root/test/logdata”文件，“logdata”是文件，而非目录。二、配置“Pub... 监控日志文件生产到Kafka案例：监控某个目录下的文件内容，将消息生产到Kafka中。此案例使用到“TailFile”和“PublishKafka_1_0”处理器。一、配置“TailFile”处理器创建“TailFile”处理器并配置：注意：以上需要在NiFi集群中的每个节点上创建“/root/test/logdata”文件，“logdata”是文件，而非目录。二、配置“Pub...
- 本文实战操作如何在K8S环境对kafka做监控(Prometheus+Grafana) 本文实战操作如何在K8S环境对kafka做监控(Prometheus+Grafana)
- docker-compose快速搭建Zookeeper集群。博客目录索引(持续更新) docker-compose快速搭建Zookeeper集群。博客目录索引(持续更新)
- kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享 kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享
- 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ... 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ...
- 《深入架构 第八篇》 《深入架构 第八篇》
- Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka... Apache Kafka 是一种分布式数据存储，用于实时处理流数据，它由 Apache Software Foundation 开发，使用 Java 和 Scala 编写，Apache Kafka 用于构建实时流式数据管道和适应数据流的应用程序，特别适用于企业级应用程序和关键任务应用程序，它是最受欢迎的数据流平台之一，被数千家公司用于高性能数据管道、流分析和数据集成。Apache Kafka...
上滑加载中
推荐直播
-
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
正在直播 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名 -
热门标签