- 1、初识 Kafka Producer 生产者 2、源码分析 Kafka 消息发送流程(文末附流程图) 3、KafkaProducer Sender 线程详解（含详细的执行流程图） 4、初始 Kafka Consumer 消费者 5、源码分析Kafka 消息拉取流程 6、Kafka与RocketMQ性能对比大揭秘 1、初识 Kafka Producer 生产者 2、源码分析 Kafka 消息发送流程(文末附流程图) 3、KafkaProducer Sender 线程详解（含详细的执行流程图） 4、初始 Kafka Consumer 消费者 5、源码分析Kafka 消息拉取流程 6、Kafka与RocketMQ性能对比大揭秘
- image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ... image.png 测试数据准备 在正式开始之前，请先下载好上述所需要的文件。我们首先用命令docker-compose up -d启动docker。我们可以利用以下命令从 Terminal 进入 Mysql 容器之中，并插入相应的数据。 docker exec -it mysql bash -c 'mysql -uroot -p123456' 在 Mysql ...
- 幂等性+ack-1+事务 Kafka数据重复，可以再下一级：SparkStreaming、redis或者hive中dwd层去重，去重的手段：分组、按照id开窗只取第一个值； Kafka数据重复怎么处理? 在下一级消费者中去重。（redis、SparkStreaming） 二、重复消费问题： 即上述 消费方第1种情况—consumer在从broker读取消息后等消费完再comm... 幂等性+ack-1+事务 Kafka数据重复，可以再下一级：SparkStreaming、redis或者hive中dwd层去重，去重的手段：分组、按照id开窗只取第一个值； Kafka数据重复怎么处理? 在下一级消费者中去重。（redis、SparkStreaming） 二、重复消费问题： 即上述 消费方第1种情况—consumer在从broker读取消息后等消费完再comm...
- 1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数： yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB） 2）如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。高峰期的时候用Kafka进行缓存，高峰... 1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数： yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB） 2）如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。高峰期的时候用Kafka进行缓存，高峰...
- 10 Kafka丢不丢数据 Ack=0，相当于异步发送，消息发送完毕即offset增加，继续生产。 Ack=1，leader收到leader replica 对一个消息的接受ack才增加offset，然后继续生产。 Ack=-1，leader收到所有replica 对一个消息的接受ack才增加offset，然后继续生产。 kafka 如何保证数据不丢失 kafka的分区策略==... 10 Kafka丢不丢数据 Ack=0，相当于异步发送，消息发送完毕即offset增加，继续生产。 Ack=1，leader收到leader replica 对一个消息的接受ack才增加offset，然后继续生产。 Ack=-1，leader收到所有replica 对一个消息的接受ack才增加offset，然后继续生产。 kafka 如何保证数据不丢失 kafka的分区策略==...
- 在 Kafka内部存在两种默认的分区分配策略：Range和 RoundRobin。 Range是默认策略。Range是对每个Topic而言的（即一个Topic一个Topic分），首先对同一个Topic里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。然后用Partitions分区的个数除以消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽，那么前面几个消费者... 在 Kafka内部存在两种默认的分区分配策略：Range和 RoundRobin。 Range是默认策略。Range是对每个Topic而言的（即一个Topic一个Topic分），首先对同一个Topic里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。然后用Partitions分区的个数除以消费者线程的总数来决定每个消费者线程消费几个分区。如果除不尽，那么前面几个消费者...
- 19 Kafka参数优化 1）Broker参数配置（server.properties） 1、网络和io操作线程配置优化 broker处理消息的最大线程数（默认为3） num.network.threads=cpu核数+1 broker处理磁盘IO的线程数 num.io.threads=cpu核数*2 2、log数据文件刷盘策略 每当producer写入10000条消息时，刷数... 19 Kafka参数优化 1）Broker参数配置（server.properties） 1、网络和io操作线程配置优化 broker处理消息的最大线程数（默认为3） num.network.threads=cpu核数+1 broker处理磁盘IO的线程数 num.io.threads=cpu核数*2 2、log数据文件刷盘策略 每当producer写入10000条消息时，刷数...
- Spark Streming的特性 易用、容错、易整合 Spark Streaming 对比 Storm & SparkStreaming Storm 开发语言 Scala Clojure 编程模型3 DStream Spout/Bolt 实时性 准实时，批处理 实时流处理 Spark Streming编程实战 开发流程： 1、构建sparkCon... Spark Streming的特性 易用、容错、易整合 Spark Streaming 对比 Storm & SparkStreaming Storm 开发语言 Scala Clojure 编程模型3 DStream Spout/Bolt 实时性 准实时，批处理 实时流处理 Spark Streming编程实战 开发流程： 1、构建sparkCon...
- 创建主题： ./kafka-topics.sh --create --topic topic_zkx --partitions 2 --replication-factor 2 --zookeeper host1:24002/kafka 查看主题： ./kafka-topics.sh --list --zookeeper host1:24002/kafka 修改主题： ./ka... 创建主题： ./kafka-topics.sh --create --topic topic_zkx --partitions 2 --replication-factor 2 --zookeeper host1:24002/kafka 查看主题： ./kafka-topics.sh --list --zookeeper host1:24002/kafka 修改主题： ./ka...
- image.png 错误，注释掉速度非常快 image.png image.png 这个错误很常见 image.png 创建producer的是在driver端创建，但是foreach具体执行的时候在executor, 封装的对象发送到executor不能被序列化，所以不能使用。 image.png 解决思路：把p... image.png 错误，注释掉速度非常快 image.png image.png 这个错误很常见 image.png 创建producer的是在driver端创建，但是foreach具体执行的时候在executor, 封装的对象发送到executor不能被序列化，所以不能使用。 image.png 解决思路：把p...
- nohup /export/servers/kafka_2.11-1.0.0/bin/kafka-server-start.sh /export/servers/kafka_2.11-1.0.0/config/server.properties > /dev/null 2>&1 & 关闭 bin/kafka-server-stop.sh 3.10.3 创建topic bin/k... nohup /export/servers/kafka_2.11-1.0.0/bin/kafka-server-start.sh /export/servers/kafka_2.11-1.0.0/config/server.properties > /dev/null 2>&1 & 关闭 bin/kafka-server-stop.sh 3.10.3 创建topic bin/k...
- 一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主... 一、简介 1.1 概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 Kafka主...
- 本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。 一、资料文档 Kafka：中。有kafka作者自己写的书，网上资料也有一些。rabbitmq：多。有一些不错的书，网上资料多。zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。rocketmq：少... 本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。 一、资料文档 Kafka：中。有kafka作者自己写的书，网上资料也有一些。rabbitmq：多。有一些不错的书，网上资料多。zeromq：少。没有专门写zeromq的书，网上的资料多是一些代码的实现和简单介绍。rocketmq：少...
- 本篇博主带来的是Kafka和zookeeper群起脚本的创建与使用。 目录 一. Zookeeper1. 一键启动脚本2. 一键关闭脚本 二. Kafka1. 启动2. 关闭 之前介绍过Kafka集群环境的搭建，但是细心的朋友们都发现，Kafka与ZooKeeper一样，都需要在每台节点上执行对应的开启/关闭脚本，十分的不方便。现在... 本篇博主带来的是Kafka和zookeeper群起脚本的创建与使用。 目录 一. Zookeeper1. 一键启动脚本2. 一键关闭脚本 二. Kafka1. 启动2. 关闭 之前介绍过Kafka集群环境的搭建，但是细心的朋友们都发现，Kafka与ZooKeeper一样，都需要在每台节点上执行对应的开启/关闭脚本，十分的不方便。现在...
- 一、Receiver 方式整合 spark streaming 和 kafka 启动zookeeper zkServer.sh start 启动kafka ： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 创建topic： kafka-to... 一、Receiver 方式整合 spark streaming 和 kafka 启动zookeeper zkServer.sh start 启动kafka ： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 创建topic： kafka-to...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
即将直播 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
即将直播
热门标签