- 一、Kafka集群的搭建 1.拉取相关镜像docker pull wurstmeister/kafkadocker pull zookeeper 2.运行zookeeperdocker run -d --name zookeeper -p 2181:2181 -t zookeeper 3.运行kafkaKafka0：docker run -d --name kafka0 -p 9092:9... 一、Kafka集群的搭建 1.拉取相关镜像docker pull wurstmeister/kafkadocker pull zookeeper 2.运行zookeeperdocker run -d --name zookeeper -p 2181:2181 -t zookeeper 3.运行kafkaKafka0：docker run -d --name kafka0 -p 9092:9...
- 1 选型标准 1.1 开源（白嫖）方便修改源码，而非阻塞等待软件提供商猴年马月发布下个版本解决。 1.2 生态（大家一起玩）方便找到很多问题的解决方案，和主流框架也无缝对接。 1.3 确保消息可靠传递 1.4 Cluster高可用性。 1.5 性能具备足够好的性能，能满足绝大多数场景的性能要求。于是市面上主要就如下可供选择： 2 RabbitMQ 2.1 优点Erlang编写，最早为电信行... 1 选型标准 1.1 开源（白嫖）方便修改源码，而非阻塞等待软件提供商猴年马月发布下个版本解决。 1.2 生态（大家一起玩）方便找到很多问题的解决方案，和主流框架也无缝对接。 1.3 确保消息可靠传递 1.4 Cluster高可用性。 1.5 性能具备足够好的性能，能满足绝大多数场景的性能要求。于是市面上主要就如下可供选择： 2 RabbitMQ 2.1 优点Erlang编写，最早为电信行...
- 摘要： 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 Oracle 数据实时同步到 Kafka，跟大家分享一下，希望对你有帮助。Oracle 数据实时同步到 Kafka ，目前支持的工具还比较少，一款免费的数据同步工具 Tapdata Clou... 摘要： 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 Oracle 数据实时同步到 Kafka，跟大家分享一下，希望对你有帮助。Oracle 数据实时同步到 Kafka ，目前支持的工具还比较少，一款免费的数据同步工具 Tapdata Clou...
- 程序人生 程序人生
- 无论是读取副本还是写入副本，都是通过底层的Partition对象完成的，而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说，理解这些字段的用途，是后续我们探索副本管理器类功能的重要前提。现在，我们就来学习下副本读写功能。整个Kafka的同步机制，本质上就是副本读取+副本写入，搞懂了这两个功能，你就知道了Follower副本是如何同步Leader副本数据的。 appe... 无论是读取副本还是写入副本，都是通过底层的Partition对象完成的，而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说，理解这些字段的用途，是后续我们探索副本管理器类功能的重要前提。现在，我们就来学习下副本读写功能。整个Kafka的同步机制，本质上就是副本读取+副本写入，搞懂了这两个功能，你就知道了Follower副本是如何同步Leader副本数据的。 appe...
- 用版本6.5.x。问题背景与现象执行扩容操作，进行数据迁移在数据迁移过程中由于Kafka节点故障，导致Kafka Topic元数据处于紊乱状态，导致无法进行读写操作。例如：Topic：O_PS_SEQ_DATA_BUSI_CRD，其中Partition：289， ISR列表为26,29；Leader为26；Replicas列表为10,6。当需要访问Partition 289时，获取Leade... 用版本6.5.x。问题背景与现象执行扩容操作，进行数据迁移在数据迁移过程中由于Kafka节点故障，导致Kafka Topic元数据处于紊乱状态，导致无法进行读写操作。例如：Topic：O_PS_SEQ_DATA_BUSI_CRD，其中Partition：289， ISR列表为26,29；Leader为26；Replicas列表为10,6。当需要访问Partition 289时，获取Leade...
- 参加大数据全栈第一期获得不错的奖品和证书，同时还建议配合华为大数据能出一期大数据。果然现在出了大数据全栈第二期，原本还充满信心好好学习，但是在第一和第三考核遇到了问题。既然是我因在8月份参加华为云大数据分析7天训练营，免费试用过DLI，导致现在不能免费试用。还有第三考核还需要到mysql也因配额满了无法购买，按需购买kafka实例不能单买，要三个以上。看到这种情况原本打算放弃了。刚好... 参加大数据全栈第一期获得不错的奖品和证书，同时还建议配合华为大数据能出一期大数据。果然现在出了大数据全栈第二期，原本还充满信心好好学习，但是在第一和第三考核遇到了问题。既然是我因在8月份参加华为云大数据分析7天训练营，免费试用过DLI，导致现在不能免费试用。还有第三考核还需要到mysql也因配额满了无法购买，按需购买kafka实例不能单买，要三个以上。看到这种情况原本打算放弃了。刚好...
- Kubnernetes 集群部署 Zipkin+Kafka+ElasticSearch 实现链路追踪 Kubnernetes 集群部署 Zipkin+Kafka+ElasticSearch 实现链路追踪
- 添加kafka service选择kafka Next部署kafka HA 选择 ambari-01 ambari-02 ambari-03ambari-01:2181 next这里是HBase主堆大小没达到最小设置值，可以不用改，Proceed Anyway仍要继续Review安装的组件 DEPLOYSUCCESS Next 成功后NextSummary 注意提示 Important... 添加kafka service选择kafka Next部署kafka HA 选择 ambari-01 ambari-02 ambari-03ambari-01:2181 next这里是HBase主堆大小没达到最小设置值，可以不用改，Proceed Anyway仍要继续Review安装的组件 DEPLOYSUCCESS Next 成功后NextSummary 注意提示 Important...
- 生产环境实战文章 生产环境实战文章
- 配套视频：Topic创建流程分析+常见问题日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台 脚本参数 源码总结 Q&A 创建Topic的时候 在Zk上创建了哪些节点 创建Topic的时候 什么时候在Broker磁盘上创建的日志文件 如果我没有指定分区数或者副本数,那么会如何创建 如果我手动删除了/brokers/topics/下的某个节点会怎么样... 配套视频：Topic创建流程分析+常见问题日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台 脚本参数 源码总结 Q&A 创建Topic的时候 在Zk上创建了哪些节点 创建Topic的时候 什么时候在Broker磁盘上创建的日志文件 如果我没有指定分区数或者副本数,那么会如何创建 如果我手动删除了/brokers/topics/下的某个节点会怎么样...
- 【kafka源码】kafka-topics.sh之创建Topic源码解析日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台配套视频：https://www.bilibili.com/video/BV1uf4y1V75V?share_source=copy_web 脚本参数 创建Topic脚本 创建Topic 源码分析 1. 源码入口 2. 创建Ad... 【kafka源码】kafka-topics.sh之创建Topic源码解析日常运维 、问题排查 怎么能够少了滴滴开源的滴滴开源LogiKM一站式Kafka监控与管控平台配套视频：https://www.bilibili.com/video/BV1uf4y1V75V?share_source=copy_web 脚本参数 创建Topic脚本 创建Topic 源码分析 1. 源码入口 2. 创建Ad...
- Apache Kafka基本上是由 Linkedin 开发的开源消息传递工具，为实时数据馈送提供低延迟和高吞吐量的平台。它是使用Scala 和Java编程语言开发的。 Apache Kafka基本上是由 Linkedin 开发的开源消息传递工具，为实时数据馈送提供低延迟和高吞吐量的平台。它是使用Scala 和Java编程语言开发的。
- ##一、kafka简单介绍kafka大家的第一印象是一个消息系统。但是kafka的官网的说法是： Apache Kafka® is a distributed streaming platform kafka是一个分布式流处理平台，而流处理平台主要具备以下三种能力：1.发布和订阅消息流，类似于消息队列或企业消息传递系统。2.以容错的持久化方式储存消息流。3.可以在产生消息流的时候，同时进行处... ##一、kafka简单介绍kafka大家的第一印象是一个消息系统。但是kafka的官网的说法是： Apache Kafka® is a distributed streaming platform kafka是一个分布式流处理平台，而流处理平台主要具备以下三种能力：1.发布和订阅消息流，类似于消息队列或企业消息传递系统。2.以容错的持久化方式储存消息流。3.可以在产生消息流的时候，同时进行处...
- 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 @[TOC]项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台 运维管控运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的; 集群列表Kafka的灵魂伴侣Logi-KafkaManger... 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 @[TOC]项目地址: didi/Logi-KafkaManager: 一站式Apache Kafka集群指标监控与运维管控平台 运维管控运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的; 集群列表Kafka的灵魂伴侣Logi-KafkaManger...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签