- 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似... 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似...
- 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言... 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言...
- 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传... 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传...
- kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个... kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个...
- 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok... 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok...
- 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统... 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统...
- 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公... 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character... 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character...
- 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www.... 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www....
- # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:... # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:...
- 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf... 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf...
- 大数据面试别只背八股！从零到拿下大厂的大数据系统设计备考路线 大数据面试别只背八股！从零到拿下大厂的大数据系统设计备考路线
- 一笔下单动作发生后，库存会随之变化，订单状态会继续流转，风控规则要及时接手，推荐系统也希望尽快拿到最新的用户行为。这些信号最先大多落在 MySQL 里。要是下游系统还得依赖定时脚本、轮询查询，或者由人工维护 CDC 程序来取数，这条链路很快就会变得不好掌控：• 实时效果不稳定，业务高峰时延迟会被明显放大。• 每多接入一个下游系统，往往都要再开发或调整一套同步逻辑。• 历史数据初始化、增量追平... 一笔下单动作发生后，库存会随之变化，订单状态会继续流转，风控规则要及时接手，推荐系统也希望尽快拿到最新的用户行为。这些信号最先大多落在 MySQL 里。要是下游系统还得依赖定时脚本、轮询查询，或者由人工维护 CDC 程序来取数，这条链路很快就会变得不好掌控：• 实时效果不稳定，业务高峰时延迟会被明显放大。• 每多接入一个下游系统，往往都要再开发或调整一套同步逻辑。• 历史数据初始化、增量追平...
- Apache Kafka是一个分布式流处理平台，具有以下核心特性：高吞吐量、可扩展性、持久化存储、高可用性、分布式架构。 Apache Kafka是一个分布式流处理平台，具有以下核心特性：高吞吐量、可扩展性、持久化存储、高可用性、分布式架构。
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中
热门标签