- 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似... 消息积压线上有时因为发送方发送消息速度过快，或者消费方处理消息过慢，可能会导致broker积压大量未消费消息。消息数据格式变动或消费者程序有bug，导致消费者一直消费不成功，也可能导致broker积压大量未消费消息。解决方案可以修改消费端程序，让其将收到的消息快速转发到其他主题，可以设置很多分区，然后再启动多个消费者同时消费新主题的不同分区。可以将这些消费不成功的消息转发到其它队列里去，类似...
- 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言... 三种mq对比使用消息队列有解耦，扩展性，削峰，异步等功能，市面上主流的几款mq，rabbitmq，rocketmq，kafka有各自的应用场景。kafka，有出色的吞吐量，比较强悍的性能，而且集群可以实现高可用，就是会丢数据，所以一般被用于日志分析和大数据采集。rabbitmq，消息可靠性比较高，支持六种工作模式，功能比较全面，但是由于吞吐量比较低，消息累积还会影响性能，加上erlang语言...
- 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传... 1.Kafka 的设计时什么样的呢？Kafka 将消息以 topic 为单位进行归纳将向 Kafka topic 发布消息的程序成为 producers.将预订 topics 并消费消息的程序成为 consumer.Kafka 以集群的方式运行，可以由一个或多个服务组成，每个服务叫做一个 broker.producers 通过网络将消息发送到 Kafka 集群，集群向消费者提供消息2.数据传...
- kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个... kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。kafka 有几种数据保留的策略？kafka 有两种数据保存策略：按照过期时间保留和按照存储的消息大小保留。kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个...
- 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok... 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok...
- 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统... 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统...
- 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公... 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character... 通过学习大数据全栈成长计划，对大数据的基础有了进一步的了解。 第一阶段重温mysql和jdbc的基础，在这期间使用logstash做数据同步出现中文出现乱码，如图所示： 原因是之前mysql的编码没弄好出现的问题，使用docker版mysql无法修改utf8的设置，通过docker cp 把my.cnf拷贝出来，在【client】下面添加default-character...
- 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www.... 1. 涉及的组件 mysql、kafka、maxwell、2. mysql的安装与使用2.1 卸载清理已有mysql https://blog.csdn.net/tjcyjd/article/details/521891822.2 linux 安装mysql 博客： https://www.jianshu.com/p/276d59cbc529 bilibi视频介绍：https://www....
- # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:... # Docker安装 Kafka管理工具Eagle目前关于Docker安装Kafka Eagle 只有nickzurich/efak这个镜像可以考虑下，第一步：使用下述命令拉取最新的nickzurich/efak镜像docker pull nickzurich/efak:latest第二步：使用下述命令启动容器docker run -d --name kafka-eagle -p 8048:...
- 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf... 文章目录 1. 这个项目的流程你说一下？ 2. ELK中哪个负责收集数据 3. es有哪些常用的插件？ 4. 分词器有哪些？ 5. ES中有哪些数据类型 6.. 你们的ES集群方式是什么 7. es常用的语句有哪些？ 8. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 9. kafka中的broker 是干什么的 10. kaf...
- Kafka / Pulsar 数据越来越多，磁盘却越来越小？聊聊实时流平台的容量与回溯 Kafka / Pulsar 数据越来越多，磁盘却越来越小？聊聊实时流平台的容量与回溯
- 做数据仓库这些年，我越来越觉得一件事：仓库本身再漂亮，模型再规范，如果数据进不来，或者进来的数据乱七八糟，后面全白搭。数据采集这事儿，表面上看起来就是把数据从A搬到B，实际上坑特别多。今天就想聊聊为什么数据仓库一定要重视数据采集，以及现在真正能落地的一些开源工具。先说个真实的场景。前几年我们帮一个零售客户搭数仓，业务方天天喊着要看全渠道销售分析。当时仓库的维度建模、主题域划分都做得很认真，结... 做数据仓库这些年，我越来越觉得一件事：仓库本身再漂亮，模型再规范，如果数据进不来，或者进来的数据乱七八糟，后面全白搭。数据采集这事儿，表面上看起来就是把数据从A搬到B，实际上坑特别多。今天就想聊聊为什么数据仓库一定要重视数据采集，以及现在真正能落地的一些开源工具。先说个真实的场景。前几年我们帮一个零售客户搭数仓，业务方天天喊着要看全渠道销售分析。当时仓库的维度建模、主题域划分都做得很认真，结...
- 通过DMS、DLI、DWS构建高性能、低成本的数据中台，满足ToB/ToC场景的数据查询需求。 通过DMS、DLI、DWS构建高性能、低成本的数据中台，满足ToB/ToC场景的数据查询需求。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签