- Flume搭建 Flume搭建
- 2020-06-19：多线程消费kafka的时候，开发、测试环境都能每秒10w+,但是正式环境只能1w/s，正式环境不能重启，看怎么调试？福哥答案2020-06-19：答案来自群成员：基准测试。观察 网络和磁盘的读写，实时与历史曲线，观察文件句柄/内存的使用情况。观察系统patch 基础库/运行时状态。 2020-06-19：多线程消费kafka的时候，开发、测试环境都能每秒10w+,但是正式环境只能1w/s，正式环境不能重启，看怎么调试？福哥答案2020-06-19：答案来自群成员：基准测试。观察 网络和磁盘的读写，实时与历史曲线，观察文件句柄/内存的使用情况。观察系统patch 基础库/运行时状态。
- 福哥答案2020-05-25：应用场景：解耦、异步、削峰。区别如下：特性 ActiveMQ RabbitMQ RocketMQ Kafka单机吞吐量 万级，比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级，支撑高吞吐 10 万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景topic 数量对吞吐量的影响 topic 可以达到几百/几千的级别... 福哥答案2020-05-25：应用场景：解耦、异步、削峰。区别如下：特性 ActiveMQ RabbitMQ RocketMQ Kafka单机吞吐量 万级，比 RocketMQ、Kafka 低一个数量级 同 ActiveMQ 10 万级，支撑高吞吐 10 万级，高吞吐，一般配合大数据类的系统来进行实时数据计算、日志采集等场景topic 数量对吞吐量的影响 topic 可以达到几百/几千的级别...
- KSQL是Apache Kafka的流式SQL引擎，它大大降低了流处理世界的门槛。 KSQL实现了非常有效的功能：使用数据领域中大多数社区已知的语义SQL实时读取，编写和转换数据！ KSQL是Apache Kafka的流式SQL引擎，它大大降低了流处理世界的门槛。 KSQL实现了非常有效的功能：使用数据领域中大多数社区已知的语义SQL实时读取，编写和转换数据！
- 本节书摘来自华章计算机《Hyperledger Fabric菜鸟进阶攻略》 一书中第2章，第2.3.2节，作者是黎跃春 韩小东 付金亮 。 本节书摘来自华章计算机《Hyperledger Fabric菜鸟进阶攻略》 一书中第2章，第2.3.2节，作者是黎跃春 韩小东 付金亮 。
- 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok... 讲一下kafka 的架构一个典型的Kafka集群中包含若干Producer，若干broker，若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从brok...
- 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统... 概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。 导出作业可以将数据从 Kafka 主题传送到二级存储和查询系统或批处理系统...
- 旧数据处理方式Kafka将数据持久化到了硬盘上，允许配置一定的策略对数据清理，清理的策略有两个：删除和压缩。Kafka把Topic中一个Partition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。对于传统的消息队列（Message Queue）而言，一般会删除已经被消费的消息，而Kafka集群会保留所有的消息，无论其被消费与否。当然，因为磁盘... 旧数据处理方式Kafka将数据持久化到了硬盘上，允许配置一定的策略对数据清理，清理的策略有两个：删除和压缩。Kafka把Topic中一个Partition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。对于传统的消息队列（Message Queue）而言，一般会删除已经被消费的消息，而Kafka集群会保留所有的消息，无论其被消费与否。当然，因为磁盘...
- 数据传输可靠性在消息系统中，保证消息在生产和消费过程中的可靠性是十分重要的。在实际消息传递过程中，可能会出现如下三种情况。最多一次 (At Most Once) ：消息可能丢失，消息不会重复发送和处理。最少一次 (At Lease Once) ：消息不会丢失，消息可能会重复发送和处理。仅有一次 (Exactly Once) ：消息不会丢失，消息仅被处理一次。Producers可以异步地、并行... 数据传输可靠性在消息系统中，保证消息在生产和消费过程中的可靠性是十分重要的。在实际消息传递过程中，可能会出现如下三种情况。最多一次 (At Most Once) ：消息可能丢失，消息不会重复发送和处理。最少一次 (At Lease Once) ：消息不会丢失，消息可能会重复发送和处理。仅有一次 (Exactly Once) ：消息不会丢失，消息仅被处理一次。Producers可以异步地、并行...
- 当所有 replica 都不工作时，有两种可行的方案：（a）等待ISR中的任一个replica活过来，并选它作为Leader。可保障数据不丢失，但时间可能相对较长。（b）选择第一个活过来的replica（不一定是 ISR 成员）作为 Leader。无法保障数据不丢失，但相对不可用时间较短。 当所有 replica 都不工作时，有两种可行的方案：（a）等待ISR中的任一个replica活过来，并选它作为Leader。可保障数据不丢失，但时间可能相对较长。（b）选择第一个活过来的replica（不一定是 ISR 成员）作为 Leader。无法保障数据不丢失，但相对不可用时间较短。
- Kafka中partition replication之间同步数据，从partition的Leader复制数据到Follower只需要一个线程(ReplicaFetcherThread)，实际上复制是Follower（一个Follower相当于Consumer）主动从Leader批量拉取消息的，这极大提高了吞吐量。Kafka中每个Broker启动时都会创建一个副本管理服务(ReplicaMa... Kafka中partition replication之间同步数据，从partition的Leader复制数据到Follower只需要一个线程(ReplicaFetcherThread)，实际上复制是Follower（一个Follower相当于Consumer）主动从Leader批量拉取消息的，这极大提高了吞吐量。Kafka中每个Broker启动时都会创建一个副本管理服务(ReplicaMa...
- 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公... 推荐一款非常好用的kafka管理平台,kafka的灵魂伴侣 滴滴开源Logi-KafkaManager 一站式Kafka监控与管控平台 为啥停更这么久还不是懒！佛系这个号断更了很久, 不是我这段时间没有学习,也不是没有写新的文章而是因为, 我写文章比较佛系, 不更别人一样坚持每周/每天都要发文我可能一两个月都不写,又有可能一个月写十几篇;加上我写的文章都是以源码分析居多, 受众好像不太在公...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 为了提高Kafka的容错性，Kafka支持Partition的复制策略，可以通过配置文件配置Partition的副本个数。Kafka针对Partition的复制同样需要选出一个Leader，同时由该Leader负责Partition的读写操作，其他的副本节点只是负责数据的同步。如果Leader失效，那么将会有其他follower来接管(成为新的Leader)，如果由于Follower自身的性... 为了提高Kafka的容错性，Kafka支持Partition的复制策略，可以通过配置文件配置Partition的副本个数。Kafka针对Partition的复制同样需要选出一个Leader，同时由该Leader负责Partition的读写操作，其他的副本节点只是负责数据的同步。如果Leader失效，那么将会有其他follower来接管(成为新的Leader)，如果由于Follower自身的性...
- 一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干Broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer，以及一个ZooKeeper集群。如图10-8所示。Kafka通过ZooKeeper管理集群配置，选举Leader，以及在Consumer发生变化... 一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干Broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer，以及一个ZooKeeper集群。如图10-8所示。Kafka通过ZooKeeper管理集群配置，选举Leader，以及在Consumer发生变化...
上滑加载中
推荐直播
-
非标装备制造企业如何破除交付困境2022/04/21 周四 16:00-17:00
张燕聪 广州盛原成科技有限公司CEO
解析非标装备制造企业面临的装备交付困境，分享典型的装备企业如何利用IT和OT融合的技术提升从设备研发到设备交付的效率，提升企业竞争力。
回顾中 -
华为数字机器人RPA训练营开营直播2022/04/21 周四 19:00-20:00
韩老师 华为RPA院校合作总监
华为数字机器人7天训练营开篇直播，带所有开发者了解华为RPA产品构成、各产品关键特性及能力等，同时，介绍华为RPA人才培养计划及此次训练营课程设置、活动亮点等。更有直播好礼，等着大家哦~
回顾中 -
CANN训练营-基于GAN的图像合成技术介绍2022/04/21 周四 19:30-20:30
波哥 昇腾CANN计算机视觉算法专家
昇腾CANN论文上榜CVPR计算机视觉领域顶会，使得全景图像生成算法交互性再增强！论文作者首次公开解读论文精髓，邀您共同探讨基于GAN的图像合成技术！
回顾中
热门标签