- 满足运维开发同学 对kafka的所有日常操作 满足运维开发同学 对kafka的所有日常操作
- 1.1 分析导图 1.2 Topic的describe信息异常，出现大量的leader -1或者leader为none通过1.4章节查看集群节点是否完整。查看kafka集群的节点是否有非常规退服。详情见4.1.14章节。如果出现这种情况，topic只能强制删除后重新创建，方法见维护宝典《如何手动删除topic》。节点信息正常但是出现大量的leader出现-1或者none，需要... 1.1 分析导图 1.2 Topic的describe信息异常，出现大量的leader -1或者leader为none通过1.4章节查看集群节点是否完整。查看kafka集群的节点是否有非常规退服。详情见4.1.14章节。如果出现这种情况，topic只能强制删除后重新创建，方法见维护宝典《如何手动删除topic》。节点信息正常但是出现大量的leader出现-1或者none，需要...
- Kafka集群部署规范1.CPU规格与挂盘数量的关系规范根据FusionInsight HD产品文档中所述的硬件要求来选择合适的部署方式。对于kafka组件需要关注机器中具体处理器超线程个数，即processor的个数，可以通过命令：grep -c processor /proc/cpuinfo 查看。这个参数代表了整个机器的处理能力，kafka默认，建议：每台机器最大挂盘数量 <= pro... Kafka集群部署规范1.CPU规格与挂盘数量的关系规范根据FusionInsight HD产品文档中所述的硬件要求来选择合适的部署方式。对于kafka组件需要关注机器中具体处理器超线程个数，即processor的个数，可以通过命令：grep -c processor /proc/cpuinfo 查看。这个参数代表了整个机器的处理能力，kafka默认，建议：每台机器最大挂盘数量 <= pro...
- flink读取kafka导入css编辑日期：2021-04-26 21:03浏览：1回复：02026-04-26 失效运行环境：flink（mrs3.0.1）+kafka（mrs3.0.5）+css7.9.3后台执行：flink run -m yarn-cluster -yjm 2048 -ytm 2048 -ys 2 -c com.huawei.bigdata.flink.examples... flink读取kafka导入css编辑日期：2021-04-26 21:03浏览：1回复：02026-04-26 失效运行环境：flink（mrs3.0.1）+kafka（mrs3.0.5）+css7.9.3后台执行：flink run -m yarn-cluster -yjm 2048 -ytm 2048 -ys 2 -c com.huawei.bigdata.flink.examples...
- 相信大家最近一定关注到一款重量级消息中间件Kafka发布了2.8版本，并且正式移除了对Zookeeper的依赖，背后的设计哲学是什么呢？仅仅只是减少了一个外部依赖吗？ 相信大家最近一定关注到一款重量级消息中间件Kafka发布了2.8版本，并且正式移除了对Zookeeper的依赖，背后的设计哲学是什么呢？仅仅只是减少了一个外部依赖吗？
- 准备：运行样例程序的机器需与MRS集群网络连通一. 运行样例程序1. 获取集群浮动ip登录集群master节点登录MRS集群Master节点，执行命令ip a | grep wsom，对应ip即为浮动ip。浮动ip可能绑定在任意maste节点或控制节点上，若某一节点没获取到，请切换到其他节点尝试2. 配置用户。建议在mrs manager页面创建单独的用户用于获取监控指标，请参考：创建用户3... 准备：运行样例程序的机器需与MRS集群网络连通一. 运行样例程序1. 获取集群浮动ip登录集群master节点登录MRS集群Master节点，执行命令ip a | grep wsom，对应ip即为浮动ip。浮动ip可能绑定在任意maste节点或控制节点上，若某一节点没获取到，请切换到其他节点尝试2. 配置用户。建议在mrs manager页面创建单独的用户用于获取监控指标，请参考：创建用户3...
- Kafka时间轮是Kafka实现高效的延时任务的基础，它模拟了现实生活中的钟表对时间的表示方式，同时，时间轮的方式并不仅限于Kafka，它是一种通用的时间表示方式，本文主要介绍Kafka中的时间轮原理。 Kafka时间轮是Kafka实现高效的延时任务的基础，它模拟了现实生活中的钟表对时间的表示方式，同时，时间轮的方式并不仅限于Kafka，它是一种通用的时间表示方式，本文主要介绍Kafka中的时间轮原理。
- 在一个系统中，模型和接口是相对稳定的部分。 但同样的模型和接口，若采用不同实现，稳定性、可扩展性和性能等诸多方面相差极大。只有熟悉实现，才有改代码写新需求的基础。 “看实现”的确是个大难题，因有无数细节... 在一个系统中，模型和接口是相对稳定的部分。 但同样的模型和接口，若采用不同实现，稳定性、可扩展性和性能等诸多方面相差极大。只有熟悉实现，才有改代码写新需求的基础。 “看实现”的确是个大难题，因有无数细节...
- 对系统增加MQ对峰值写流量做削峰填谷，对次要业务逻辑做异步，对不同系统模块做解耦。 因为业务逻辑从同步代码中移除了，所以也要有相应队列处理程序处理消息、执行业务逻辑。 随着业务逻辑复杂，会引入更多外部系... 对系统增加MQ对峰值写流量做削峰填谷，对次要业务逻辑做异步，对不同系统模块做解耦。 因为业务逻辑从同步代码中移除了，所以也要有相应队列处理程序处理消息、执行业务逻辑。 随着业务逻辑复杂，会引入更多外部系...
- Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
- 本文主要内容考察Kafka架构。生产者发送消息。消费者读取消息。Kafka安装与运行。虽然这是一本关于Kafka Streams的书，但是要研究Kafka Streams不可能不探讨Kafka，毕竟，Kafka Streams是一个运行在Kafka之上的库。Kafka Streams设计得非常好，因此即使具有很少或者零Kafka经验的人都可以启动和运行Kafka Streams。但是，你所取... 本文主要内容考察Kafka架构。生产者发送消息。消费者读取消息。Kafka安装与运行。虽然这是一本关于Kafka Streams的书，但是要研究Kafka Streams不可能不探讨Kafka，毕竟，Kafka Streams是一个运行在Kafka之上的库。Kafka Streams设计得非常好，因此即使具有很少或者零Kafka经验的人都可以启动和运行Kafka Streams。但是，你所取...
- 手拉手整合Springboot3+RocketMQ2.3 手拉手整合Springboot3+RocketMQ2.3
- Openeuler2203系统zookeeper+kafka集群部署 一，具体环境 1，主机信息前三台用来安装zookeeper-3.9.1与kafka_2.13-3.6.1,Java 采用JAVA-11-openjdk版本192.168.0.11 ecs-0001192.168.0.12 ecs-0002192.168.0.13 ecs-0003192.168.0.14 ecs-0004... Openeuler2203系统zookeeper+kafka集群部署 一，具体环境 1，主机信息前三台用来安装zookeeper-3.9.1与kafka_2.13-3.6.1,Java 采用JAVA-11-openjdk版本192.168.0.11 ecs-0001192.168.0.12 ecs-0002192.168.0.13 ecs-0003192.168.0.14 ecs-0004...
- 问题背景有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程我们先对客户端的环境及JVM情况进行了排查，从JVM所在的虚拟机到kafka server的网络正常，垃圾回收（GC）时间也在预期范围内，没有出现异常。紧接着，我们把目光转向了kafka 服务器，进行了一些基础的检查，同时也查看了kafka处理请求的超时日志，其中我们关心的metadata和produ... 问题背景有一个环境的kafka client发送数据有部分超时，拓扑图也非常简单 定位历程我们先对客户端的环境及JVM情况进行了排查，从JVM所在的虚拟机到kafka server的网络正常，垃圾回收（GC）时间也在预期范围内，没有出现异常。紧接着，我们把目光转向了kafka 服务器，进行了一些基础的检查，同时也查看了kafka处理请求的超时日志，其中我们关心的metadata和produ...
- 如何选择压缩算法？在选择压缩算法的时候，首先要考虑的就是压缩比和压缩速率。压缩比主要是为了节省网络带宽和磁盘存储空间，而压缩速率主要影响吞吐量。一般来说，压缩比越高，压缩速率越低；压缩比越低，压缩速率越高。 操作系统交换区在现代操作系统中，基本都支持交换区，也叫做 swap 分区。当操作系统发现可用的物理内存不足的时候，就会把物理内存里的一部分页淘汰出来，放到磁盘上，也就是放到 swap ... 如何选择压缩算法？在选择压缩算法的时候，首先要考虑的就是压缩比和压缩速率。压缩比主要是为了节省网络带宽和磁盘存储空间，而压缩速率主要影响吞吐量。一般来说，压缩比越高，压缩速率越低；压缩比越低，压缩速率越高。 操作系统交换区在现代操作系统中，基本都支持交换区，也叫做 swap 分区。当操作系统发现可用的物理内存不足的时候，就会把物理内存里的一部分页淘汰出来，放到磁盘上，也就是放到 swap ...
上滑加载中
推荐直播
-
通用人工智能（AGI）到来前夕如何实现企业降本增效和应用现代化2024/04/19 周五 14:00-16:00
李京峰 T3出行VP/CTO
李京峰是T3出行CTO，本次他将分享通用人工智能（AGI）到来前夕，如何实现企业降本增效和应用现代化。
即将直播 -
华为云云原生FinOps解决方案，为您释放云原生最大价值2024/04/24 周三 16:30-18:00
Roc 华为云云原生DTSE技术布道师
还在对CCE集群成本评估感到束手无策？还在担心不合理的K8s集群资源申请和过度浪费？华为云容器服务CCE全新上线云原生FinOps中心，为用户提供多维度集群成本可视化，结合智能规格推荐、混部、超卖等成本优化手段，助力客户降本增效，释放云原生最大价值。
去报名 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长；崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
去报名
热门标签