- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失...
- Kafka、SocketServer、RequestHandler、性能优化 Kafka、SocketServer、RequestHandler、性能优化
- 一、生产问题分析思路 二、数据无法正常写入，使用客户端无法正常生产数据首先使用生产命令进行生产测试。看是否是C80版本，确认是否有打入kafka死锁补丁，如果没有请打入。Kafka的服务端节点是否开启了DNS，如果开启请参照《kafka启动候不定时出现"恢复中"状态》解决。 根据章节查看topic是否正常（2.2章节），如果不正常优先恢复topic，参考维护宝典Topic操作常见故障章节... 一、生产问题分析思路 二、数据无法正常写入，使用客户端无法正常生产数据首先使用生产命令进行生产测试。看是否是C80版本，确认是否有打入kafka死锁补丁，如果没有请打入。Kafka的服务端节点是否开启了DNS，如果开启请参照《kafka启动候不定时出现"恢复中"状态》解决。 根据章节查看topic是否正常（2.2章节），如果不正常优先恢复topic，参考维护宝典Topic操作常见故障章节...
- Kafka集群在使用过程中会出现各种各样的操作场景，修改配置参数、集群异常等各种重启场景等，操作过程中需要注意一些注意事项。 离线重启kafka集群如果需要修改kafka服务端的配置，点击保存配置后，不要勾选“重新启动受影响的服务或实例”。重启kafka进程前，需要停止生产端的业务，否则很容易出现kafka由于数据不同步导致的无法启动或者启动缓慢。停止生产端业务后，等待1~2分钟，停止kaf... Kafka集群在使用过程中会出现各种各样的操作场景，修改配置参数、集群异常等各种重启场景等，操作过程中需要注意一些注意事项。 离线重启kafka集群如果需要修改kafka服务端的配置，点击保存配置后，不要勾选“重新启动受影响的服务或实例”。重启kafka进程前，需要停止生产端的业务，否则很容易出现kafka由于数据不同步导致的无法启动或者启动缓慢。停止生产端业务后，等待1~2分钟，停止kaf...
- 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
- 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。 通过eip访问集群主要是对需要的访问的集群组件的IP修改成hostname，和端口开放。像类似spark和flink这种这种分析组件因为是在本地运行，所以不需要做额外的端口和ip的修改。安全集群相对于普通集群多了个kerboers认证，只要修改kerboers的conf文件和开发对应的端口就可以了。
- 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v... 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v...
- 配置内外网不同网段IP访问Kafka集群 配置内外网不同网段IP访问Kafka集群
- kafka 生产和消费的offset kafka 生产和消费的offset
- 一.问题描述kafka减容磁盘raid组,比如从3组raid减容到1组。二.思路分析1.减容 broker？ 否 兼容磁盘，不是减容broker2.实例 退服？ 否3.单磁盘partition得考虑下四.解决方法 理论上要把减容磁盘的数据迁移到其他节点或减容节点的非减容磁盘上，去掉磁盘raid组后改manager数据存放目录。五.问题总结操作风险： ①在重建过程中，硬盘驱动器的压力会更大... 一.问题描述kafka减容磁盘raid组,比如从3组raid减容到1组。二.思路分析1.减容 broker？ 否 兼容磁盘，不是减容broker2.实例 退服？ 否3.单磁盘partition得考虑下四.解决方法 理论上要把减容磁盘的数据迁移到其他节点或减容节点的非减容磁盘上，去掉磁盘raid组后改manager数据存放目录。五.问题总结操作风险： ①在重建过程中，硬盘驱动器的压力会更大...
- Kafka connect： 一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。 二、基本概念： 1）Connector：有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：sourceConnector：数据导入kafka集群功能；sourceConnec... Kafka connect： 一、是一个可以在kafka和其它数据系统中进行数据传输的工具，一般用于增量数据迁移或者导出导入数据到目标地址。 二、基本概念： 1）Connector：有两种类型的connector，分别是sourceConnector和sinkConnector，其基类都是Connector：sourceConnector：数据导入kafka集群功能；sourceConnec...
- DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网... DIS 在华为云场景下有如下优势：支持全局接入：解决公网、跨VPC、PSZ/OM区访问互通问题 与华为云集成认证、监控、企业项目等Serverless：ØTopic as a Service，只需要关注业务带宽按需使用，自动扩缩容 Ø无限扩容、超过单kafka集群限制的上限吞吐能力HA ：多az，跨集群级别的高可用接口rest协议 ：跨平台能力更强，但时延更高 通过压缩等优化，实现公网...
- 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope... 1. Assign、Subscribe、Pattern 三种模式有什么区别？Assign模式 给Consumer手动分配分区，需要显式指定需要消费的分区。Subscribe模式 直接订阅通道，服务端直接完成分区分配。Pattern模式 也属于Subscribe模式，只不过是使用正则表达式的方式来订阅通道。2. DIS Consumer 如何指定线程数？props.setPrope...
- 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外... 问题描述cdm新建kafka连接，点测试或者保存 提示 系统错误。 (Cdm.0000)问题分析1.排查网络问题用户kafka 集群和CDM集群在一个VPC下，并且kafka所在安全组的入方向规则已针对CDM集群全部放通，CDM所在安全组出方向规则全部放通，排除网络问题2.排查权限，经分析是用户使用的账户没有ssl没权限 使用其他账号测试，ok，最中确定是客户ROOT用户没有SSL权限，另外...
- 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F... 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F...
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签