- 本篇博主带来的是Kafka和zookeeper群起脚本的创建与使用。 目录 一. Zookeeper1. 一键启动脚本2. 一键关闭脚本 二. Kafka1. 启动2. 关闭 之前介绍过Kafka集群环境的搭建，但是细心的朋友们都发现，Kafka与ZooKeeper一样，都需要在每台节点上执行对应的开启/关闭脚本，十分的不方便。现在... 本篇博主带来的是Kafka和zookeeper群起脚本的创建与使用。 目录 一. Zookeeper1. 一键启动脚本2. 一键关闭脚本 二. Kafka1. 启动2. 关闭 之前介绍过Kafka集群环境的搭建，但是细心的朋友们都发现，Kafka与ZooKeeper一样，都需要在每台节点上执行对应的开启/关闭脚本，十分的不方便。现在...
- 一、Receiver 方式整合 spark streaming 和 kafka 启动zookeeper zkServer.sh start 启动kafka ： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 创建topic： kafka-to... 一、Receiver 方式整合 spark streaming 和 kafka 启动zookeeper zkServer.sh start 启动kafka ： kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 创建topic： kafka-to...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h... 一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/h...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 本篇博主带来的是Kafka生产过程的分析。 目录 1. 写入方式2. 分区（Partition）3. 副本（Replication）4. producer写入消息流程 1. 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比... 本篇博主带来的是Kafka生产过程的分析。 目录 1. 写入方式2. 分区（Partition）3. 副本（Replication）4. producer写入消息流程 1. 写入方式 producer采用推（push）模式将消息发布到broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比...
- 一、编写LoggerGenerator.java文件用于生成日志信息 添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender</artifactId> &l... 一、编写LoggerGenerator.java文件用于生成日志信息 添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender</artifactId> &l...
- 文章目录 ProducerBrokerConsumerZookeeper Kafka优点单机版安装教程3、安装JDK ##kafka原理简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都... 文章目录 ProducerBrokerConsumerZookeeper Kafka优点单机版安装教程3、安装JDK ##kafka原理简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都...
- 本篇博主带来的是Kafka Streams的相关知识。 目录 1. 什么是Kafka Streams2. Kafka Streams特点3. 为什么要有Kafka Stream4. Kafka Stream数据清洗案例1. 需求2. 需求分析3. 案例实操 1. 什么是Kafka Streams Kafka Streams。Apache... 本篇博主带来的是Kafka Streams的相关知识。 目录 1. 什么是Kafka Streams2. Kafka Streams特点3. 为什么要有Kafka Stream4. Kafka Stream数据清洗案例1. 需求2. 需求分析3. 案例实操 1. 什么是Kafka Streams Kafka Streams。Apache...
- 本篇博主带来的是Kafka的Consumer API操作。 目录 1. 手动提交offset2. 自动提交offset3. 自己维护offset Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。 由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需... 本篇博主带来的是Kafka的Consumer API操作。 目录 1. 手动提交offset2. 自动提交offset3. 自己维护offset Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。 由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需...
- 本篇博主带来的是producer(生产者)的数据可靠性保证。 目录 1. 副本数据同步策略2. ISR3. ack应答机制4. 故障处理细节1. follower故障2. leader故障 为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向prod... 本篇博主带来的是producer(生产者)的数据可靠性保证。 目录 1. 副本数据同步策略2. ISR3. ack应答机制4. 故障处理细节1. follower故障2. leader故障 为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向prod...
- 文章目录 消息中间件简介常用消息队列对比RocketMQKafkaActiveMQRabbitMQZeroMQ RocketMQ简介NameServerProducerConsumerBroker RocketMQ存储特点RocketMQ集群配置附录：安装教程 消息中间件简介 消息队列(Message Queue，简称MQ)。消息中间件作为... 文章目录 消息中间件简介常用消息队列对比RocketMQKafkaActiveMQRabbitMQZeroMQ RocketMQ简介NameServerProducerConsumerBroker RocketMQ存储特点RocketMQ集群配置附录：安装教程 消息中间件简介 消息队列(Message Queue，简称MQ)。消息中间件作为...
- 文章目录 3、安装JDK ##前言 ###Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 ###Kafka优点 Kafka好处：转自 InfoQ... 文章目录 3、安装JDK ##前言 ###Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 ###Kafka优点 Kafka好处：转自 InfoQ...
- 本篇博主带来的是Flume对接Kafka。 目录 1. Kafka与Flume比较2. Flume与kafka集成 1. Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么： 1. flume：cloudera公司研发 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操... 本篇博主带来的是Flume对接Kafka。 目录 1. Kafka与Flume比较2. Flume与kafka集成 1. Kafka与Flume比较 在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么： 1. flume：cloudera公司研发 适合多个生产者； 适合下游数据消费者不多的情况； 适合数据安全性要求不高的操...
上滑加载中
推荐直播
-
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中 -
华为云码道全新升级，多会话并行与多智能体协作2026/05/08 周五 19:00-21:00
王一男-华为云码道产品专家；张嘉冉-华为云码道工程师；胡琦-华为云HCDE；程诗杰-华为云HCDG
华为云码道4月份版本全新升级，此次直播深度解读4月份产品特性，通过“特性解读+实操演示+实战案例+设计创新”的组合，全方位展现码道在多会话并行与多智能体协作方面的能力，赋能开发者提升效率
正在直播
热门标签