- 《深入架构 第三篇》 《深入架构 第三篇》
- 《深入架构 第二篇》 《深入架构 第二篇》
- 《深入架构 第一篇》 《深入架构 第一篇》
- kafka常考特性，方便面试前复习 kafka常考特性，方便面试前复习
- 项目背景和架构介绍一、项目背景介绍湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台，本项目在技术方面涉及大数据技术组件搭建，湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化，项目所用到的技术组件都从基础搭建开始，目的在于湖仓一体架构中数据仓库与数据湖融合打通，实现企业级项目离线与实时数据指标分析。在业务方面目前暂时涉及到会员主题与商品主题，分析指标有用户实时登录信息... 项目背景和架构介绍一、项目背景介绍湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台，本项目在技术方面涉及大数据技术组件搭建，湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化，项目所用到的技术组件都从基础搭建开始，目的在于湖仓一体架构中数据仓库与数据湖融合打通，实现企业级项目离线与实时数据指标分析。在业务方面目前暂时涉及到会员主题与商品主题，分析指标有用户实时登录信息...
- 目前在市面上主流的消息队列中间件主要有，Kafka、RabbitMQ、RocketMQ 等这3种。 目前在市面上主流的消息队列中间件主要有，Kafka、RabbitMQ、RocketMQ 等这3种。
- 最常见最核心的场景其实就3个：解耦、异步、削峰填谷 最常见最核心的场景其实就3个：解耦、异步、削峰填谷
- Offset 偏移量，是针对于单个partition存在的概念 Offset 偏移量，是针对于单个partition存在的概念
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第17天，点击查看活动详情 Spark Day14：Structured Streaming 01-[了解]-上次课程内容回顾继续讲解：StructuredStreaming，以结构化方式处理流式数据，底层分析引擎SparkSQL引擎。0、数据源（Source） 支持4种数据源：TCP So... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第17天，点击查看活动详情 Spark Day14：Structured Streaming 01-[了解]-上次课程内容回顾继续讲解：StructuredStreaming，以结构化方式处理流式数据，底层分析引擎SparkSQL引擎。0、数据源（Source） 支持4种数据源：TCP So...
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第17天，点击查看活动详情 Spark Day13：Structured Streaming 01-[了解]-上次课程内容回顾主要讲解2个方面内容：SparkStreaming中偏移量管理和StructuredStreaming快速入门1、SparkStreaming中偏移量管理 - 统计类... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第17天，点击查看活动详情 Spark Day13：Structured Streaming 01-[了解]-上次课程内容回顾主要讲解2个方面内容：SparkStreaming中偏移量管理和StructuredStreaming快速入门1、SparkStreaming中偏移量管理 - 统计类...
- Iceberg概念及回顾什么是数据湖一、回顾什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据... Iceberg概念及回顾什么是数据湖一、回顾什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析，对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据...
- Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中Logstash 是一个开源数据收集引擎，具有实时流水线功能。Logstash 可以动态统一来自不同来源的数据，并将数据规范化为您选择的目的地。为各种高级下游分析和可视化用例清理和民主化您的所有数据。 安装 Logstash从下载的二进制文件安装Logstash 二进... Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中Logstash 是一个开源数据收集引擎，具有实时流水线功能。Logstash 可以动态统一来自不同来源的数据，并将数据规范化为您选择的目的地。为各种高级下游分析和可视化用例清理和民主化您的所有数据。 安装 Logstash从下载的二进制文件安装Logstash 二进...
- 一、Kafka简介Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka的特点有：同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）可进行持久化操作。将消息持久化到... 一、Kafka简介Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka的特点有：同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）可进行持久化操作。将消息持久化到...
- 哈喽~大家好啊,我是彦祖😋之前,我写过一篇文章叫做 Kafka如何修改分区Leader就是因为在我们实际的运维过程中,需要指定某个副本为ISR,但是呢 Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。关于Leader选举策略,你可以看这篇文章Leader选举流程和4种选举策略但是我们在之前的文章中,是留下了一个小尾巴-优化与改进。我们先简单的回顾一下之前的2... 哈喽~大家好啊,我是彦祖😋之前,我写过一篇文章叫做 Kafka如何修改分区Leader就是因为在我们实际的运维过程中,需要指定某个副本为ISR,但是呢 Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。关于Leader选举策略,你可以看这篇文章Leader选举流程和4种选举策略但是我们在之前的文章中,是留下了一个小尾巴-优化与改进。我们先简单的回顾一下之前的2...
- kafka中的iSR伸缩机制 kafka中的iSR伸缩机制
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签