- 两张图读懂kafka应用：Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broke... 两张图读懂kafka应用：Kafka 中的术语 broker：中间的kafka cluster，存储消息，是由多个server组成的集群。 topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。 producer：往broker中某个topic里面生产数据。 consumer：从broker中某个topic获取数据。Kafka 中的术语设计：1、Broke...
- 一、背景企业中大量业务数据保存在各个业务系统数据库中，过去通常的同步数据的方法有很多种，比如：各个数据使用方在业务低峰期各种抽取所需数据（缺点是存在重复抽取而且数据不一致）由统一的数仓平台通过sqoop到各个系统中抽取数据（缺点是sqoop抽取方法时效性差，一般都是T+1的时效性）基于trigger或时间戳的方式获得增量的变更（缺点是对业务方侵入性大，带来性能损失等）这些方案都不能算完美，我... 一、背景企业中大量业务数据保存在各个业务系统数据库中，过去通常的同步数据的方法有很多种，比如：各个数据使用方在业务低峰期各种抽取所需数据（缺点是存在重复抽取而且数据不一致）由统一的数仓平台通过sqoop到各个系统中抽取数据（缺点是sqoop抽取方法时效性差，一般都是T+1的时效性）基于trigger或时间戳的方式获得增量的变更（缺点是对业务方侵入性大，带来性能损失等）这些方案都不能算完美，我...
- 实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台。在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。本文作为下篇（技术篇），则是从技术角度入手，介绍RTDP的技术选型和相关组件，探讨适用不同应用场景的相关模式。RTDP的敏捷之路就此展开~ 实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台。在上篇（设计篇）中，我们从现代数仓架构角度和典型数据处理角度介绍了RTDP，并探讨了RTDP的整体设计架构。本文作为下篇（技术篇），则是从技术角度入手，介绍RTDP的技术选型和相关组件，探讨适用不同应用场景的相关模式。RTDP的敏捷之路就此展开~
- 消息系统为什么要用kafka 1.解耦：2.冗余：3.扩展性：4.灵活性 & 峰值处理能力：5.可恢复性：6.顺序保证：7.缓冲：8.异步通信： 消息系统为什么要用kafka 1.解耦：2.冗余：3.扩展性：4.灵活性 & 峰值处理能力：5.可恢复性：6.顺序保证：7.缓冲：8.异步通信：
- 在现代分布式系统中，消息队列已经成为处理大量数据和实现微服务架构的关键组件之一。Apache Kafka是一个开源的分布式事件流平台，它被广泛用于构建实时数据管道和流应用。Kafka以其高吞吐量、可扩展性和容错性而闻名。本文将详细介绍Apache Kafka的基本概念以及如何在Spring Boot项目中集成Kafka以实现实时数据处理。 1. Apache Kafka简介 1.1 定义Ap... 在现代分布式系统中，消息队列已经成为处理大量数据和实现微服务架构的关键组件之一。Apache Kafka是一个开源的分布式事件流平台，它被广泛用于构建实时数据管道和流应用。Kafka以其高吞吐量、可扩展性和容错性而闻名。本文将详细介绍Apache Kafka的基本概念以及如何在Spring Boot项目中集成Kafka以实现实时数据处理。 1. Apache Kafka简介 1.1 定义Ap...
- 在当今快速发展的技术环境中，企业级应用对实时数据处理的需求日益增长。为了满足这种需求，开发人员经常寻找能够支持高吞吐量、低延迟的数据流解决方案。Apache Kafka 以其卓越的消息队列功能而闻名，是实现这些目标的理想选择之一。与此同时，Spring Boot 作为Java领域内流行的框架，以其简化配置和开箱即用的特点受到广泛欢迎。本文将详细介绍如何将这两个强大的工具集成起来，以创建既灵活... 在当今快速发展的技术环境中，企业级应用对实时数据处理的需求日益增长。为了满足这种需求，开发人员经常寻找能够支持高吞吐量、低延迟的数据流解决方案。Apache Kafka 以其卓越的消息队列功能而闻名，是实现这些目标的理想选择之一。与此同时，Spring Boot 作为Java领域内流行的框架，以其简化配置和开箱即用的特点受到广泛欢迎。本文将详细介绍如何将这两个强大的工具集成起来，以创建既灵活...
- 瓶颈其实是在调用订单服务生成订单这个步骤中，项目之间使用的是 Feign 的框架进行调用，Feign的底层其实是http调用，虽然可以替换连接池，比如 feign-okhttp，来提高性能，但是本质还是基于http的方式，性能就会受到影响那么既然是高并发场景，在同一时间会有大量的订单请求，那么就要将生成订单的步骤变成异步，那么如何才能异步呢？这时我们就要借助mq中间件，现在我们直接开门见山，... 瓶颈其实是在调用订单服务生成订单这个步骤中，项目之间使用的是 Feign 的框架进行调用，Feign的底层其实是http调用，虽然可以替换连接池，比如 feign-okhttp，来提高性能，但是本质还是基于http的方式，性能就会受到影响那么既然是高并发场景，在同一时间会有大量的订单请求，那么就要将生成订单的步骤变成异步，那么如何才能异步呢？这时我们就要借助mq中间件，现在我们直接开门见山，...
- 本文深入探讨了消息队列的核心概念、应用场景及Kafka、RocketMQ、RabbitMQ的优劣势比较，大厂面试高频，必知必会，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。 本文深入探讨了消息队列的核心概念、应用场景及Kafka、RocketMQ、RabbitMQ的优劣势比较，大厂面试高频，必知必会，建议收藏。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。
- Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代... Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代...
- Kafka生产者流程是一个复杂但高效的过程，它涉及到多个步骤和组件的协同工作。以下是对Kafka生产者流程的详细分析： 一、创建生产者实例配置生产者属性：生产者需要配置一系列参数以连接到Kafka集群，如bootstrap.servers（Kafka集群的地址列表）。配置序列化器（Serializer），用于将消息键（Key）和消息值（Value）序列化为字节数组，以便在网络上传输和存储。常... Kafka生产者流程是一个复杂但高效的过程，它涉及到多个步骤和组件的协同工作。以下是对Kafka生产者流程的详细分析： 一、创建生产者实例配置生产者属性：生产者需要配置一系列参数以连接到Kafka集群，如bootstrap.servers（Kafka集群的地址列表）。配置序列化器（Serializer），用于将消息键（Key）和消息值（Value）序列化为字节数组，以便在网络上传输和存储。常...
- Apache Kafka 和 Amazon SQS（Simple Queue Service）是两种广泛使用的消息队列和事件流处理工具，尽管它们都有助于管理和传输数据流，但它们的设计目标、架构和应用场景有所不同。本文将深入比较 Kafka 和 SQS，探讨它们各自的特点、工作原理、使用场景以及适用性。 Kafka 简介Apache Kafka 是由 LinkedIn 开发并开源的分布式事件流... Apache Kafka 和 Amazon SQS（Simple Queue Service）是两种广泛使用的消息队列和事件流处理工具，尽管它们都有助于管理和传输数据流，但它们的设计目标、架构和应用场景有所不同。本文将深入比较 Kafka 和 SQS，探讨它们各自的特点、工作原理、使用场景以及适用性。 Kafka 简介Apache Kafka 是由 LinkedIn 开发并开源的分布式事件流...
- 作者 乐维社区（forum.lwops.cn）许远在构建现代的分布式系统时，确保数据传输的安全性至关重要。Apache Kafka 和 Zookeeper 作为流行的分布式消息队列和协调服务，提供了SSL（Secure Sockets Layer）认证机制，以增强数据传输过程中的安全性。本文将详细介绍从生成SSL证书到配置服务端和客户端的全过程，确保数据在传输过程中得到充分的保护。1、 配置... 作者 乐维社区（forum.lwops.cn）许远在构建现代的分布式系统时，确保数据传输的安全性至关重要。Apache Kafka 和 Zookeeper 作为流行的分布式消息队列和协调服务，提供了SSL（Secure Sockets Layer）认证机制，以增强数据传输过程中的安全性。本文将详细介绍从生成SSL证书到配置服务端和客户端的全过程，确保数据在传输过程中得到充分的保护。1、 配置...
- 01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：易拓展：... 01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：易拓展：...
- 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1... 一、简介1.1 概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1...
- 01 事件回顾2024 年 4 月 8 日中午，随着 AutoMQ 的一则简短的标题内容：Show HN: AutoMQ - A Cost-Effective Kafka Distro That Can Autoscale in Seconds[1] 成功登顶 Hacker News （HN） ，我们迎来了大量优质、精准的海外用户的关注。仅在24小时内，我们开源项目[2]的关注量就突破了1... 01 事件回顾2024 年 4 月 8 日中午，随着 AutoMQ 的一则简短的标题内容：Show HN: AutoMQ - A Cost-Effective Kafka Distro That Can Autoscale in Seconds[1] 成功登顶 Hacker News （HN） ，我们迎来了大量优质、精准的海外用户的关注。仅在24小时内，我们开源项目[2]的关注量就突破了1...
上滑加载中
推荐直播
-
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
回顾中 -
用代码全方位驱动 OBS 存储2025/01/14 周二 16:30-18:00
阿肯 华为云生态技术讲师
如何用代码驱动OBS？常用的数据管理，对象清理，多版本对象访问等应该如何编码？本期课程一一演示解答。
即将直播 -
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
去报名
热门标签