- 项目背景和架构介绍一、项目背景介绍湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台,本项目在技术方面涉及大数据技术组件搭建,湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化,项目所用到的技术组件都从基础搭建开始,目的在于湖仓一体架构中数据仓库与数据湖融合打通,实现企业级项目离线与实时数据指标分析。在业务方面目前暂时涉及到会员主题与商品主题,分析指标有用户实时登录信息... 项目背景和架构介绍一、项目背景介绍湖仓一体实时电商项目是基于某宝商城电商项目的电商数据分析平台,本项目在技术方面涉及大数据技术组件搭建,湖仓一体分层数仓设计、实时到离线数据指标分析及数据大屏可视化,项目所用到的技术组件都从基础搭建开始,目的在于湖仓一体架构中数据仓库与数据湖融合打通,实现企业级项目离线与实时数据指标分析。在业务方面目前暂时涉及到会员主题与商品主题,分析指标有用户实时登录信息...
- 目前在市面上主流的消息队列中间件主要有,Kafka、RabbitMQ、RocketMQ 等这3种。 目前在市面上主流的消息队列中间件主要有,Kafka、RabbitMQ、RocketMQ 等这3种。
- 最常见最核心的场景其实就3个:解耦、异步、削峰填谷 最常见最核心的场景其实就3个:解耦、异步、削峰填谷
- Offset 偏移量,是针对于单个partition存在的概念 Offset 偏移量,是针对于单个partition存在的概念
- theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第17天,点击查看活动详情 Spark Day14:Structured Streaming 01-[了解]-上次课程内容回顾继续讲解:StructuredStreaming,以结构化方式处理流式数据,底层分析引擎SparkSQL引擎。0、数据源(Source) 支持4种数据源:TCP So... theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第17天,点击查看活动详情 Spark Day14:Structured Streaming 01-[了解]-上次课程内容回顾继续讲解:StructuredStreaming,以结构化方式处理流式数据,底层分析引擎SparkSQL引擎。0、数据源(Source) 支持4种数据源:TCP So...
- theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第17天,点击查看活动详情 Spark Day13:Structured Streaming 01-[了解]-上次课程内容回顾主要讲解2个方面内容:SparkStreaming中偏移量管理和StructuredStreaming快速入门1、SparkStreaming中偏移量管理 - 统计类... theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第17天,点击查看活动详情 Spark Day13:Structured Streaming 01-[了解]-上次课程内容回顾主要讲解2个方面内容:SparkStreaming中偏移量管理和StructuredStreaming快速入门1、SparkStreaming中偏移量管理 - 统计类...
- Iceberg概念及回顾什么是数据湖一、回顾什么是数据湖数据湖是一个集中式的存储库,允许你以任意规模存储多个来源、所有结构化和非结构化数据,可以按照原样存储数据,无需对数据进行结构化处理,并运行不同类型的分析,对数据进行加工,例如:大数据处理、实时分析、机器学习,以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟,在传统的离线数据仓库中对记录级别的数据... Iceberg概念及回顾什么是数据湖一、回顾什么是数据湖数据湖是一个集中式的存储库,允许你以任意规模存储多个来源、所有结构化和非结构化数据,可以按照原样存储数据,无需对数据进行结构化处理,并运行不同类型的分析,对数据进行加工,例如:大数据处理、实时分析、机器学习,以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟,在传统的离线数据仓库中对记录级别的数据...
- Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中Logstash 是一个开源数据收集引擎,具有实时流水线功能。Logstash 可以动态统一来自不同来源的数据,并将数据规范化为您选择的目的地。为各种高级下游分析和可视化用例清理和民主化您的所有数据。 安装 Logstash从下载的二进制文件安装Logstash 二进... Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中Logstash 是一个开源数据收集引擎,具有实时流水线功能。Logstash 可以动态统一来自不同来源的数据,并将数据规范化为您选择的目的地。为各种高级下游分析和可视化用例清理和民主化您的所有数据。 安装 Logstash从下载的二进制文件安装Logstash 二进...
- 一、Kafka简介Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka的特点有:同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)可进行持久化操作。将消息持久化到... 一、Kafka简介Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka的特点有:同时为发布和订阅提供高吞吐量。据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)可进行持久化操作。将消息持久化到...
- 哈喽~大家好啊,我是彦祖😋之前,我写过一篇文章叫做 Kafka如何修改分区Leader就是因为在我们实际的运维过程中,需要指定某个副本为ISR,但是呢 Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。关于Leader选举策略,你可以看这篇文章Leader选举流程和4种选举策略但是我们在之前的文章中,是留下了一个小尾巴-优化与改进。我们先简单的回顾一下之前的2... 哈喽~大家好啊,我是彦祖😋之前,我写过一篇文章叫做 Kafka如何修改分区Leader就是因为在我们实际的运维过程中,需要指定某个副本为ISR,但是呢 Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。关于Leader选举策略,你可以看这篇文章Leader选举流程和4种选举策略但是我们在之前的文章中,是留下了一个小尾巴-优化与改进。我们先简单的回顾一下之前的2...
- DMS for Kafka对接云监控服务,使您全面了解DMS for Kafka的运行情况,通过配置告警策略,您可以及时收到异常报警并做出反应,保证业务顺畅运行。 DMS for Kafka对接云监控服务,使您全面了解DMS for Kafka的运行情况,通过配置告警策略,您可以及时收到异常报警并做出反应,保证业务顺畅运行。
- kafka中的iSR伸缩机制 kafka中的iSR伸缩机制
- 简介Kafka的API有Producer API,Consumer API还有自定义Interceptor (自定义拦截器),以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中,涉及两个线程:main线程和Sender线程,以及一个线程共享变量Rec... 简介Kafka的API有Producer API,Consumer API还有自定义Interceptor (自定义拦截器),以及处理的流使用的Streams API和构建连接器的Kafka Connect API。 Producer APIKafka的Producer发送消息采用的是异步发送的方式。在消息发送过程中,涉及两个线程:main线程和Sender线程,以及一个线程共享变量Rec...
- 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗
- 即如何保证消息的可靠性传输?用MQ,数据:不能多,重复消费和幂等性问题不能少,这数据别搞丢若这是用MQ传递非常核心的消息,比如计费系统是很重的一个业务,操作很耗时,经常将计费做成异步化,然后中间就是加个MQ。为确保MQ传递过程中绝不会把计费消息弄丢。广告主投放个广告,说好用户点击一次扣费1块钱。结果要是用户动不动点击了一次,扣费时搞的消息丢了,公司就会不断的少几块。 如何解决MQ丢数据,一般... 即如何保证消息的可靠性传输?用MQ,数据:不能多,重复消费和幂等性问题不能少,这数据别搞丢若这是用MQ传递非常核心的消息,比如计费系统是很重的一个业务,操作很耗时,经常将计费做成异步化,然后中间就是加个MQ。为确保MQ传递过程中绝不会把计费消息弄丢。广告主投放个广告,说好用户点击一次扣费1块钱。结果要是用户动不动点击了一次,扣费时搞的消息丢了,公司就会不断的少几块。 如何解决MQ丢数据,一般...
上滑加载中
推荐直播
-
通用人工智能(AGI)到来前夕如何实现企业降本增效和应用现代化
2024/04/19 周五 14:00-16:00
李京峰 T3出行VP/CTO
李京峰是T3出行CTO,本次他将分享通用人工智能(AGI)到来前夕,如何实现企业降本增效和应用现代化。
回顾中 -
华为云云原生FinOps解决方案,为您释放云原生最大价值
2024/04/24 周三 16:30-18:00
Roc 华为云云原生DTSE技术布道师
还在对CCE集群成本评估感到束手无策?还在担心不合理的K8s集群资源申请和过度浪费?华为云容器服务CCE全新上线云原生FinOps中心,为用户提供多维度集群成本可视化,结合智能规格推荐、混部、超卖等成本优化手段,助力客户降本增效,释放云原生最大价值。
去报名 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》
2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长;崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
去报名
热门标签