- 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发... 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发...
- 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻... 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻...
- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ... 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ...
- 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ... 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ...
- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！... 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！...
- 大家好，我是一哥。 快节奏的工作状态，如果要把汗牛充栋的技术类书籍一一看完，是非常耗费时间的，一方面费时费力，另一方面则是知识点学起来不精准。 下面这些大牛们的公众号，可以为你节省很多时间，对问题的解决也更有针对性，经常能够提供新的思考角度。让你在不知不觉间学习成长，提升并强大自己，更得心应手地应付求职面试中的各种大问题和小问... 大家好，我是一哥。 快节奏的工作状态，如果要把汗牛充栋的技术类书籍一一看完，是非常耗费时间的，一方面费时费力，另一方面则是知识点学起来不精准。 下面这些大牛们的公众号，可以为你节省很多时间，对问题的解决也更有针对性，经常能够提供新的思考角度。让你在不知不觉间学习成长，提升并强大自己，更得心应手地应付求职面试中的各种大问题和小问...
- 文章目录 TTL深入了解 一、列级别TTL 二、表级别TTL TTL深入了解 TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级... 文章目录 TTL深入了解 一、列级别TTL 二、表级别TTL TTL深入了解 TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级...
- 4 HBase 摘要：HBase是一种非关系型数据库，它是基于谷歌BigTable的开源实现，和BigTable一样，支持大规模海量数据的存储，对于分布式并发数据处理的效率极高，易于扩展且支持动态... 4 HBase 摘要：HBase是一种非关系型数据库，它是基于谷歌BigTable的开源实现，和BigTable一样，支持大规模海量数据的存储，对于分布式并发数据处理的效率极高，易于扩展且支持动态...
- 什么是 Landsat 集合？ 2016 年，USGS 将 Lan... 什么是 Landsat 集合？ 2016 年，USGS 将 Lan...
- 文章目录 Redis键（key）简介常用命令 字符串（string）简介常用命令数据结构 列表（list）简介常用命令数据结构 集合（set）简介常用命令 数据结构 哈希（hash... 文章目录 Redis键（key）简介常用命令 字符串（string）简介常用命令数据结构 列表（list）简介常用命令数据结构 集合（set）简介常用命令 数据结构 哈希（hash...
- 文章目录 3 HIVE3.1 Hive概述Hive简介Hive应用场景Hive与传统数据仓库比较Hive优点 3.2 Hive功能及架构Hive运行流程Hive数据存储模型Hive数据存储模... 文章目录 3 HIVE3.1 Hive概述Hive简介Hive应用场景Hive与传统数据仓库比较Hive优点 3.2 Hive功能及架构Hive运行流程Hive数据存储模型Hive数据存储模...
- 文章目录 致谢 7 决策树7.1 认识决策树7.2 决策树原理7.3 信息论7.3.1 信息熵7.3.1.1 熵7.3.1.2 信息7.3.1.3 信息熵 7.3.2 信息增益 ... 文章目录 致谢 7 决策树7.1 认识决策树7.2 决策树原理7.3 信息论7.3.1 信息熵7.3.1.1 熵7.3.1.2 信息7.3.1.3 信息熵 7.3.2 信息增益 ...
- 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺... 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签