- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ... 大家好，我是一哥，前几天建了一个数据仓库方向的小群，收集了大家的一些问题，其中有个问题，一哥很想去谈一谈——现在做传统数仓，如何快速转到大数据数据呢？其实一哥知道的很多同事都是从传统数据仓库转到大数据的，今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line ...
- 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ... 效果演示 今天是中秋佳节，正想测试一下最近比较热门的AI绘画算法Stable Diffusion，于是打算利用它来重现苏轼当年在中秋之夜写下的词《水调歌头·明月几时有》中的场景，先看效果。 ...
- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！... 作者：明哥 来源：明哥的IT随笔 编辑：数据一哥 全文共2988个字，建议8分钟阅读 01 Ambari 正式退役 正所谓几家欢乐几家愁，2022 年初，又一款顶级 Apache 大数据项目，正式宣告退役：Apache Ambari 于 2022-01 悄然宣布，项目不再维护，正式进入退役阶段！...
- 大家好，我是一哥。 快节奏的工作状态，如果要把汗牛充栋的技术类书籍一一看完，是非常耗费时间的，一方面费时费力，另一方面则是知识点学起来不精准。 下面这些大牛们的公众号，可以为你节省很多时间，对问题的解决也更有针对性，经常能够提供新的思考角度。让你在不知不觉间学习成长，提升并强大自己，更得心应手地应付求职面试中的各种大问题和小问... 大家好，我是一哥。 快节奏的工作状态，如果要把汗牛充栋的技术类书籍一一看完，是非常耗费时间的，一方面费时费力，另一方面则是知识点学起来不精准。 下面这些大牛们的公众号，可以为你节省很多时间，对问题的解决也更有针对性，经常能够提供新的思考角度。让你在不知不觉间学习成长，提升并强大自己，更得心应手地应付求职面试中的各种大问题和小问...
- 文章目录 TTL深入了解 一、列级别TTL 二、表级别TTL TTL深入了解 TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级... 文章目录 TTL深入了解 一、列级别TTL 二、表级别TTL TTL深入了解 TTL即Time To Live ，表示数据存活的时间。在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除这列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级...
- 4 HBase 摘要：HBase是一种非关系型数据库，它是基于谷歌BigTable的开源实现，和BigTable一样，支持大规模海量数据的存储，对于分布式并发数据处理的效率极高，易于扩展且支持动态... 4 HBase 摘要：HBase是一种非关系型数据库，它是基于谷歌BigTable的开源实现，和BigTable一样，支持大规模海量数据的存储，对于分布式并发数据处理的效率极高，易于扩展且支持动态...
- 什么是 Landsat 集合？ 2016 年，USGS 将 Lan... 什么是 Landsat 集合？ 2016 年，USGS 将 Lan...
- 文章目录 Redis键（key）简介常用命令 字符串（string）简介常用命令数据结构 列表（list）简介常用命令数据结构 集合（set）简介常用命令 数据结构 哈希（hash... 文章目录 Redis键（key）简介常用命令 字符串（string）简介常用命令数据结构 列表（list）简介常用命令数据结构 集合（set）简介常用命令 数据结构 哈希（hash...
- 文章目录 3 HIVE3.1 Hive概述Hive简介Hive应用场景Hive与传统数据仓库比较Hive优点 3.2 Hive功能及架构Hive运行流程Hive数据存储模型Hive数据存储模... 文章目录 3 HIVE3.1 Hive概述Hive简介Hive应用场景Hive与传统数据仓库比较Hive优点 3.2 Hive功能及架构Hive运行流程Hive数据存储模型Hive数据存储模...
- 文章目录 致谢 7 决策树7.1 认识决策树7.2 决策树原理7.3 信息论7.3.1 信息熵7.3.1.1 熵7.3.1.2 信息7.3.1.3 信息熵 7.3.2 信息增益 ... 文章目录 致谢 7 决策树7.1 认识决策树7.2 决策树原理7.3 信息论7.3.1 信息熵7.3.1.1 熵7.3.1.2 信息7.3.1.3 信息熵 7.3.2 信息增益 ...
- 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺... 文章目录 1 大数据概述1.1 什么是大数据1.2 大数据技术背后的核心思想1.2.1 把数据分发到多个节点1.2.2 把计算逻辑移到数据附近1.2.3 计算节点进行本地数据处理1.2.4 优选顺...
- &nb... &nb...
- 七夕是中国民间的传统节日，不同时代、不同地域的人们给这个节日赋予了不同的含义。在漫长的演变过程中，七夕成了牛郎织女相会的日子。正因为这个美丽的爱情传说，七夕被视为中国最具浪漫色彩的、象征爱情的节日。在西风... 七夕是中国民间的传统节日，不同时代、不同地域的人们给这个节日赋予了不同的含义。在漫长的演变过程中，七夕成了牛郎织女相会的日子。正因为这个美丽的爱情传说，七夕被视为中国最具浪漫色彩的、象征爱情的节日。在西风...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
即将直播
热门标签