- 来源:网络 编辑:数据一哥 全文共5469个字,建议阅读14分钟 大家好,我是一哥,元数据管理是企业数据治理的基础,是数据仓库建设的关键。作为一名数据人,首要任务就是理解元数据管理。 本篇文章将为大家梳理元数据的概念,介绍元数据管理在数据仓库的地位、场景及实践工具。 01 什么是元数据管理 1、什么是元数据? 元... 来源:网络 编辑:数据一哥 全文共5469个字,建议阅读14分钟 大家好,我是一哥,元数据管理是企业数据治理的基础,是数据仓库建设的关键。作为一名数据人,首要任务就是理解元数据管理。 本篇文章将为大家梳理元数据的概念,介绍元数据管理在数据仓库的地位、场景及实践工具。 01 什么是元数据管理 1、什么是元数据? 元...
- 作者:暮角 编辑:数据社 全文共2845个字,建议5分钟阅读 大家好,我是一哥,今天跟大家分享一下怎么理解建模方法和分层架构? 分层架构很容易在各种书籍和文档中去理解,但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来,我会从数据研发与建模的角度,演进一下分层架构的设计原因与层次的意义。 01 分层的演进 ... 作者:暮角 编辑:数据社 全文共2845个字,建议5分钟阅读 大家好,我是一哥,今天跟大家分享一下怎么理解建模方法和分层架构? 分层架构很容易在各种书籍和文档中去理解,但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来,我会从数据研发与建模的角度,演进一下分层架构的设计原因与层次的意义。 01 分层的演进 ...
- 数据库 说到数据库,我们一般是指传统的关系型数据库,也就是“联机事务处理”(OLTP),主要用户在线交易处理。比如银行业务、电信业务之前很多都是Oracle或者DB2(可能现在很多开发者没再用过),到后... 数据库 说到数据库,我们一般是指传统的关系型数据库,也就是“联机事务处理”(OLTP),主要用户在线交易处理。比如银行业务、电信业务之前很多都是Oracle或者DB2(可能现在很多开发者没再用过),到后...
- 作者:何永灿 来源:网络 编辑:数据一哥 全文共9017个字,建议阅读20分钟 01 数据质量保障原则 如何评估数据质量的好坏,业界有不同的标准,阿里主要从 4 个方面进行评估:完整性、准确性、一致性、及时性; 1、完整性 数据完整性是数据最基础的保障; 完整性:指数据的记录和信息是否完整,是否存在缺失... 作者:何永灿 来源:网络 编辑:数据一哥 全文共9017个字,建议阅读20分钟 01 数据质量保障原则 如何评估数据质量的好坏,业界有不同的标准,阿里主要从 4 个方面进行评估:完整性、准确性、一致性、及时性; 1、完整性 数据完整性是数据最基础的保障; 完整性:指数据的记录和信息是否完整,是否存在缺失...
- 小A以前是一名数据仓库工程师,有一天收到了一个仓库管理员的职位邀请…… &... 小A以前是一名数据仓库工程师,有一天收到了一个仓库管理员的职位邀请…… &...
- 公众号推文规则变了,点击上方 "数据社", 设为星标 后台回复【加群】,申请加入数据学习交流群 大家好,我是一哥,今天是假期的第一天,国内疫情有所缓和,大家应该都忙着到处逛吃吧。有小伙伴私聊我,放假这几天有没有什么书籍推荐,我感觉看书你得随身带着,不方便,我推荐他几个小视频看看~ 1 数据质... 公众号推文规则变了,点击上方 "数据社", 设为星标 后台回复【加群】,申请加入数据学习交流群 大家好,我是一哥,今天是假期的第一天,国内疫情有所缓和,大家应该都忙着到处逛吃吧。有小伙伴私聊我,放假这几天有没有什么书籍推荐,我感觉看书你得随身带着,不方便,我推荐他几个小视频看看~ 1 数据质...
- 来源:网络 全文共8672个字,建议收藏阅读 什么是ETL ETL是数据抽取(Extract)、转换(Transform)、加载(Load )的简写,它是将OLTP系统中的数据经过抽取,并将不同数据源的数据进行转换、整合,得出一致性的数据,然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统... 来源:网络 全文共8672个字,建议收藏阅读 什么是ETL ETL是数据抽取(Extract)、转换(Transform)、加载(Load )的简写,它是将OLTP系统中的数据经过抽取,并将不同数据源的数据进行转换、整合,得出一致性的数据,然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统...
- 公众号推文规则变了,点击上方 "数据社", 设为星标 后台回复【加群】,申请加入数据学习交流群 大家好,我是一哥,今天是假期的第一天,国内疫情有所缓和,大家应该都忙着到处逛吃吧。有小伙伴私聊我,放假这几天有没有什么书籍推荐,我感觉看书你得随身带着,不方便,我推荐他几个小视频看看~ 1 数据质... 公众号推文规则变了,点击上方 "数据社", 设为星标 后台回复【加群】,申请加入数据学习交流群 大家好,我是一哥,今天是假期的第一天,国内疫情有所缓和,大家应该都忙着到处逛吃吧。有小伙伴私聊我,放假这几天有没有什么书籍推荐,我感觉看书你得随身带着,不方便,我推荐他几个小视频看看~ 1 数据质...
- 大家好,我是一哥,前几天建了一个数据仓库方向的小群,收集了大家的一些问题,其中有个问题,一哥很想去谈一谈——现在做传统数仓,如何快速转到大数据数据呢?其实一哥知道的很多同事都是从传统数据仓库转到大数据的,今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line ... 大家好,我是一哥,前几天建了一个数据仓库方向的小群,收集了大家的一些问题,其中有个问题,一哥很想去谈一谈——现在做传统数仓,如何快速转到大数据数据呢?其实一哥知道的很多同事都是从传统数据仓库转到大数据的,今天就结合身边的同事经历来一起分享一下。 一、数据仓库 数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line ...
- 作者 l 李朋波 编辑 l 李朋波 本文目录CONTENTS ☞ 数据质量管理流程 ☞ 数据质量管理工具设计思路 上篇我们主要介绍了以下三部分内容。 第一部分,介绍了五种常见的数据管理知识体系,数据... 作者 l 李朋波 编辑 l 李朋波 本文目录CONTENTS ☞ 数据质量管理流程 ☞ 数据质量管理工具设计思路 上篇我们主要介绍了以下三部分内容。 第一部分,介绍了五种常见的数据管理知识体系,数据...
- 作者:数据一哥 来源:数据社 全文共1700个字,建议6分钟阅读 大家好,我是一哥。 ETL 和 ELT 有很多共同点,从本质上讲,每种集成方法都可以将数据从源端抽取到数据仓库中,两者的区别在于数据在哪里进行转换。 接下来,我们一起详细地分析一下 ETL 和 ELT各自的优缺点,看看在你们现在的业务中用哪种方式... 作者:数据一哥 来源:数据社 全文共1700个字,建议6分钟阅读 大家好,我是一哥。 ETL 和 ELT 有很多共同点,从本质上讲,每种集成方法都可以将数据从源端抽取到数据仓库中,两者的区别在于数据在哪里进行转换。 接下来,我们一起详细地分析一下 ETL 和 ELT各自的优缺点,看看在你们现在的业务中用哪种方式...
- 🍅 作者主页:不吃西红柿 🍅 简介:CSDN博客专家🏆、HDZ核心组成员💪、C站周榜第一✌ 欢迎点赞、收藏、评论 🍅 粉丝专属福利(包邮送书4本,书单里自己选):简历模板、PPT模板、学习资料、面试题库。直接去文末领取 目录 🍅 西红柿-半年文章汇总 🍅 【粉丝福利... 🍅 作者主页:不吃西红柿 🍅 简介:CSDN博客专家🏆、HDZ核心组成员💪、C站周榜第一✌ 欢迎点赞、收藏、评论 🍅 粉丝专属福利(包邮送书4本,书单里自己选):简历模板、PPT模板、学习资料、面试题库。直接去文末领取 目录 🍅 西红柿-半年文章汇总 🍅 【粉丝福利...
- 从本篇文章开始,笔者打算写一个系列的《clickhouse专栏》,其全称是Click Stream,Data WareHouse,简称ClickHouse。从其全称中的“Data WareHouse”,我... 从本篇文章开始,笔者打算写一个系列的《clickhouse专栏》,其全称是Click Stream,Data WareHouse,简称ClickHouse。从其全称中的“Data WareHouse”,我...
- Hive数据仓库的操作: 数据库的创建与删除表的创建,修改,删除表中数据的导入与导出表分区与桶的创建、修改、删除 目录 Hive环境搭建 Hive数据仓库的操作 Hive数据表的操作 Hive中数据的导入与导出 Hive环境搭建 centos安装hive3.1.2(精讲篇)https://bl... Hive数据仓库的操作: 数据库的创建与删除表的创建,修改,删除表中数据的导入与导出表分区与桶的创建、修改、删除 目录 Hive环境搭建 Hive数据仓库的操作 Hive数据表的操作 Hive中数据的导入与导出 Hive环境搭建 centos安装hive3.1.2(精讲篇)https://bl...
- 文章目录 数据仓库 、数据中心相关技术知识和生态相关了解 1、数据仓库 数仓 2、数据... 文章目录 数据仓库 、数据中心相关技术知识和生态相关了解 1、数据仓库 数仓 2、数据...
上滑加载中