- 作者：数据一哥 编辑：数据一哥 全文共1156个字，建议阅读4分钟 大家好，我是一哥。 2022年数据平台的风口到底在哪？今天看到了一个消息，Starburst 这家公司上周融资了2.5亿美元，最新估值达到33.5亿美元！ 也许你没听说过这家公司，但你一定听说过过Presto！大家都是在Presto是Fac... 作者：数据一哥 编辑：数据一哥 全文共1156个字，建议阅读4分钟 大家好，我是一哥。 2022年数据平台的风口到底在哪？今天看到了一个消息，Starburst 这家公司上周融资了2.5亿美元，最新估值达到33.5亿美元！ 也许你没听说过这家公司，但你一定听说过过Presto！大家都是在Presto是Fac...
- 「数仓宝贝库」，带你学数据！ 导读：腾讯作为国内体量最大的互联网公司之一，业务涵盖用户日常生活的方方面面，面对如此巨大业务数据量，如果不能对数据进行专业化处理并高效有序地存、管、用，如果不能使数据产生应有的价值，那么数据资产将会成为数据垃圾，成为社会和企业的负担。 大数据平台作为腾讯底层的基础设施之一，每天必须处理千万级规模的离... 「数仓宝贝库」，带你学数据！ 导读：腾讯作为国内体量最大的互联网公司之一，业务涵盖用户日常生活的方方面面，面对如此巨大业务数据量，如果不能对数据进行专业化处理并高效有序地存、管、用，如果不能使数据产生应有的价值，那么数据资产将会成为数据垃圾，成为社会和企业的负担。 大数据平台作为腾讯底层的基础设施之一，每天必须处理千万级规模的离...
- 目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 记得第一次参与大数据平台从无到有的搭建，最开始任务... 目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 记得第一次参与大数据平台从无到有的搭建，最开始任务...
- 大家好！今天给大家一个我的老朋友：「一个数据人的自留地」，数据人自留地是一个集数据产品、数据分析、数据仓库、产品策略与一体的数据人专属社群。创始人大鹏老师，拥有8年的数据经验，现在是人人都是产品经理专栏作家，起点学院导师，著有《数据产品经理修炼手册》，累计销量突破三万册。数据人自留地团队共同创作的书籍《大数据实践之路》入选京东技术... 大家好！今天给大家一个我的老朋友：「一个数据人的自留地」，数据人自留地是一个集数据产品、数据分析、数据仓库、产品策略与一体的数据人专属社群。创始人大鹏老师，拥有8年的数据经验，现在是人人都是产品经理专栏作家，起点学院导师，著有《数据产品经理修炼手册》，累计销量突破三万册。数据人自留地团队共同创作的书籍《大数据实践之路》入选京东技术...
- 全文共3735个字，建议8分钟阅读 近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务... 全文共3735个字，建议8分钟阅读 近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务...
- 大家好，我是一哥~ 之前很多人在群里问大数据的几个岗位有什么区别，也写过一篇文章说明每个岗位的工作和技能「原创」大数据岗位总结和相关书籍推荐。今天在知乎上看到一个不出的帖子，也给大家分享一下~ 关于BI工程师、数据仓库工程师、ETL工程师、数据开发工程师（大数据开发工程师） ，到底有什么区别？ 01 从工作内容来说 BI... 大家好，我是一哥~ 之前很多人在群里问大数据的几个岗位有什么区别，也写过一篇文章说明每个岗位的工作和技能「原创」大数据岗位总结和相关书籍推荐。今天在知乎上看到一个不出的帖子，也给大家分享一下~ 关于BI工程师、数据仓库工程师、ETL工程师、数据开发工程师（大数据开发工程师） ，到底有什么区别？ 01 从工作内容来说 BI...
- 编辑：数据社，作者：数据一哥 全文共2531个字，建议阅读7分钟 大家好， 我是一哥 ，曾经那一晚经历过一次大数据平台迁移，回想起来历历在目！ 01 背景 大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务... 编辑：数据社，作者：数据一哥 全文共2531个字，建议阅读7分钟 大家好， 我是一哥 ，曾经那一晚经历过一次大数据平台迁移，回想起来历历在目！ 01 背景 大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务...
- 作者：明哥 来源：明哥的IT随笔 全文共2468个字，建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中，我们描述了 CDH/HDP/CDP 等大数据平台中如... 作者：明哥 来源：明哥的IT随笔 全文共2468个字，建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中，我们描述了 CDH/HDP/CDP 等大数据平台中如...
- 大家好，我是峰哥~ 上上周日给大家做了第二次直播，数据看着比第一次有提升！总计用467人观看，比第一次直播人数增加了100人，这个增长还是很满意的，同时在本次直播中送了书籍和红包~ 直播回放已经上传，点击可以观看！ 本次直播完整版的PPT如下： ... 大家好，我是峰哥~ 上上周日给大家做了第二次直播，数据看着比第一次有提升！总计用467人观看，比第一次直播人数增加了100人，这个增长还是很满意的，同时在本次直播中送了书籍和红包~ 直播回放已经上传，点击可以观看！ 本次直播完整版的PPT如下： ...
- 引言：大家好，我是小枣君。今天这篇文章，我们来聊聊存储。说到存储，大家都会想到硬盘。硬盘其实，存储既是一个微观的概念，也是一个宏观的概念。微观上来说，它就是指的数据存储、计算机存储、硬盘存储。而宏观上呢，所有物品、信息的保管和保存，皆可称为存储。人类文明的发展史，其实就是建立在存储技术的演进之上的。在远古时期，早期人类通过结绳记事、龟甲兽骨，点燃了人类文明的火种。后来，随着工艺... 引言：大家好，我是小枣君。今天这篇文章，我们来聊聊存储。说到存储，大家都会想到硬盘。硬盘其实，存储既是一个微观的概念，也是一个宏观的概念。微观上来说，它就是指的数据存储、计算机存储、硬盘存储。而宏观上呢，所有物品、信息的保管和保存，皆可称为存储。人类文明的发展史，其实就是建立在存储技术的演进之上的。在远古时期，早期人类通过结绳记事、龟甲兽骨，点燃了人类文明的火种。后来，随着工艺...
- 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和... 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和...
- 作者：数据一哥 来源：数据社 全文共3547个字，建议10分钟阅读 大家好，我是一哥。 最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。 01 大数据有哪些相关岗位 要学习大数据，首先我们得了解一下都有哪些大数据相... 作者：数据一哥 来源：数据社 全文共3547个字，建议10分钟阅读 大家好，我是一哥。 最近有几个群友问我大数据怎么入门，作为一个零基础大数据入门学习者该看哪些书呢？我结合自己看过的书和了解到的比较好的数据，给大家分享一下。 01 大数据有哪些相关岗位 要学习大数据，首先我们得了解一下都有哪些大数据相...
- 作者：数据一哥 来源：数据社 全文共1629个字，建议5分钟阅读 01 什么是大数据采集 数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结构化的数据进行采集，我们必须要有一套完整的数据采集方... 作者：数据一哥 来源：数据社 全文共1629个字，建议5分钟阅读 01 什么是大数据采集 数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结构化的数据进行采集，我们必须要有一套完整的数据采集方...
- 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发... 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发...
- 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻... 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
正在直播
热门标签