- 大家好,我是峰哥~ 上周给大家做了一期直播,数据看着还不错!总计用367人观看。 上次直播回放可以在这看「直播回放」数仓如何落地 这周想起来之前老彭给我发的一个消息。 看来这个话题还真是受大家欢迎,同时也是自己经历过的一些项目总结出来的经验,就想着今天给大家讲一讲。 其实,很早关注我的读者都知道,我最早是发数据分... 大家好,我是峰哥~ 上周给大家做了一期直播,数据看着还不错!总计用367人观看。 上次直播回放可以在这看「直播回放」数仓如何落地 这周想起来之前老彭给我发的一个消息。 看来这个话题还真是受大家欢迎,同时也是自己经历过的一些项目总结出来的经验,就想着今天给大家讲一讲。 其实,很早关注我的读者都知道,我最早是发数据分...
- 大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发,大数据价值在越来越多的场景中被挖掘,随着大家都在使用欧冠大数据,大数据平台的搭建门槛也越来越低。借助开源的力量,任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同... 大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发,大数据价值在越来越多的场景中被挖掘,随着大家都在使用欧冠大数据,大数据平台的搭建门槛也越来越低。借助开源的力量,任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同...
- 目前大数据平台经常会用来跑一些批任务,跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据,定时跑hive/spark任务,定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 记得第一次参与大数据平台从无到有的搭建,最开始任务... 目前大数据平台经常会用来跑一些批任务,跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据,定时跑hive/spark任务,定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 记得第一次参与大数据平台从无到有的搭建,最开始任务...
- 本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向,专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据,比如调度任务信息,离线hive表,实时topic,字段信息,存储信息,质量信息... 本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向,专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据,比如调度任务信息,离线hive表,实时topic,字段信息,存储信息,质量信息...
- 全文共3735个字,建议8分钟阅读 近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致业务层难以直接利用大数据大数据,大数据和业务... 全文共3735个字,建议8分钟阅读 近年来,随着IT技术与大数据、机器学习、算法方向的不断发展,越来越多的企业都意识到了数据存在的价值,将数据作为自身宝贵的资产进行管理,利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失,会导致业务层难以直接利用大数据大数据,大数据和业务...
- 编辑:数据社,作者:数据一哥 全文共2531个字,建议阅读7分钟 大家好, 我是一哥 ,曾经那一晚经历过一次大数据平台迁移,回想起来历历在目! 01 背景 大数据集群迁移这件事,不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上,我指的是整个数据处理平台与相关的前台业务... 编辑:数据社,作者:数据一哥 全文共2531个字,建议阅读7分钟 大家好, 我是一哥 ,曾经那一晚经历过一次大数据平台迁移,回想起来历历在目! 01 背景 大数据集群迁移这件事,不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上,我指的是整个数据处理平台与相关的前台业务...
- 作者:明哥 来源:明哥的IT随笔 全文共2468个字,建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中,我们描述了 CDH/HDP/CDP 等大数据平台中如... 作者:明哥 来源:明哥的IT随笔 全文共2468个字,建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中,我们描述了 CDH/HDP/CDP 等大数据平台中如...
- 大家好,我是峰哥~ 上上周日给大家做了第二次直播,数据看着比第一次有提升!总计用467人观看,比第一次直播人数增加了100人,这个增长还是很满意的,同时在本次直播中送了书籍和红包~ 直播回放已经上传,点击可以观看! 本次直播完整版的PPT如下: ... 大家好,我是峰哥~ 上上周日给大家做了第二次直播,数据看着比第一次有提升!总计用467人观看,比第一次直播人数增加了100人,这个增长还是很满意的,同时在本次直播中送了书籍和红包~ 直播回放已经上传,点击可以观看! 本次直播完整版的PPT如下: ...
- 初级工程师的困惑 曾经有公众号的小伙伴后台联系我,咨询一些问题。有一个粉丝问过这样一个问题: 群主,向你请教一个困扰我很久的问题,从毕业到现在,我一直从事大数据平台开发d的工作,主要是搭建CDH周边产品,并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作,但就是离业务太远了,很少了解用户到底需要怎么的BI产品和... 初级工程师的困惑 曾经有公众号的小伙伴后台联系我,咨询一些问题。有一个粉丝问过这样一个问题: 群主,向你请教一个困扰我很久的问题,从毕业到现在,我一直从事大数据平台开发d的工作,主要是搭建CDH周边产品,并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作,但就是离业务太远了,很少了解用户到底需要怎么的BI产品和...
- 大家好,我是一哥,我在18年的时候刚好经历过一次机房的数据迁移,之前也给大家分享给 → 你经历过完整的大数据平台迁移吗?,今天看到B站的这个方案,推荐给大家~ 01 背景 随着B站业务的高速发展,业务数据的生产速度变得越来越快,离线集群规模快速膨胀,既有机房内的机位急剧消耗,在可预见的不久的将来会达到机房容量上限,阻... 大家好,我是一哥,我在18年的时候刚好经历过一次机房的数据迁移,之前也给大家分享给 → 你经历过完整的大数据平台迁移吗?,今天看到B站的这个方案,推荐给大家~ 01 背景 随着B站业务的高速发展,业务数据的生产速度变得越来越快,离线集群规模快速膨胀,既有机房内的机位急剧消耗,在可预见的不久的将来会达到机房容量上限,阻...
- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》,今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的,运用HDFS作为数据存储,计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道,没有大数据之前,我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》,今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的,运用HDFS作为数据存储,计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道,没有大数据之前,我们计算平台基本是依赖数据...
- 摘要 本次分享将结合多个大数据项目与产品研发的经验,探讨如何基于不同的需求场景搭建通用的大数据平台。内容涵盖数据采集、存储与分析处理等多方面的主流技术、架构决策与技术选型的经验教训。 大咖演讲视频 http://t.cn/R9xaSOB 大数据平台内容 数据源往往是在业务系统上,大多数做数据分... 摘要 本次分享将结合多个大数据项目与产品研发的经验,探讨如何基于不同的需求场景搭建通用的大数据平台。内容涵盖数据采集、存储与分析处理等多方面的主流技术、架构决策与技术选型的经验教训。 大咖演讲视频 http://t.cn/R9xaSOB 大数据平台内容 数据源往往是在业务系统上,大多数做数据分...
- 文章目录 一、环境说明二、在ubuntu节点上安装Docker(一)安装必要系统工具(二)安装GPG证书(三)写入软件源信息(四)更新apt源(五)查看Docker-CE全部版本(六)安装Dock... 文章目录 一、环境说明二、在ubuntu节点上安装Docker(一)安装必要系统工具(二)安装GPG证书(三)写入软件源信息(四)更新apt源(五)查看Docker-CE全部版本(六)安装Dock...
- 之前做过一个大数据离线数仓项目,然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方... 之前做过一个大数据离线数仓项目,然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...
- 进入华为的一年多里,经常会有同事好奇地问我,你为什么来华为? 在来华为前,我是一名高校的老师,研究方向主要偏向大数据处理系统。相比纯理论研究,我发现自己对新技术快速落地更感兴趣。于是,我从学术界来到工业界——到了华为。 开启区块链探索之路近年,区块链俨然站在风口浪尖上,被业界认为可能改变众多行业的商业模式。总结来说,区块链是多种已有技术的集成创新,主要解决多方信任与高效协同问题。数据以区块(... 进入华为的一年多里,经常会有同事好奇地问我,你为什么来华为? 在来华为前,我是一名高校的老师,研究方向主要偏向大数据处理系统。相比纯理论研究,我发现自己对新技术快速落地更感兴趣。于是,我从学术界来到工业界——到了华为。 开启区块链探索之路近年,区块链俨然站在风口浪尖上,被业界认为可能改变众多行业的商业模式。总结来说,区块链是多种已有技术的集成创新,主要解决多方信任与高效协同问题。数据以区块(...
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/14 周二 16:30-18:00
张俭 华为云IoT DTSE技术布道师
作为开发者的你是否也想加入开源社区?本期物联网平台资深“程序猿”,开源专家张俭,为你揭秘华为云IoT如何借助开源构建可靠、开放、易用的物联网平台,并手把手教你玩转开源社区!
去报名
热门标签