- 本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向，专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据，比如调度任务信息，离线hive表，实时topic，字段信息，存储信息，质量信息... 本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向，专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据，比如调度任务信息，离线hive表，实时topic，字段信息，存储信息，质量信息...
- 全文共3735个字，建议8分钟阅读 近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务... 全文共3735个字，建议8分钟阅读 近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务...
- 编辑：数据社，作者：数据一哥 全文共2531个字，建议阅读7分钟 大家好， 我是一哥 ，曾经那一晚经历过一次大数据平台迁移，回想起来历历在目！ 01 背景 大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务... 编辑：数据社，作者：数据一哥 全文共2531个字，建议阅读7分钟 大家好， 我是一哥 ，曾经那一晚经历过一次大数据平台迁移，回想起来历历在目！ 01 背景 大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务...
- 作者：明哥 来源：明哥的IT随笔 全文共2468个字，建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中，我们描述了 CDH/HDP/CDP 等大数据平台中如... 作者：明哥 来源：明哥的IT随笔 全文共2468个字，建议7分钟阅读 1. CDH/HDP/CDP 等大数据平台中如何快速应对 LOG4J2 的JNDI系列漏洞 在前段时间发表的博文 “CDH/HDP/CDP等大数据平台中如何快速应对LOG4J的JNDI系列漏洞” 中，我们描述了 CDH/HDP/CDP 等大数据平台中如...
- 大家好，我是峰哥~ 上上周日给大家做了第二次直播，数据看着比第一次有提升！总计用467人观看，比第一次直播人数增加了100人，这个增长还是很满意的，同时在本次直播中送了书籍和红包~ 直播回放已经上传，点击可以观看！ 本次直播完整版的PPT如下： ... 大家好，我是峰哥~ 上上周日给大家做了第二次直播，数据看着比第一次有提升！总计用467人观看，比第一次直播人数增加了100人，这个增长还是很满意的，同时在本次直播中送了书籍和红包~ 直播回放已经上传，点击可以观看！ 本次直播完整版的PPT如下： ...
- 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和... 初级工程师的困惑 曾经有公众号的小伙伴后台联系我，咨询一些问题。有一个粉丝问过这样一个问题： 群主，向你请教一个困扰我很久的问题，从毕业到现在，我一直从事大数据平台开发d的工作，主要是搭建CDH周边产品，并在基础上开发一些BI产品和内部的分析系统。我很喜欢这份工作，但就是离业务太远了，很少了解用户到底需要怎么的BI产品和...
- 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻... 大家好，我是一哥，我在18年的时候刚好经历过一次机房的数据迁移，之前也给大家分享给 → 你经历过完整的大数据平台迁移吗？，今天看到B站的这个方案，推荐给大家~ 01 背景 随着B站业务的高速发展，业务数据的生产速度变得越来越快，离线集群规模快速膨胀，既有机房内的机位急剧消耗，在可预见的不久的将来会达到机房容量上限，阻...
- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- 摘要 本次分享将结合多个大数据项目与产品研发的经验，探讨如何基于不同的需求场景搭建通用的大数据平台。内容涵盖数据采集、存储与分析处理等多方面的主流技术、架构决策与技术选型的经验教训。 大咖演讲视频 http://t.cn/R9xaSOB 大数据平台内容 数据源往往是在业务系统上，大多数做数据分... 摘要 本次分享将结合多个大数据项目与产品研发的经验，探讨如何基于不同的需求场景搭建通用的大数据平台。内容涵盖数据采集、存储与分析处理等多方面的主流技术、架构决策与技术选型的经验教训。 大咖演讲视频 http://t.cn/R9xaSOB 大数据平台内容 数据源往往是在业务系统上，大多数做数据分...
- 文章目录 一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock... 文章目录 一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock...
- 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方... 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...
- 进入华为的一年多里，经常会有同事好奇地问我，你为什么来华为？ 在来华为前，我是一名高校的老师,研究方向主要偏向大数据处理系统。相比纯理论研究，我发现自己对新技术快速落地更感兴趣。于是，我从学术界来到工业界——到了华为。 开启区块链探索之路近年，区块链俨然站在风口浪尖上，被业界认为可能改变众多行业的商业模式。总结来说，区块链是多种已有技术的集成创新，主要解决多方信任与高效协同问题。数据以区块（... 进入华为的一年多里，经常会有同事好奇地问我，你为什么来华为？ 在来华为前，我是一名高校的老师,研究方向主要偏向大数据处理系统。相比纯理论研究，我发现自己对新技术快速落地更感兴趣。于是，我从学术界来到工业界——到了华为。 开启区块链探索之路近年，区块链俨然站在风口浪尖上，被业界认为可能改变众多行业的商业模式。总结来说，区块链是多种已有技术的集成创新，主要解决多方信任与高效协同问题。数据以区块（...
- 设计器中包含一个文本编辑器，方便用户对模板进行查看和编辑。编辑器同时支持yaml和json的语法格式。俗话说得好，不支持快捷键的编辑器不是一个好的编辑器。下面就列举了一下编辑器支持的快捷键，供大家参考：WindowsMac操作Alt-EF4显示下一个错误信息Alt-Shift-EShift-F4显示上一个错误信息Ctrl-CCommand-C复制Ctrl-VCommand-V粘贴Ctrl-X... 设计器中包含一个文本编辑器，方便用户对模板进行查看和编辑。编辑器同时支持yaml和json的语法格式。俗话说得好，不支持快捷键的编辑器不是一个好的编辑器。下面就列举了一下编辑器支持的快捷键，供大家参考：WindowsMac操作Alt-EF4显示下一个错误信息Alt-Shift-EShift-F4显示上一个错误信息Ctrl-CCommand-C复制Ctrl-VCommand-V粘贴Ctrl-X...
- 6月29日 华为云技术私享会北京站-华为云·区块链·论道活动已经顺利结束，为了方便大家回顾下载当天私享会的会场资料，小编汇总整理当天资料， 欢迎大家阅读下载。 6月29日 华为云技术私享会北京站-华为云·区块链·论道活动已经顺利结束，为了方便大家回顾下载当天私享会的会场资料，小编汇总整理当天资料， 欢迎大家阅读下载。
- 2018年5月16日 华为云技术私享会南京站-华为云应用服务&DevCloud技术介绍与实践专场汇聚多位技术大咖，与您一同分享业界最新的技术并详细剖析相关技术内幕，如下是小编整理的会场资料附件，欢迎下载学习！ 2018年5月16日 华为云技术私享会南京站-华为云应用服务&DevCloud技术介绍与实践专场汇聚多位技术大咖，与您一同分享业界最新的技术并详细剖析相关技术内幕，如下是小编整理的会场资料附件，欢迎下载学习！
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
即将直播 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签