- 如今的云音乐已经成为一款大众产品,用户每天来云音乐听歌、看评论、逛社区,这个过程中沉淀下来了海量用户数据。平台现在每天收集处理的用户日志已经达到千亿级别,整个集群处理加工使用的数据总量达到了200PB。解决这么大规模下数据存储、处理、使用中的技术问题,作为一名数据开发首先是感到兴奋,但另一方面更多的数据意味着花费更大硬件支出去做... 如今的云音乐已经成为一款大众产品,用户每天来云音乐听歌、看评论、逛社区,这个过程中沉淀下来了海量用户数据。平台现在每天收集处理的用户日志已经达到千亿级别,整个集群处理加工使用的数据总量达到了200PB。解决这么大规模下数据存储、处理、使用中的技术问题,作为一名数据开发首先是感到兴奋,但另一方面更多的数据意味着花费更大硬件支出去做...
- 本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向,专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据,比如调度任务信息,离线hive表,实时topic,字段信息,存储信息,质量信息... 本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向,专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据,比如调度任务信息,离线hive表,实时topic,字段信息,存储信息,质量信息...
- 大家好,我是一哥~ 数据开发过程中,大家通常都会踩过一些坑,今天给大家分享10条数据开发锦囊,让大家尽量少踩坑,没有关注我的新朋友可以关注下方公众号,加入数据开发群,领取资料。 下面从开发类和业务类两个方面给大家总结几条实用锦囊,建议收藏,如有补充,可以在文末留言~ 开发类 Article 6 关联数据之前,先检查维... 大家好,我是一哥~ 数据开发过程中,大家通常都会踩过一些坑,今天给大家分享10条数据开发锦囊,让大家尽量少踩坑,没有关注我的新朋友可以关注下方公众号,加入数据开发群,领取资料。 下面从开发类和业务类两个方面给大家总结几条实用锦囊,建议收藏,如有补充,可以在文末留言~ 开发类 Article 6 关联数据之前,先检查维...
- 作者 l 李朋波 编辑 l 李朋波 本文目录CONTENTS ☞ 数据质量管理流程 ☞ 数据质量管理工具设计思路 上篇我们主要介绍了以下三部分内容。 第一部分,介绍了五种常见的数据管理知识体系,数据... 作者 l 李朋波 编辑 l 李朋波 本文目录CONTENTS ☞ 数据质量管理流程 ☞ 数据质量管理工具设计思路 上篇我们主要介绍了以下三部分内容。 第一部分,介绍了五种常见的数据管理知识体系,数据...
- 任务1 详解什么是IDC? 互联网数据中心(Internet Data Center)简称IDC,就是电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机 房环境,为企业、政府提供服务器... 任务1 详解什么是IDC? 互联网数据中心(Internet Data Center)简称IDC,就是电信部门利用已有的互联网通信线路、带宽资源,建立标准化的电信专业级机 房环境,为企业、政府提供服务器...
- 【前言】 借助Oracle VM VirtualBox安装虚拟系统Linux 版本: CentOS 6.0 迷你版minimal.iso 需要的工具:CentOS 6.0 迷你版minimal.iso 软件下载:Oracle VM VirtualBox 提前下载好上面的虚拟系统软件和镜像,并且安装好虚拟系统软件Or... 【前言】 借助Oracle VM VirtualBox安装虚拟系统Linux 版本: CentOS 6.0 迷你版minimal.iso 需要的工具:CentOS 6.0 迷你版minimal.iso 软件下载:Oracle VM VirtualBox 提前下载好上面的虚拟系统软件和镜像,并且安装好虚拟系统软件Or...
- 【前言】 接触运维一个月,每次打开都会让我又爱又恨,这次是部署禅道,也是困了我好几天才完成的。 【正文】 登录管理员账号 su - root 查看IP地址 ip addr 查看Linux安装的版本 getconf LONG_BIT 安装wget yum install wget 注意:如果显示already,则代表已... 【前言】 接触运维一个月,每次打开都会让我又爱又恨,这次是部署禅道,也是困了我好几天才完成的。 【正文】 登录管理员账号 su - root 查看IP地址 ip addr 查看Linux安装的版本 getconf LONG_BIT 安装wget yum install wget 注意:如果显示already,则代表已...
- 【前言】 安装好虚拟机,在进行图形化界面设置之前,需要检查是否联网,如果没有联网,则需要获取虚拟机的IP地址,进行配置。 【正文】 步骤一:设置网络连接方式。 (注:如果最后连接不上,就可以换一个界面名称来试试,但是连接方式一定是桥接网卡。) 步骤二:登录管理员账号 步骤三:查看IP地址 ip ad... 【前言】 安装好虚拟机,在进行图形化界面设置之前,需要检查是否联网,如果没有联网,则需要获取虚拟机的IP地址,进行配置。 【正文】 步骤一:设置网络连接方式。 (注:如果最后连接不上,就可以换一个界面名称来试试,但是连接方式一定是桥接网卡。) 步骤二:登录管理员账号 步骤三:查看IP地址 ip ad...
- 【前言】 最近又开始运维的学习了,积累了几个常见的Linux指令,随学随总结吧。 【正文】 wget wget 是Linux中一个下载文件的工具,新安装的Linux中没有这个工具,需要安装。 yum install wget或者是yum -y install wget 需要注意在安装之前要查看虚拟机是否联网。 ping w... 【前言】 最近又开始运维的学习了,积累了几个常见的Linux指令,随学随总结吧。 【正文】 wget wget 是Linux中一个下载文件的工具,新安装的Linux中没有这个工具,需要安装。 yum install wget或者是yum -y install wget 需要注意在安装之前要查看虚拟机是否联网。 ping w...
- 【前言】 在安装可视化图形接界面之前,要确保你安装的虚拟机可以正常运行,并且可以连接网络。如果存在不能连接网络的问题,可以参考我的下一篇博客。 【正文】 安装可视化图形界面 步骤一:登录管理员账号 su - Root 步骤二:检查是否可以联网 方法一: ping www.baidu.com 方法二... 【前言】 在安装可视化图形接界面之前,要确保你安装的虚拟机可以正常运行,并且可以连接网络。如果存在不能连接网络的问题,可以参考我的下一篇博客。 【正文】 安装可视化图形界面 步骤一:登录管理员账号 su - Root 步骤二:检查是否可以联网 方法一: ping www.baidu.com 方法二...
- 【前言】 接触运维已经有一小小段时间了,可是还是会不经意间就被它打败,真的是欲哭无泪。 继上次卡顿到系统崩盘之后,这次是遇到了历史遗留的问题,目前还没有找到解决办法。 【正文】 步骤一:在正式安装NGINX之前需要先准备环境。 执行命令: yum install gcc-c++ yum install pcre pcre... 【前言】 接触运维已经有一小小段时间了,可是还是会不经意间就被它打败,真的是欲哭无泪。 继上次卡顿到系统崩盘之后,这次是遇到了历史遗留的问题,目前还没有找到解决办法。 【正文】 步骤一:在正式安装NGINX之前需要先准备环境。 执行命令: yum install gcc-c++ yum install pcre pcre...
- 简介:80%的软件环境管理问题,根因都在这里,云效云原生应用管理平台AppStack正是基于OAM的应用交付平台,企业在云效AppStack,可以通过应用编排、占位符、变量等声明式定义,实现一套编排多环境差异化部署,同时基于版本和基线实现环境一键拉起、一键回滚。 软件交付的终态是提供稳定可预期的系统,要做到这一点,我们需要确保:一... 简介:80%的软件环境管理问题,根因都在这里,云效云原生应用管理平台AppStack正是基于OAM的应用交付平台,企业在云效AppStack,可以通过应用编排、占位符、变量等声明式定义,实现一套编排多环境差异化部署,同时基于版本和基线实现环境一键拉起、一键回滚。 软件交付的终态是提供稳定可预期的系统,要做到这一点,我们需要确保:一...
- 本文来自百度知道,由李东辉整理 Docker的思想来自于集装箱,集装箱解决了什么问题?在一艘大船上,可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了,集装箱和 集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的,那我就可以用一艘大船把他们都运 走。... 本文来自百度知道,由李东辉整理 Docker的思想来自于集装箱,集装箱解决了什么问题?在一艘大船上,可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了,集装箱和 集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的,那我就可以用一艘大船把他们都运 走。...
- 知识是学不完的,学多了反而会让自己进入死胡同。 就拿运维这个行业来举例: 2012年,你只需要会zabbix安装就可以入职。 2014年,你需要会zabbix,也要会docker 2016年, 在... 知识是学不完的,学多了反而会让自己进入死胡同。 就拿运维这个行业来举例: 2012年,你只需要会zabbix安装就可以入职。 2014年,你需要会zabbix,也要会docker 2016年, 在...
- 这几天一直有小伙伴过来咨询,总结下来后,你发现都是这种问题: 我要是学习运维,学完能找到工作吗?(目前还没开始学习) 我学完后入职公司,会不会因为没有工作经验被开除了?(目前还没开始学习) 听朋友说... 这几天一直有小伙伴过来咨询,总结下来后,你发现都是这种问题: 我要是学习运维,学完能找到工作吗?(目前还没开始学习) 我学完后入职公司,会不会因为没有工作经验被开除了?(目前还没开始学习) 听朋友说...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签