- 作为全球首款基于NVIDIA Grace Blackwell架构的个人AI超级计算机，DGX Spark将工业级的AI性能带入您的私人工作空间，让您从原型设计到大规模部署，实现真正的无缝衔接。 作为全球首款基于NVIDIA Grace Blackwell架构的个人AI超级计算机，DGX Spark将工业级的AI性能带入您的私人工作空间，让您从原型设计到大规模部署，实现真正的无缝衔接。
- 数据湖不是湖，是江湖：Delta Lake / Iceberg / Hudi 到底该选谁？很多同学一上来就问我一句话灵魂拷问：Echo，Delta、Iceberg、Hudi，我到底该用哪个？现在不用是不是就“落后”了？说实话，这问题就跟问我：MySQL、PostgreSQL、MongoDB，哪个最好？——答案永远是：看你干啥。今天这篇文章，我不打算给你一个“标准答案”，而是想帮你建立一个选... 数据湖不是湖，是江湖：Delta Lake / Iceberg / Hudi 到底该选谁？很多同学一上来就问我一句话灵魂拷问：Echo，Delta、Iceberg、Hudi，我到底该用哪个？现在不用是不是就“落后”了？说实话，这问题就跟问我：MySQL、PostgreSQL、MongoDB，哪个最好？——答案永远是：看你干啥。今天这篇文章，我不打算给你一个“标准答案”，而是想帮你建立一个选...
- Airflow 做 ETL，真不是“排个 DAG 就完事儿”：那些年我踩过的坑与悟出的道 Airflow 做 ETL，真不是“排个 DAG 就完事儿”：那些年我踩过的坑与悟出的道
- Spark 批处理调优这点事：资源怎么要、Shuffle 怎么省、序列化怎么选？我用这些年踩过的坑告诉你 Spark 批处理调优这点事：资源怎么要、Shuffle 怎么省、序列化怎么选？我用这些年踩过的坑告诉你
- Parquet 和 ORC 到底有啥区别？别再云里雾里了，咱今天把列式存储聊明白！ Parquet 和 ORC 到底有啥区别？别再云里雾里了，咱今天把列式存储聊明白！
- 在“数据即石油”的时代，企业每天产生的数据量以TB甚至PB计。然而，原始数据本身并无价值——它如同深埋地下的原油，唯有经过开采、提炼与精制，才能转化为驱动业务增长的燃料。这一转化过程，离不开三大核心技术支柱：大数据处理框架（如 Hadoop 与 Spark）、灵活的数据存储模型（SQL 与 NoSQL），以及高效的数据可视化能力。它们分别对应着数据的“炼油厂”、“储油罐”与“仪表盘”，共同构... 在“数据即石油”的时代，企业每天产生的数据量以TB甚至PB计。然而，原始数据本身并无价值——它如同深埋地下的原油，唯有经过开采、提炼与精制，才能转化为驱动业务增长的燃料。这一转化过程，离不开三大核心技术支柱：大数据处理框架（如 Hadoop 与 Spark）、灵活的数据存储模型（SQL 与 NoSQL），以及高效的数据可视化能力。它们分别对应着数据的“炼油厂”、“储油罐”与“仪表盘”，共同构...
- 随着物联网设备的普及，海量时序数据的采集与分析需求日益增长。本文围绕 时序数据库→Hadoop分布式计算→机器学习建模→预测分析→数据可视化 的技术链路，详细阐述如何构建一套完整的智能预测系统。通过对比不同技术选型的性能差异，结合实际业务场景优化参数，最终实现从数据接入到决策支持的全流程闭环。本方案特别适用于工业设备预测性维护、能源消耗优化等场景，可显著提升数据分析效率与预测准确率。 一、引... 随着物联网设备的普及，海量时序数据的采集与分析需求日益增长。本文围绕 时序数据库→Hadoop分布式计算→机器学习建模→预测分析→数据可视化 的技术链路，详细阐述如何构建一套完整的智能预测系统。通过对比不同技术选型的性能差异，结合实际业务场景优化参数，最终实现从数据接入到决策支持的全流程闭环。本方案特别适用于工业设备预测性维护、能源消耗优化等场景，可显著提升数据分析效率与预测准确率。 一、引...
- 在电商平台大促期间，我曾遇到一个棘手问题：用户行为分析任务在纯Hadoop MapReduce 上耗时长达6小时，而业务方要求实时生成推荐模型。这让我深刻意识到，孤立使用Hadoop组件如同单兵作战，唯有构建协同生态才能突破性能瓶颈。经过三次架构迭代，我们最终通过Hadoop、Spark、HBase的深度集成，将任务耗时压缩至23分钟。本文将结合实战经验，分享如何让这些组件真正“协同”而非“... 在电商平台大促期间，我曾遇到一个棘手问题：用户行为分析任务在纯Hadoop MapReduce 上耗时长达6小时，而业务方要求实时生成推荐模型。这让我深刻意识到，孤立使用Hadoop组件如同单兵作战，唯有构建协同生态才能突破性能瓶颈。经过三次架构迭代，我们最终通过Hadoop、Spark、HBase的深度集成，将任务耗时压缩至23分钟。本文将结合实战经验，分享如何让这些组件真正“协同”而非“...
- 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.7 Spark的任务调度 3.7.1 DAG的概念 3.7.2 RDD在Spark中的运行流程 总结 每日一句正能量成功的速度一定要超过父母老去的速度，努力吧。做事不必与俗同，亦不与俗异；做事不必令人喜，亦不令人憎。若我白发苍苍，容颜迟暮，你会不会，依旧如此，牵我双手，倾世温柔。 第3章 Spark RDD弹性分... 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.7 Spark的任务调度 3.7.1 DAG的概念 3.7.2 RDD在Spark中的运行流程 总结 每日一句正能量成功的速度一定要超过父母老去的速度，努力吧。做事不必与俗同，亦不与俗异；做事不必令人喜，亦不令人憎。若我白发苍苍，容颜迟暮，你会不会，依旧如此，牵我双手，倾世温柔。 第3章 Spark RDD弹性分...
- 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.6 RDD机制 3.6.1 持久化机制 3.6.2 容错机制 总结 每日一句正能量勤奋踏实，诚实守信。我始终相信我读过的所有书都不会白读，它总会在未来日子的某一个场合帮助我表现得更出色，读书是可以给人以力量的，它更能给人快乐。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自... 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.6 RDD机制 3.6.1 持久化机制 3.6.2 容错机制 总结 每日一句正能量勤奋踏实，诚实守信。我始终相信我读过的所有书都不会白读，它总会在未来日子的某一个场合帮助我表现得更出色，读书是可以给人以力量的，它更能给人快乐。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自...
- 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.4 RDD的分区 3.5 RDD的依赖关系 后记 每日一句正能量书籍是最好的朋友。当生活中遇到任何困难的时候，你都能够向它求助，它永远不会背弃你。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得... 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.4 RDD的分区 3.5 RDD的依赖关系 后记 每日一句正能量书籍是最好的朋友。当生活中遇到任何困难的时候，你都能够向它求助，它永远不会背弃你。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得...
- 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.3 RDD的处理过程 3.3.1 转换算子 3.3.2 行动算子 3.3.3 编写WordCount词频统计案例 每日一句正能量人生很长，不必慌张。你未长大，我要担当。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循... 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.3 RDD的处理过程 3.3.1 转换算子 3.3.2 行动算子 3.3.3 编写WordCount词频统计案例 每日一句正能量人生很长，不必慌张。你未长大，我要担当。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循...
- 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.1 RDD简介 3.2 RDD的创建方式 3.2.1 从文件系统加载数据创建RDD 3.2.2 通过并行集合创建RDD 每日一句正能量学如积薪，后来者居上。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流... 每日一句正能量 第3章 Spark RDD弹性分布式数据集 章节概要 3.1 RDD简介 3.2 RDD的创建方式 3.2.1 从文件系统加载数据创建RDD 3.2.2 通过并行集合创建RDD 每日一句正能量学如积薪，后来者居上。 第3章 Spark RDD弹性分布式数据集 章节概要传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流...
- 每日一句正能量 2.6 IDEA开发WordCount程序 2.6.1 本地模式执行Spark程序 2.6.2 集群模式执行Spark程序 每日一句正能量我们全都要从前辈和同辈学习到一些东西。就连最大的天才，如果想单凭他所特有的内在自我去对付一切，他也决不会有多大成就。 2.6 IDEA开发WordCount程序Spark-Shell通常在测试和验证我们的程序时使用的较多，然而在生产环境中... 每日一句正能量 2.6 IDEA开发WordCount程序 2.6.1 本地模式执行Spark程序 2.6.2 集群模式执行Spark程序 每日一句正能量我们全都要从前辈和同辈学习到一些东西。就连最大的天才，如果想单凭他所特有的内在自我去对付一切，他也决不会有多大成就。 2.6 IDEA开发WordCount程序Spark-Shell通常在测试和验证我们的程序时使用的较多，然而在生产环境中...
- 每日一句正能量 前言 2.5 启动Spark-Shell 2.5.1 运行Spark-Shell命令 2.5.2 运行Spark-Shell读取HDFS文件 后记 每日一句正能量成长是一条必走的路路上我们伤痛在所难免。 前言在大数据处理和分析领域，Spark被广泛应用于解决海量数据处理和实时计算的挑战。作为一个快速、可扩展且易于使用的分布式计算框架，Spark为开发人员提供了丰富的A... 每日一句正能量 前言 2.5 启动Spark-Shell 2.5.1 运行Spark-Shell命令 2.5.2 运行Spark-Shell读取HDFS文件 后记 每日一句正能量成长是一条必走的路路上我们伤痛在所难免。 前言在大数据处理和分析领域，Spark被广泛应用于解决海量数据处理和实时计算的挑战。作为一个快速、可扩展且易于使用的分布式计算框架，Spark为开发人员提供了丰富的A...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签