- 每日一句正能量 第2章 Spark基础 章节概要 2.1 初识Spark 2.1.1 Spark概述 2.1.2 Spark的特点 2.1.3 Spark应用场景 2.1.4 Spark与Hadoop对比 每日一句正能量宁愿跑起来被拌倒无数次，也不愿规规矩矩走一辈子，就算跌倒也要豪迈的笑。 第2章 Spark基础 章节概要Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室... 每日一句正能量 第2章 Spark基础 章节概要 2.1 初识Spark 2.1.1 Spark概述 2.1.2 Spark的特点 2.1.3 Spark应用场景 2.1.4 Spark与Hadoop对比 每日一句正能量宁愿跑起来被拌倒无数次，也不愿规规矩矩走一辈子，就算跌倒也要豪迈的笑。 第2章 Spark基础 章节概要Spark于2009年诞生于美国加州大学伯克利分校的AMP实验室...
- 每日一句正能量 1.3 Scala的数据结构 1.3.1 数组 数组的遍历 数组转换 1.3.2 元组 创建元组 获取元组中的值 拉链操作 1.3.3 集合 List Set Map 每日一句正能量很多时候，一个人选择了行走，不是因为欲望，也并非诱惑，他仅仅是听到了自己内心的声音。 1.3 Scala的数据结构对于每一门编程语言来说，数组（Array）都是重要的数据结构之一，主要用来存... 每日一句正能量 1.3 Scala的数据结构 1.3.1 数组 数组的遍历 数组转换 1.3.2 元组 创建元组 获取元组中的值 拉链操作 1.3.3 集合 List Set Map 每日一句正能量很多时候，一个人选择了行走，不是因为欲望，也并非诱惑，他仅仅是听到了自己内心的声音。 1.3 Scala的数据结构对于每一门编程语言来说，数组（Array）都是重要的数据结构之一，主要用来存...
- 每日一句正能量 章节概要 1.2 Scala的基础语法 1.2.1 声明值和变量 1.2.2 数据类型 1.2.3 算术和操作符重载 1.2.4 控制结构语句 1.2.5 方法和函数 每日一句正能量人类先发明了旅行，然后又不停地追问，旅行的意义。其实，世间所有的相遇，不是久别重逢，就是后悔莫及。人生如旅，简单点，你打得赢怪物，就收得到礼物。 章节概要Spark是专为大规模数据处理而设计的... 每日一句正能量 章节概要 1.2 Scala的基础语法 1.2.1 声明值和变量 1.2.2 数据类型 1.2.3 算术和操作符重载 1.2.4 控制结构语句 1.2.5 方法和函数 每日一句正能量人类先发明了旅行，然后又不停地追问，旅行的意义。其实，世间所有的相遇，不是久别重逢，就是后悔莫及。人生如旅，简单点，你打得赢怪物，就收得到礼物。 章节概要Spark是专为大规模数据处理而设计的...
- 向量数据库的兴起，尤其是在 AI、机器学习及推荐系统中的广泛应用，标志着我们对数据查询能力的新要求。向量数据库适用于高维数据的相似性搜索，比如图像特征、文本嵌入等，它能快速、高效地从大规模数据集中找到与目标向量相似的对象。在现有的大数据生态系统中，Hadoop 和 Spark 是两个重要的基础框架，它们被广泛用于数据存储和计算任务。1. Hadoop 和 Spark 的角色及特点Hadoop... 向量数据库的兴起，尤其是在 AI、机器学习及推荐系统中的广泛应用，标志着我们对数据查询能力的新要求。向量数据库适用于高维数据的相似性搜索，比如图像特征、文本嵌入等，它能快速、高效地从大规模数据集中找到与目标向量相似的对象。在现有的大数据生态系统中，Hadoop 和 Spark 是两个重要的基础框架，它们被广泛用于数据存储和计算任务。1. Hadoop 和 Spark 的角色及特点Hadoop...
- 通过本案例，开发者通过Hadoop、Spark对基于商品的信息做一些推荐的案例，可以掌握包括组件的安装，工程的创建、编译和运行。 通过本案例，开发者通过Hadoop、Spark对基于商品的信息做一些推荐的案例，可以掌握包括组件的安装，工程的创建、编译和运行。
- 完善DLI全链生态操作指导、速通资源池基本概念、一图秒懂权限原理知识、详析API参数说明，DLI帮助文档硬核升级。 了解更多DLI帮助文档详细内容▶▷▶立即访问：https://support.huaweicloud.com/dli/index.html 完善DLI全链生态操作指导、速通资源池基本概念、一图秒懂权限原理知识、详析API参数说明，DLI帮助文档硬核升级。 了解更多DLI帮助文档详细内容▶▷▶立即访问：https://support.huaweicloud.com/dli/index.html
- 一、：为何需要科学选型？在大数据时代，企业面临的核心挑战之一是如何高效处理海量数据。选择合适的分布式计算框架直接影响系统的吞吐量、延迟、运维成本及扩展性。本文将结合真实业务场景需求，从功能特性、性能表现、生态兼容性三个维度展开分析，并提供实测数据表格供参考。所有结论均基于实际生产环境测试结果，力求为开发者提供可落地的决策依据。 二、主流框架核心能力拆解（附关键参数表）特性维度Apache ... 一、：为何需要科学选型？在大数据时代，企业面临的核心挑战之一是如何高效处理海量数据。选择合适的分布式计算框架直接影响系统的吞吐量、延迟、运维成本及扩展性。本文将结合真实业务场景需求，从功能特性、性能表现、生态兼容性三个维度展开分析，并提供实测数据表格供参考。所有结论均基于实际生产环境测试结果，力求为开发者提供可落地的决策依据。 二、主流框架核心能力拆解（附关键参数表）特性维度Apache ...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 不会Python，还敢说搞大数据？一文带你入门大数据编程的“硬核”真相 不会Python，还敢说搞大数据？一文带你入门大数据编程的“硬核”真相
- Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。 Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
- RDD（弹性分布式数据集）是Spark的核心抽象，支持容错和并行计算。其架构包括分区、计算函数、依赖关系、分区器及优先位置等关键组件。操作分为转换（Transformations）与行动（Actions），提供丰富的API支持复杂数据处理。 执行模型涵盖用户代码到分布式执行的全流程，通过DAG调度优化任务划分与资源分配。内存管理机制动态调整存储与执行内存，提升资源利用率。 性能调优涉及资源配置 RDD（弹性分布式数据集）是Spark的核心抽象，支持容错和并行计算。其架构包括分区、计算函数、依赖关系、分区器及优先位置等关键组件。操作分为转换（Transformations）与行动（Actions），提供丰富的API支持复杂数据处理。 执行模型涵盖用户代码到分布式执行的全流程，通过DAG调度优化任务划分与资源分配。内存管理机制动态调整存储与执行内存，提升资源利用率。 性能调优涉及资源配置
- Apache Spark 是一个开源、分布式计算引擎，专为大规模数据处理设计。它以高速、易用和通用为核心目标。通过内存计算、DAG 执行引擎和惰性求值等特性，大幅提升数据处理效率。其核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX，支持批处理、实时流处理、机器学习和图计算。Spark 提供统一编程模型，支持多语言（Scala/Ja Apache Spark 是一个开源、分布式计算引擎，专为大规模数据处理设计。它以高速、易用和通用为核心目标。通过内存计算、DAG 执行引擎和惰性求值等特性，大幅提升数据处理效率。其核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX，支持批处理、实时流处理、机器学习和图计算。Spark 提供统一编程模型，支持多语言（Scala/Ja
- 本文探讨了如何结合Apache Spark MLlib、TensorFlow Serving和Java构建混合推理流水线。Spark MLlib利用分布式计算高效处理大规模数据，完成模型训练；TensorFlow Serving专注于模型部署，提供稳定高效的推理服务；Java则以其稳健性协调两者，实现高性能与扩展性。 本文探讨了如何结合Apache Spark MLlib、TensorFlow Serving和Java构建混合推理流水线。Spark MLlib利用分布式计算高效处理大规模数据，完成模型训练；TensorFlow Serving专注于模型部署，提供稳定高效的推理服务；Java则以其稳健性协调两者，实现高性能与扩展性。
- Java 大数据处理：使用 Hadoop 和 Spark 进行大规模数据处理在当今数字化时代，数据呈现出爆炸式增长，如何高效地处理大规模数据成为企业面临的重要挑战。Java 作为一门广泛使用的编程语言，在大数据处理领域同样发挥着关键作用。本文将深入探讨如何利用 Hadoop 和 Spark 这两大主流框架，基于 Java 进行大规模数据处理，帮助读者掌握相关技术要点。 一、Java 在大数... Java 大数据处理：使用 Hadoop 和 Spark 进行大规模数据处理在当今数字化时代，数据呈现出爆炸式增长，如何高效地处理大规模数据成为企业面临的重要挑战。Java 作为一门广泛使用的编程语言，在大数据处理领域同样发挥着关键作用。本文将深入探讨如何利用 Hadoop 和 Spark 这两大主流框架，基于 Java 进行大规模数据处理，帮助读者掌握相关技术要点。 一、Java 在大数...
- Spark SQL是Apache Spark生态系统中用于处理结构化数据的组件，作为大数据时代的SQL利器，它在继承传统SQL语法和逻辑思维的基础上，重新定义了数据处理的效率与灵活性。相比传统SQL，Spark SQL支持分布式计算、内存处理及多种数据源，可高效应对PB级数据挑战。其核心概念DataFrame提供优化查询能力，使数据分析更便捷。 Spark SQL是Apache Spark生态系统中用于处理结构化数据的组件，作为大数据时代的SQL利器，它在继承传统SQL语法和逻辑思维的基础上，重新定义了数据处理的效率与灵活性。相比传统SQL，Spark SQL支持分布式计算、内存处理及多种数据源，可高效应对PB级数据挑战。其核心概念DataFrame提供优化查询能力，使数据分析更便捷。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第三期2026/08/21 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；念擎-华为云AI开发者运营案例开发专家
本期直播内容：AI六层能力首次详细解读 + 新一代华为云开发者空间亮相 + 校园案例直播带练
回顾中
热门标签