- 每日一句正能量 1.3 Scala的数据结构 1.3.1 数组 数组的遍历 数组转换 1.3.2 元组 创建元组 获取元组中的值 拉链操作 1.3.3 集合 List Set Map 每日一句正能量很多时候，一个人选择了行走，不是因为欲望，也并非诱惑，他仅仅是听到了自己内心的声音。 1.3 Scala的数据结构对于每一门编程语言来说，数组（Array）都是重要的数据结构之一，主要用来存... 每日一句正能量 1.3 Scala的数据结构 1.3.1 数组 数组的遍历 数组转换 1.3.2 元组 创建元组 获取元组中的值 拉链操作 1.3.3 集合 List Set Map 每日一句正能量很多时候，一个人选择了行走，不是因为欲望，也并非诱惑，他仅仅是听到了自己内心的声音。 1.3 Scala的数据结构对于每一门编程语言来说，数组（Array）都是重要的数据结构之一，主要用来存...
- 每日一句正能量 章节概要 1.2 Scala的基础语法 1.2.1 声明值和变量 1.2.2 数据类型 1.2.3 算术和操作符重载 1.2.4 控制结构语句 1.2.5 方法和函数 每日一句正能量人类先发明了旅行，然后又不停地追问，旅行的意义。其实，世间所有的相遇，不是久别重逢，就是后悔莫及。人生如旅，简单点，你打得赢怪物，就收得到礼物。 章节概要Spark是专为大规模数据处理而设计的... 每日一句正能量 章节概要 1.2 Scala的基础语法 1.2.1 声明值和变量 1.2.2 数据类型 1.2.3 算术和操作符重载 1.2.4 控制结构语句 1.2.5 方法和函数 每日一句正能量人类先发明了旅行，然后又不停地追问，旅行的意义。其实，世间所有的相遇，不是久别重逢，就是后悔莫及。人生如旅，简单点，你打得赢怪物，就收得到礼物。 章节概要Spark是专为大规模数据处理而设计的...
- 向量数据库的兴起，尤其是在 AI、机器学习及推荐系统中的广泛应用，标志着我们对数据查询能力的新要求。向量数据库适用于高维数据的相似性搜索，比如图像特征、文本嵌入等，它能快速、高效地从大规模数据集中找到与目标向量相似的对象。在现有的大数据生态系统中，Hadoop 和 Spark 是两个重要的基础框架，它们被广泛用于数据存储和计算任务。1. Hadoop 和 Spark 的角色及特点Hadoop... 向量数据库的兴起，尤其是在 AI、机器学习及推荐系统中的广泛应用，标志着我们对数据查询能力的新要求。向量数据库适用于高维数据的相似性搜索，比如图像特征、文本嵌入等，它能快速、高效地从大规模数据集中找到与目标向量相似的对象。在现有的大数据生态系统中，Hadoop 和 Spark 是两个重要的基础框架，它们被广泛用于数据存储和计算任务。1. Hadoop 和 Spark 的角色及特点Hadoop...
- 通过本案例，开发者通过Hadoop、Spark对基于商品的信息做一些推荐的案例，可以掌握包括组件的安装，工程的创建、编译和运行。 通过本案例，开发者通过Hadoop、Spark对基于商品的信息做一些推荐的案例，可以掌握包括组件的安装，工程的创建、编译和运行。
- 完善DLI全链生态操作指导、速通资源池基本概念、一图秒懂权限原理知识、详析API参数说明，DLI帮助文档硬核升级。 了解更多DLI帮助文档详细内容▶▷▶立即访问：https://support.huaweicloud.com/dli/index.html 完善DLI全链生态操作指导、速通资源池基本概念、一图秒懂权限原理知识、详析API参数说明，DLI帮助文档硬核升级。 了解更多DLI帮助文档详细内容▶▷▶立即访问：https://support.huaweicloud.com/dli/index.html
- 一、：为何需要科学选型？在大数据时代，企业面临的核心挑战之一是如何高效处理海量数据。选择合适的分布式计算框架直接影响系统的吞吐量、延迟、运维成本及扩展性。本文将结合真实业务场景需求，从功能特性、性能表现、生态兼容性三个维度展开分析，并提供实测数据表格供参考。所有结论均基于实际生产环境测试结果，力求为开发者提供可落地的决策依据。 二、主流框架核心能力拆解（附关键参数表）特性维度Apache ... 一、：为何需要科学选型？在大数据时代，企业面临的核心挑战之一是如何高效处理海量数据。选择合适的分布式计算框架直接影响系统的吞吐量、延迟、运维成本及扩展性。本文将结合真实业务场景需求，从功能特性、性能表现、生态兼容性三个维度展开分析，并提供实测数据表格供参考。所有结论均基于实际生产环境测试结果，力求为开发者提供可落地的决策依据。 二、主流框架核心能力拆解（附关键参数表）特性维度Apache ...
- 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，... 开篇语哈喽，各位小伙伴们，你们好呀，我是喵手。运营社区：C站/掘金/腾讯云/阿里云/华为云/51CTO；欢迎大家常来逛逛 今天我要给大家分享一些自己日常学习到的一些知识点，并以文字的形式跟大家一起交流，互相学习，一个人虽可以走的更快，但一群人可以走的更远。 我是一名后端开发爱好者，工作日常接触到最多的就是Java语言啦，所以我都尽量抽业余时间把自己所学到所会的，通过文章的形式进行输出，...
- 不会Python，还敢说搞大数据？一文带你入门大数据编程的“硬核”真相 不会Python，还敢说搞大数据？一文带你入门大数据编程的“硬核”真相
- Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。 Spark SQL基于Catalyst优化器与Tungsten引擎，提供高效的数据处理能力。其架构涵盖SQL解析、逻辑计划优化、物理计划生成及分布式执行，支持复杂数据类型、窗口函数与多样化聚合操作，结合自适应查询与代码生成技术，实现高性能大数据分析。
- RDD（弹性分布式数据集）是Spark的核心抽象，支持容错和并行计算。其架构包括分区、计算函数、依赖关系、分区器及优先位置等关键组件。操作分为转换（Transformations）与行动（Actions），提供丰富的API支持复杂数据处理。 执行模型涵盖用户代码到分布式执行的全流程，通过DAG调度优化任务划分与资源分配。内存管理机制动态调整存储与执行内存，提升资源利用率。 性能调优涉及资源配置 RDD（弹性分布式数据集）是Spark的核心抽象，支持容错和并行计算。其架构包括分区、计算函数、依赖关系、分区器及优先位置等关键组件。操作分为转换（Transformations）与行动（Actions），提供丰富的API支持复杂数据处理。 执行模型涵盖用户代码到分布式执行的全流程，通过DAG调度优化任务划分与资源分配。内存管理机制动态调整存储与执行内存，提升资源利用率。 性能调优涉及资源配置
- Apache Spark 是一个开源、分布式计算引擎，专为大规模数据处理设计。它以高速、易用和通用为核心目标。通过内存计算、DAG 执行引擎和惰性求值等特性，大幅提升数据处理效率。其核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX，支持批处理、实时流处理、机器学习和图计算。Spark 提供统一编程模型，支持多语言（Scala/Ja Apache Spark 是一个开源、分布式计算引擎，专为大规模数据处理设计。它以高速、易用和通用为核心目标。通过内存计算、DAG 执行引擎和惰性求值等特性，大幅提升数据处理效率。其核心组件包括 Spark Core、Spark SQL、Spark Streaming、MLlib 和 GraphX，支持批处理、实时流处理、机器学习和图计算。Spark 提供统一编程模型，支持多语言（Scala/Ja
- 本文探讨了如何结合Apache Spark MLlib、TensorFlow Serving和Java构建混合推理流水线。Spark MLlib利用分布式计算高效处理大规模数据，完成模型训练；TensorFlow Serving专注于模型部署，提供稳定高效的推理服务；Java则以其稳健性协调两者，实现高性能与扩展性。 本文探讨了如何结合Apache Spark MLlib、TensorFlow Serving和Java构建混合推理流水线。Spark MLlib利用分布式计算高效处理大规模数据，完成模型训练；TensorFlow Serving专注于模型部署，提供稳定高效的推理服务；Java则以其稳健性协调两者，实现高性能与扩展性。
- Java 大数据处理：使用 Hadoop 和 Spark 进行大规模数据处理在当今数字化时代，数据呈现出爆炸式增长，如何高效地处理大规模数据成为企业面临的重要挑战。Java 作为一门广泛使用的编程语言，在大数据处理领域同样发挥着关键作用。本文将深入探讨如何利用 Hadoop 和 Spark 这两大主流框架，基于 Java 进行大规模数据处理，帮助读者掌握相关技术要点。 一、Java 在大数... Java 大数据处理：使用 Hadoop 和 Spark 进行大规模数据处理在当今数字化时代，数据呈现出爆炸式增长，如何高效地处理大规模数据成为企业面临的重要挑战。Java 作为一门广泛使用的编程语言，在大数据处理领域同样发挥着关键作用。本文将深入探讨如何利用 Hadoop 和 Spark 这两大主流框架，基于 Java 进行大规模数据处理，帮助读者掌握相关技术要点。 一、Java 在大数...
- Spark SQL是Apache Spark生态系统中用于处理结构化数据的组件，作为大数据时代的SQL利器，它在继承传统SQL语法和逻辑思维的基础上，重新定义了数据处理的效率与灵活性。相比传统SQL，Spark SQL支持分布式计算、内存处理及多种数据源，可高效应对PB级数据挑战。其核心概念DataFrame提供优化查询能力，使数据分析更便捷。 Spark SQL是Apache Spark生态系统中用于处理结构化数据的组件，作为大数据时代的SQL利器，它在继承传统SQL语法和逻辑思维的基础上，重新定义了数据处理的效率与灵活性。相比传统SQL，Spark SQL支持分布式计算、内存处理及多种数据源，可高效应对PB级数据挑战。其核心概念DataFrame提供优化查询能力，使数据分析更便捷。
- 从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路 从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签