- Spark 机器学习库 MLlib 编程实践 介绍Spark MLlib 是 Apache Spark 的一个机器学习库，提供了常用的机器学习算法和工具。MLlib 在分布式环境下运行，可以处理大规模数据集，是构建可扩展机器学习应用程序的理想选择。 应用使用场景大数据分析：在大规模数据集上训练机器学习模型，如推荐系统、分类、聚类。实时流处理：结合 Spark Streaming 实现实时数... Spark 机器学习库 MLlib 编程实践 介绍Spark MLlib 是 Apache Spark 的一个机器学习库，提供了常用的机器学习算法和工具。MLlib 在分布式环境下运行，可以处理大规模数据集，是构建可扩展机器学习应用程序的理想选择。 应用使用场景大数据分析：在大规模数据集上训练机器学习模型，如推荐系统、分类、聚类。实时流处理：结合 Spark Streaming 实现实时数...
- 连接mysql查询数据: 初始化mysql的连接信息def init_mysql():url = “jdbc:mysql://ip:port/databasename?&useSSL=false&serverTimezone=GMT%2B8”properties = {“user”: “user”, “password”: “password”, “driver”: “com.mysql.... 连接mysql查询数据: 初始化mysql的连接信息def init_mysql():url = “jdbc:mysql://ip:port/databasename?&useSSL=false&serverTimezone=GMT%2B8”properties = {“user”: “user”, “password”: “password”, “driver”: “com.mysql....
- spark初始化:class SpsrkConfigInit:@classmethoddef init_spark(cls):“”"初始化spark配置:return: SparkSession“”"# 设置 JAVA_HOME 环境变量os.environ[‘JAVA_HOME’] = ‘C:/Program Files/Huawei/jdk1.8.0_222’os.environ[‘PY... spark初始化:class SpsrkConfigInit:@classmethoddef init_spark(cls):“”"初始化spark配置:return: SparkSession“”"# 设置 JAVA_HOME 环境变量os.environ[‘JAVA_HOME’] = ‘C:/Program Files/Huawei/jdk1.8.0_222’os.environ[‘PY...
- Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应... Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应...
- Java在大数据处理中的应用：从MapReduce到Spark大数据时代的到来让数据的存储、处理和分析变得前所未有的重要。随着数据量的剧增，传统的单机计算方式已经无法满足处理需求。为了解决这个问题，许多分布式计算框架应运而生，其中MapReduce和Apache Spark是两种主流的解决方案。在大数据处理过程中，Java作为一种高效、平台无关的编程语言，扮演了至关重要的角色。本文将带你深... Java在大数据处理中的应用：从MapReduce到Spark大数据时代的到来让数据的存储、处理和分析变得前所未有的重要。随着数据量的剧增，传统的单机计算方式已经无法满足处理需求。为了解决这个问题，许多分布式计算框架应运而生，其中MapReduce和Apache Spark是两种主流的解决方案。在大数据处理过程中，Java作为一种高效、平台无关的编程语言，扮演了至关重要的角色。本文将带你深...
- 问题描述：编译spark时出现如下错误configure: error:--with-readline=yes (default) and headers/libs are not available解决办法：yum install readline-devel 问题描述：编译spark时出现如下错误configure: error:--with-readline=yes (default) and headers/libs are not available解决办法：yum install readline-devel
- 问题描述：编译spark时出现如下错误> [error] Required file not found: sbt-interface.jar> [error] See zinc -help for information about locating necessary files解决办法：执行如下命令找到进程号，然后kill掉进程：ps -ef|grep sbt-interface.ja... 问题描述：编译spark时出现如下错误> [error] Required file not found: sbt-interface.jar> [error] See zinc -help for information about locating necessary files解决办法：执行如下命令找到进程号，然后kill掉进程：ps -ef|grep sbt-interface.ja...
- SparkStreaming编程模型 SparkStreaming编程模型
- Spark Streaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于storm，也可以无缝集成多重日志收集工具或队列中转器，比如常见的 kakfa，flume，redis，logstash等，计算完后的数据结果，也可以 存储到各种存储系统中，如HDFS，数 Spark Streaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于storm，也可以无缝集成多重日志收集工具或队列中转器，比如常见的 kakfa，flume，redis，logstash等，计算完后的数据结果，也可以 存储到各种存储系统中，如HDFS，数
- Spark Streaming概述 Spark Streaming概述
- Spark SQL性能调优 Spark SQL性能调优
- Spark SQL编程 Spark SQL编程
- Spark SQL基本原理 Spark SQL基本原理
- Spark SQL结构化数据处理 Spark SQL结构化数据处理
- Spark 同时支持Scala、Python、Java 三种应用程序API编程接口和编程方式， 考虑到大数据处理的特性，一般会优先使用Scala进行编程，其次是Python，最后才是Java。 Spark 同时支持Scala、Python、Java 三种应用程序API编程接口和编程方式， 考虑到大数据处理的特性，一般会优先使用Scala进行编程，其次是Python，最后才是Java。
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
华为云一键云上部署Openclaw 实现“龙虾自由”2026/04/11 周六 14:00-16:00
秦拳德-中软国际教育卓越研究院研究员
还在为搭建AI环境而焦头烂额、彻夜难眠？ 还在苦苦等待复杂工具的缓慢响应、迟迟无法推进项目？ 别再犹豫，快来华为云，一键部署OpenClaw，轻松告别 繁琐配置，即刻畅享极速体验！更有龙虾实操演示全程护 航，真正解放双手，让办公效率实现质的飞跃。限时重磅 福利火热来袭，干万Tokens等你来瓜分，机会难得，不容 错过！
即将直播
热门标签