- Spark 机器学习库 MLlib 编程实践 介绍Spark MLlib 是 Apache Spark 的一个机器学习库，提供了常用的机器学习算法和工具。MLlib 在分布式环境下运行，可以处理大规模数据集，是构建可扩展机器学习应用程序的理想选择。 应用使用场景大数据分析：在大规模数据集上训练机器学习模型，如推荐系统、分类、聚类。实时流处理：结合 Spark Streaming 实现实时数... Spark 机器学习库 MLlib 编程实践 介绍Spark MLlib 是 Apache Spark 的一个机器学习库，提供了常用的机器学习算法和工具。MLlib 在分布式环境下运行，可以处理大规模数据集，是构建可扩展机器学习应用程序的理想选择。 应用使用场景大数据分析：在大规模数据集上训练机器学习模型，如推荐系统、分类、聚类。实时流处理：结合 Spark Streaming 实现实时数...
- 连接mysql查询数据: 初始化mysql的连接信息def init_mysql():url = “jdbc:mysql://ip:port/databasename?&useSSL=false&serverTimezone=GMT%2B8”properties = {“user”: “user”, “password”: “password”, “driver”: “com.mysql.... 连接mysql查询数据: 初始化mysql的连接信息def init_mysql():url = “jdbc:mysql://ip:port/databasename?&useSSL=false&serverTimezone=GMT%2B8”properties = {“user”: “user”, “password”: “password”, “driver”: “com.mysql....
- spark初始化:class SpsrkConfigInit:@classmethoddef init_spark(cls):“”"初始化spark配置:return: SparkSession“”"# 设置 JAVA_HOME 环境变量os.environ[‘JAVA_HOME’] = ‘C:/Program Files/Huawei/jdk1.8.0_222’os.environ[‘PY... spark初始化:class SpsrkConfigInit:@classmethoddef init_spark(cls):“”"初始化spark配置:return: SparkSession“”"# 设置 JAVA_HOME 环境变量os.environ[‘JAVA_HOME’] = ‘C:/Program Files/Huawei/jdk1.8.0_222’os.environ[‘PY...
- Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应... Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应...
- Java在大数据处理中的应用：从MapReduce到Spark大数据时代的到来让数据的存储、处理和分析变得前所未有的重要。随着数据量的剧增，传统的单机计算方式已经无法满足处理需求。为了解决这个问题，许多分布式计算框架应运而生，其中MapReduce和Apache Spark是两种主流的解决方案。在大数据处理过程中，Java作为一种高效、平台无关的编程语言，扮演了至关重要的角色。本文将带你深... Java在大数据处理中的应用：从MapReduce到Spark大数据时代的到来让数据的存储、处理和分析变得前所未有的重要。随着数据量的剧增，传统的单机计算方式已经无法满足处理需求。为了解决这个问题，许多分布式计算框架应运而生，其中MapReduce和Apache Spark是两种主流的解决方案。在大数据处理过程中，Java作为一种高效、平台无关的编程语言，扮演了至关重要的角色。本文将带你深...
- 问题描述：编译spark时出现如下错误configure: error:--with-readline=yes (default) and headers/libs are not available解决办法：yum install readline-devel 问题描述：编译spark时出现如下错误configure: error:--with-readline=yes (default) and headers/libs are not available解决办法：yum install readline-devel
- 问题描述：编译spark时出现如下错误> [error] Required file not found: sbt-interface.jar> [error] See zinc -help for information about locating necessary files解决办法：执行如下命令找到进程号，然后kill掉进程：ps -ef|grep sbt-interface.ja... 问题描述：编译spark时出现如下错误> [error] Required file not found: sbt-interface.jar> [error] See zinc -help for information about locating necessary files解决办法：执行如下命令找到进程号，然后kill掉进程：ps -ef|grep sbt-interface.ja...
- SparkStreaming编程模型 SparkStreaming编程模型
- Spark Streaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于storm，也可以无缝集成多重日志收集工具或队列中转器，比如常见的 kakfa，flume，redis，logstash等，计算完后的数据结果，也可以 存储到各种存储系统中，如HDFS，数 Spark Streaming是一种近实时的流式计算模型，它将作业分解成一批一批的短小的批处理任务，然后并行计算，具有可扩展，高容错，高吞吐，实时性高等一系列优点，在某些场景可达到与Storm一样的处理程度或优于storm，也可以无缝集成多重日志收集工具或队列中转器，比如常见的 kakfa，flume，redis，logstash等，计算完后的数据结果，也可以 存储到各种存储系统中，如HDFS，数
- Spark Streaming概述 Spark Streaming概述
- Spark SQL性能调优 Spark SQL性能调优
- Spark SQL编程 Spark SQL编程
- Spark SQL基本原理 Spark SQL基本原理
- Spark SQL结构化数据处理 Spark SQL结构化数据处理
- Spark 同时支持Scala、Python、Java 三种应用程序API编程接口和编程方式， 考虑到大数据处理的特性，一般会优先使用Scala进行编程，其次是Python，最后才是Java。 Spark 同时支持Scala、Python、Java 三种应用程序API编程接口和编程方式， 考虑到大数据处理的特性，一般会优先使用Scala进行编程，其次是Python，最后才是Java。
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签