- 主要是搭建分布式实时计算系统spark。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 主要是搭建分布式实时计算系统spark。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
- 1.准备环境2.安装JDK3.上传spark安装包4.解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）5.将配置好的spark安装程序拷贝给其他机器for i in {5..8}; do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ node-$i:/bigdata; done 6.启动spark (sbin/start-... 1.准备环境2.安装JDK3.上传spark安装包4.解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）5.将配置好的spark安装程序拷贝给其他机器for i in {5..8}; do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ node-$i:/bigdata; done 6.启动spark (sbin/start-...
- 1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa... 1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa...
- 一些常见的Spark on YARN的bug 一些常见的Spark on YARN的bug
- 本书摘自《Spark机器学习进阶实战》——书中的第1章，第1.2.2节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第1章，第1.2.2节，作者是马海平、于俊、吕昕、向海。
- 在使用spark时，根据集群资源情况和任务数据量等，合理设置参数，包括但不限于以下： 参数说明masteryarn E-MapReduce 使用 Yarn 的模式yarn-client：等同于 –-master yarn —deploy-mode client， 此时不需要指定deploy-mode。 yarn-cluster：等同于 –-master... 在使用spark时，根据集群资源情况和任务数据量等，合理设置参数，包括但不限于以下： 参数说明masteryarn E-MapReduce 使用 Yarn 的模式yarn-client：等同于 –-master yarn —deploy-mode client， 此时不需要指定deploy-mode。 yarn-cluster：等同于 –-master...
- 通过分析出租车数据，然后使用KMeans对经纬度进行聚类，然后按照（类别，时间）进行分类，再统计每个类别每个时段的次数。数据格式以及意义：111,30.655325,104.072573,173749111,30.655346,104.072363,173828111,30.655377,104.120252,124057111,30.655439,104.088812,142016列一：出... 通过分析出租车数据，然后使用KMeans对经纬度进行聚类，然后按照（类别，时间）进行分类，再统计每个类别每个时段的次数。数据格式以及意义：111,30.655325,104.072573,173749111,30.655346,104.072363,173828111,30.655377,104.120252,124057111,30.655439,104.088812,142016列一：出...
- Spark shell操作Spark通过RDD算子进行的部分shell操作val mytxt1 = sc.textFile("file:///root/sp")val mytxt2 = mytxt.flatMap(item => item.split(" "))val mytxt3 = mytxt2.map(item => (item,1))val mytxt4 = mytxt3.reduc... Spark shell操作Spark通过RDD算子进行的部分shell操作val mytxt1 = sc.textFile("file:///root/sp")val mytxt2 = mytxt.flatMap(item => item.split(" "))val mytxt3 = mytxt2.map(item => (item,1))val mytxt4 = mytxt3.reduc...
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.9节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.9节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.8节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.8节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.2节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.2节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.1节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.1节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.6节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.6节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.5节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.5节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.4.2节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.4.2节，作者是肖力涛 。
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签