- 主要是搭建分布式实时计算系统spark。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 主要是搭建分布式实时计算系统spark。Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
- 1.准备环境2.安装JDK3.上传spark安装包4.解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）5.将配置好的spark安装程序拷贝给其他机器for i in {5..8}; do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ node-$i:/bigdata; done 6.启动spark (sbin/start-... 1.准备环境2.安装JDK3.上传spark安装包4.解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）5.将配置好的spark安装程序拷贝给其他机器for i in {5..8}; do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ node-$i:/bigdata; done 6.启动spark (sbin/start-...
- 1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa... 1. Spark概述1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spa...
- 一些常见的Spark on YARN的bug 一些常见的Spark on YARN的bug
- 本书摘自《Spark机器学习进阶实战》——书中的第1章，第1.2.2节，作者是马海平、于俊、吕昕、向海。 本书摘自《Spark机器学习进阶实战》——书中的第1章，第1.2.2节，作者是马海平、于俊、吕昕、向海。
- 在使用spark时，根据集群资源情况和任务数据量等，合理设置参数，包括但不限于以下： 参数说明masteryarn E-MapReduce 使用 Yarn 的模式yarn-client：等同于 –-master yarn —deploy-mode client， 此时不需要指定deploy-mode。 yarn-cluster：等同于 –-master... 在使用spark时，根据集群资源情况和任务数据量等，合理设置参数，包括但不限于以下： 参数说明masteryarn E-MapReduce 使用 Yarn 的模式yarn-client：等同于 –-master yarn —deploy-mode client， 此时不需要指定deploy-mode。 yarn-cluster：等同于 –-master...
- 通过分析出租车数据，然后使用KMeans对经纬度进行聚类，然后按照（类别，时间）进行分类，再统计每个类别每个时段的次数。数据格式以及意义：111,30.655325,104.072573,173749111,30.655346,104.072363,173828111,30.655377,104.120252,124057111,30.655439,104.088812,142016列一：出... 通过分析出租车数据，然后使用KMeans对经纬度进行聚类，然后按照（类别，时间）进行分类，再统计每个类别每个时段的次数。数据格式以及意义：111,30.655325,104.072573,173749111,30.655346,104.072363,173828111,30.655377,104.120252,124057111,30.655439,104.088812,142016列一：出...
- Spark shell操作Spark通过RDD算子进行的部分shell操作val mytxt1 = sc.textFile("file:///root/sp")val mytxt2 = mytxt.flatMap(item => item.split(" "))val mytxt3 = mytxt2.map(item => (item,1))val mytxt4 = mytxt3.reduc... Spark shell操作Spark通过RDD算子进行的部分shell操作val mytxt1 = sc.textFile("file:///root/sp")val mytxt2 = mytxt.flatMap(item => item.split(" "))val mytxt3 = mytxt2.map(item => (item,1))val mytxt4 = mytxt3.reduc...
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.9节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.9节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.8节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.8节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.2节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.2节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.1节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.7.1节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.6节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.6节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.5节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.5节，作者是肖力涛 。
- 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.4.2节，作者是肖力涛 。 本节书摘来自华章计算机《Spark Streaming实时流式大数据处理实战》 —— 书中第3章，第3.4.2节，作者是肖力涛 。
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中
热门标签