• Spark之【RDD编程】详细讲解(No5)——《RDD依赖关系》
          本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。   &...
  大数据梦想家

  发表于2021-09-29 01:21:38

  3059 0 0

  3.0k 0 0
          本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。   &...
  spark 大数据
• Spark之【RDD编程进阶】——累加器与广播变量的使用
          上一篇博客博主已经为大家介绍了Spark中数据读取与保存，这一篇博客则带来了Spark中的编程进阶。其中就涉...
  大数据梦想家

  发表于2021-09-29 01:16:13

  2909 0 0

  2.9k 0 0
          上一篇博客博主已经为大家介绍了Spark中数据读取与保存，这一篇博客则带来了Spark中的编程进阶。其中就涉...
  spark 硬件开发
• 教你如何轻松配置Spark的历史日志服务器JobHistoryServer?
          默认情况下，Spark程序运行完毕关闭窗口之后，就无法再查看运行记录的Web UI(4040)了，但通过 H...
  大数据梦想家

  发表于2021-09-29 01:10:00

  4824 0 0

  4.8k 0 0
          默认情况下，Spark程序运行完毕关闭窗口之后，就无法再查看运行记录的Web UI(4040)了，但通过 H...
  Hadoop spark
• Spark之【键值对RDD数据分区器】介绍及使用说明
          本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R...
  大数据梦想家

  发表于2021-09-29 01:09:04

  3550 0 0

  3.5k 0 0
          本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R...
  spark 大数据
• 2021年大数据Spark（八）：环境搭建集群模式 Standalone HA
  环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No...
  Lansonli

  发表于2021-09-29 01:06:56

  3219 0 0

  3.2k 0 0
  环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No...
  spark 大数据
• 2021年大数据Spark（三）：框架模块初步了解
  目录   Spark 框架模块-了解 Spark Core Spark SQL ​​​​​​​Spark Streaming ​​​​​​​Spark MLlib ​​​​​​​Spark GraphX ​​​​​​​Structured Streaming ​​​​​​​ Spark 框架模块-了解 ...
  Lansonli

  发表于2021-09-29 01:05:56

  3236 0 0

  3.2k 0 0
  目录   Spark 框架模块-了解 Spark Core Spark SQL ​​​​​​​Spark Streaming ​​​​​​​Spark MLlib ​​​​​​​Spark GraphX ​​​​​​​Structured Streaming ​​​​​​​ Spark 框架模块-了解 ...
  spark 大数据
• Spark环境搭建——on yarn集群模式
          本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录 ...
  大数据梦想家

  发表于2021-09-29 01:04:04

  5900 0 0

  5.9k 0 0
          本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录 ...
  spark Yarn
• 2021年大数据Spark（六）：环境搭建集群模式 Standalone
  目录   环境搭建-Standalone 前言 Standalone 架构 ​​​​​​​集群规划 修改配置并分发 修改slaves ​​​​​​​分发到其他机器 修改spark-env.sh 集群启动和停止 测试 ​​​​​​​ 环境搭建-Standalone Standalone模式是Spar...
  Lansonli

  发表于2021-09-29 01:00:58

  3874 0 0

  3.8k 0 0
  目录   环境搭建-Standalone 前言 Standalone 架构 ​​​​​​​集群规划 修改配置并分发 修改slaves ​​​​​​​分发到其他机器 修改spark-env.sh 集群启动和停止 测试 ​​​​​​​ 环境搭建-Standalone Standalone模式是Spar...
  Hadoop spark 大数据
• 2021年大数据Spark（十）：环境搭建集群模式 Spark on YARN
  目录 环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置 修改spark-env.sh 整合历史服务器并关闭资源检查 整合Yarn历史服务器并关闭资源检查 配置spark历史服务器 修改spark-env.sh 设置日志级别 ...
  Lansonli

  发表于2021-09-29 01:00:34

  5471 0 0

  5.4k 0 0
  目录 环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置 修改spark-env.sh 整合历史服务器并关闭资源检查 整合Yarn历史服务器并关闭资源检查 配置spark历史服务器 修改spark-env.sh 设置日志级别 ...
  spark Yarn 大数据
• 2021年大数据Spark（十六）：Spark Core的RDD算子练习
  目录 RDD算子练习 map 算子 filter 算子 flatMap 算子 交集、并集、差集、笛卡尔积 distinct 算子 ​​​​​​​​​​​​​​first、take、top 算子 ​​​​​​​​​​​​​​keys、values 算子 ​​​​​​​mapValues 算子 ​​​...
  Lansonli

  发表于2021-09-29 00:54:11

  3270 0 0

  3.2k 0 0
  目录 RDD算子练习 map 算子 filter 算子 flatMap 算子 交集、并集、差集、笛卡尔积 distinct 算子 ​​​​​​​​​​​​​​first、take、top 算子 ​​​​​​​​​​​​​​keys、values 算子 ​​​​​​​mapValues 算子 ​​​...
  spark 大数据
• Spark之【SparkSQL编程】系列(No1)——《SparkSession与DataFrame》
          上一篇博客已经为大家介绍完了SparkSQL的基本概念以及其提供的两个编程抽象：DataFrame和Data...
  大数据梦想家

  发表于2021-09-29 00:52:32

  3080 0 0

  3.0k 0 0
          上一篇博客已经为大家介绍完了SparkSQL的基本概念以及其提供的两个编程抽象：DataFrame和Data...
  spark SQL
• 2021年大数据Spark（三十）：SparkSQL自定义UDF函数
  目录 自定义UDF函数 第一种：UDF（User-Defined-Function） 函数 第二种：UDAF（User-Defined Aggregation Function） 聚合函数 第三种：UDTF（User-Defined Table-Generating Functions） 函数 SQL方式 DSL方式 代码...
  Lansonli

  发表于2021-09-29 00:37:21

  4114 0 0

  4.1k 0 0
  目录 自定义UDF函数 第一种：UDF（User-Defined-Function） 函数 第二种：UDAF（User-Defined Aggregation Function） 聚合函数 第三种：UDTF（User-Defined Table-Generating Functions） 函数 SQL方式 DSL方式 代码...
  spark 大数据
• 2021年大数据Spark（二十七）：SparkSQL案例一花式查询和案例二WordCount
  目录 案例一：花式查询 案例二：WordCount 基于DSL编程 基于SQL编程 具体演示代码如下：   案例一：花式查询 package cn.itcast.sql import org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimp...
  Lansonli

  发表于2021-09-29 00:23:04

  3682 0 0

  3.6k 0 0
  目录 案例一：花式查询 案例二：WordCount 基于DSL编程 基于SQL编程 具体演示代码如下：   案例一：花式查询 package cn.itcast.sql import org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimp...
  spark 大数据
• 2021年大数据Spark（四十）：SparkStreaming实战案例五 TopN-transform
  目录 SparkStreaming实战案例五 TopN-transform 需求 注意： ​​​​​​​代码实现 SparkStreaming实战案例五 TopN-transform 需求 使用窗口计算模拟热搜排行榜: 每隔10s计算最近20s的热搜排行榜!   注意： DStream没有直接排序的...
  Lansonli

  发表于2021-09-29 00:22:30

  3581 0 0

  3.5k 0 0
  目录 SparkStreaming实战案例五 TopN-transform 需求 注意： ​​​​​​​代码实现 SparkStreaming实战案例五 TopN-transform 需求 使用窗口计算模拟热搜排行榜: 每隔10s计算最近20s的热搜排行榜!   注意： DStream没有直接排序的...
  spark 大数据
• 2021年大数据Spark（二十六）：SparkSQL数据处理分析
  目录 SparkSQL数据处理分析 基于DSL分析 基于SQL分析 第一步、注册为临时视图 第二步、编写SQL，执行分析 ​​​​​​​SparkSQL数据处理分析      在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种...
  Lansonli

  发表于2021-09-29 00:21:50

  3430 0 0

  3.4k 0 0
  目录 SparkSQL数据处理分析 基于DSL分析 基于SQL分析 第一步、注册为临时视图 第二步、编写SQL，执行分析 ​​​​​​​SparkSQL数据处理分析      在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种...
  spark SQL 大数据