- 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让... 目的安装Spark在spark-shell中运行代码编写Spark独立应用程序 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让...
- 讲一下spark 的运行架构👉Cluster Manager(Master)：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器👉 Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。👉 Driver： 运行Application 的main()函数👉 Executor：执行器，是为某个App... 讲一下spark 的运行架构👉Cluster Manager(Master)：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器👉 Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。👉 Driver： 运行Application 的main()函数👉 Executor：执行器，是为某个App...
- Spark SQL三种joinMysql 的 join怎么实现的?对于Spark来说有3中Join的实现，每种 Join对应着不同的应用场景:Broadcast Hash Join:适合一张较小的表和一张大表进行joinShuffle Hash Join :适合一张小表和一张大表进行join,或者是两张小表之间的joinSort Merge Join:适合两张较大的表之间进行 joinHa... Spark SQL三种joinMysql 的 join怎么实现的?对于Spark来说有3中Join的实现，每种 Join对应着不同的应用场景:Broadcast Hash Join:适合一张较小的表和一张大表进行joinShuffle Hash Join :适合一张小表和一张大表进行join,或者是两张小表之间的joinSort Merge Join:适合两张较大的表之间进行 joinHa...
- RDD是弹性分布式数据集，通常RDD很大，会被分成很多个分区，分别保存在不同的节点上 1.分区的作用（1）增加并行度（2）减少通信开销UserData（UserId，UserInfo）Events（UserID，LinkInfo）UserData 和Events 表进行连接操作，获得（UserID，UserInfo，LinkInfo） 2.RDD分区原则RDD分区的一个原则是使得分区的个数尽... RDD是弹性分布式数据集，通常RDD很大，会被分成很多个分区，分别保存在不同的节点上 1.分区的作用（1）增加并行度（2）减少通信开销UserData（UserId，UserInfo）Events（UserID，LinkInfo）UserData 和Events 表进行连接操作，获得（UserID，UserInfo，LinkInfo） 2.RDD分区原则RDD分区的一个原则是使得分区的个数尽...
- 背景：数据湖里面建表，可以使用DataSource语法或Hive语法 ，两种建表语法创建的OBS表（即外表）在运行job时，在分区表下的文件夹路径会有所不同，DataSource语法创建的OBS分区表路径生成无规律，不利于CDM做数据的增量导出。 背景：数据湖里面建表，可以使用DataSource语法或Hive语法 ，两种建表语法创建的OBS表（即外表）在运行job时，在分区表下的文件夹路径会有所不同，DataSource语法创建的OBS分区表路径生成无规律，不利于CDM做数据的增量导出。
- 前面文章基于Java实现Avro文件读写功能我们说到如何使用java读写avro文件，本文基于上述文章进行扩展，展示flink和spark如何读取avro文件。 Flink读写avro文件flink支持avro文件格式，内置如下依赖：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-avro</artif... 前面文章基于Java实现Avro文件读写功能我们说到如何使用java读写avro文件，本文基于上述文章进行扩展，展示flink和spark如何读取avro文件。 Flink读写avro文件flink支持avro文件格式，内置如下依赖：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-avro</artif...
- 环境：hadoop 3.2.0spark 3.0.3-bin-hadoop3.2hudi 0.8.0本文基于上述组件版本使用spark插入数据到hudi数据湖中。为了确保以下各步骤能够成功完成，请确保hadoop集群正常启动。确保已经配置环境变量HADOOP_CLASSPATH对于开源版本hadoop，HADOOP_CLASSPATH配置为：export HADOOP_CLASSPATH=... 环境：hadoop 3.2.0spark 3.0.3-bin-hadoop3.2hudi 0.8.0本文基于上述组件版本使用spark插入数据到hudi数据湖中。为了确保以下各步骤能够成功完成，请确保hadoop集群正常启动。确保已经配置环境变量HADOOP_CLASSPATH对于开源版本hadoop，HADOOP_CLASSPATH配置为：export HADOOP_CLASSPATH=...
- 前言接上一篇文章，上篇文章说到hudi适配hbase 2.2.6，这篇文章在spark-shell中操作hudi，并使用hbase作为索引。要完成以下实验，请先确保你已经按照文章步骤对hudi进行适配。并且得到了hudi-spark3-bundle_2.12-0.9.0.jar当然，如果你想先做一个实验，那么可以从这里以下链接下载我已经编译好的jar包。hudi-spark3-bundle... 前言接上一篇文章，上篇文章说到hudi适配hbase 2.2.6，这篇文章在spark-shell中操作hudi，并使用hbase作为索引。要完成以下实验，请先确保你已经按照文章步骤对hudi进行适配。并且得到了hudi-spark3-bundle_2.12-0.9.0.jar当然，如果你想先做一个实验，那么可以从这里以下链接下载我已经编译好的jar包。hudi-spark3-bundle...
- 讲一下spark的几种部署方式目前,除了local模式为本地调试模式以为, Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARNStandalone模式即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一定程度上说，该模式是其他两种的基础。目前Spark在standalone模式下是没有任... 讲一下spark的几种部署方式目前,除了local模式为本地调试模式以为, Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARNStandalone模式即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从一定程度上说，该模式是其他两种的基础。目前Spark在standalone模式下是没有任...
- Spark的shuffle介绍shuffle简介:在 DAG 阶段以shuffle为界，划分 stage，上游 stage做 map task，每个maptask将计算结果数据分成多份，每一份对应到下游stage 的每个partition中，并将其临时写到磁盘,该过程叫做shuffle write;下游stage 做reduce task,每个reduce task通过网络拉取上游 sta... Spark的shuffle介绍shuffle简介:在 DAG 阶段以shuffle为界，划分 stage，上游 stage做 map task，每个maptask将计算结果数据分成多份，每一份对应到下游stage 的每个partition中，并将其临时写到磁盘,该过程叫做shuffle write;下游stage 做reduce task,每个reduce task通过网络拉取上游 sta...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创✍🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3创建测试类【day1/demo9.sc... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创✍🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3创建测试类【day1/demo9.sc...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创✍🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala ... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创✍🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求Scala ...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求 ... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求 ...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求创建测试类：基本... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗💝初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】💝环境需求环境：win10开发工具：IntelliJ IDEA 2021.2maven版本：3.6.3目录📋前言📋环境需求创建测试类：基本...
- 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗导读：为了对初学者可以进行友好的交流，本文通过windows的idea快速搭建spark的运行环境，让初学者可以快速的感受spark带来的惊艳感受。Linux效果更佳，但是对初学者没那么友好，咱们先搞定windows之后再琢... 📋前言📋💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝✍本文由在下【红目香薰】原创🤗2022年最大愿望：【服务百万技术人次】🤗导读：为了对初学者可以进行友好的交流，本文通过windows的idea快速搭建spark的运行环境，让初学者可以快速的感受spark带来的惊艳感受。Linux效果更佳，但是对初学者没那么友好，咱们先搞定windows之后再琢...
上滑加载中
推荐直播
-
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签