- 目录 RDD、DF、DS相关操作 SparkSQL初体验 SparkSession 应用入口 获取DataFrame/DataSet 使用样例类 指定类型+列名 自定义Schema RDD、DF、DS相互转换 RDD、DF、DS相关操作 SparkSQL初体验 Spark... 目录 RDD、DF、DS相关操作 SparkSQL初体验 SparkSession 应用入口 获取DataFrame/DataSet 使用样例类 指定类型+列名 自定义Schema RDD、DF、DS相互转换 RDD、DF、DS相关操作 SparkSQL初体验 Spark...
- 1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。 答：Spark具有如下4个主要特点： ①运行速度快；②容易使用；③通用性；④运行模式多样。  ... 1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。 答：Spark具有如下4个主要特点： ①运行速度快；②容易使用；③通用性；④运行模式多样。  ...
- 目录 Spark内核原理 RDD 依赖 窄依赖（Narrow Dependency） Shuffle 依赖（宽依赖 Wide Dependency） 如何区分宽窄依赖 DAG和Stage 词汇表 Spark内存迭代 所以，我们说Spark比MR效率高主要就是2个原... 目录 Spark内核原理 RDD 依赖 窄依赖（Narrow Dependency） Shuffle 依赖（宽依赖 Wide Dependency） 如何区分宽窄依赖 DAG和Stage 词汇表 Spark内存迭代 所以，我们说Spark比MR效率高主要就是2个原...
- 目录 SparkStreaming实战案例二 UpdateStateByKey 需求 1.updateStateByKey 2.mapWithState 代码实现 SparkStreaming实战案例二 UpdateStateByKey 需求 对从Socket接收的数据做WordCount并要求能够和历史数据进行累加!... 目录 SparkStreaming实战案例二 UpdateStateByKey 需求 1.updateStateByKey 2.mapWithState 代码实现 SparkStreaming实战案例二 UpdateStateByKey 需求 对从Socket接收的数据做WordCount并要求能够和历史数据进行累加!...
- 本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。 &... 本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。 &...
- 目录 Flink安装部署 Local本地模式 原理 操作 测试 Flink安装部署 Flink支持多种安装模式 - Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用-... 目录 Flink安装部署 Local本地模式 原理 操作 测试 Flink安装部署 Flink支持多种安装模式 - Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用-...
- 目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执... 目录 Standalone-HA高可用集群模式 原理 操作 1.集群规划 2.启动ZooKeeper 3.启动HDFS 4.停止Flink集群 5.修改flink-conf.yaml 6.修改masters 7.同步 8.修改node2上的flink-conf.yaml 9.重新启动Flink集群,node1上执...
- 目录 Source 预定义Source 基于集合的Source 基于文件的Source 基于Socket的Source 自定义Source 随机生成数据 MySQL Source 预定义Source 基于集合的Source API 一般用于学习测试... 目录 Source 预定义Source 基于集合的Source 基于文件的Source 基于Socket的Source 自定义Source 随机生成数据 MySQL Source 预定义Source 基于集合的Source API 一般用于学习测试...
- 目录 break和continue 实现break 实现continue break和continue 在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。 ... 目录 break和continue 实现break 实现continue break和continue 在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。 ...
- 目录 隐式转换和隐式参数 隐式转换 自动导入隐式转换方法 隐式转换的时机 隐式参数 隐式转换和隐式参数 隐式转换和隐式参数是scala非常有特色的功能，也是Java等其他编程语言没有的功能。我们可以很方便地利用隐式转换来丰富现有类的功能。 隐式转换 来看一个案例， object Super... 目录 隐式转换和隐式参数 隐式转换 自动导入隐式转换方法 隐式转换的时机 隐式参数 隐式转换和隐式参数 隐式转换和隐式参数是scala非常有特色的功能，也是Java等其他编程语言没有的功能。我们可以很方便地利用隐式转换来丰富现有类的功能。 隐式转换 来看一个案例， object Super...
- 目录 iterator迭代器 使用迭代器遍历集合 iterator迭代器 scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合 使用迭代器遍历集合 使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作 hasNext——查询容器中是否有下一个元素next——返... 目录 iterator迭代器 使用迭代器遍历集合 iterator迭代器 scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合 使用迭代器遍历集合 使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作 hasNext——查询容器中是否有下一个元素next——返...
- 本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R... 本篇博客，博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。 文章目录 键值对R...
- 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,... 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,...
- 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No... 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No...
- 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok... 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签