- 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,... 目录 Map对象 不可变Map 可变Map Map基本操作 Map对象 Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。 不可变Map 定义 语法 val/var map = Map(键->值, 键->值,...
- 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No... 环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。 如何解决这个单点故障的问题，Spark提供了两种方案： 1.基于文件系统的单点恢复(Single-No...
- 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok... 目录 案例三 会话窗口 需求 代码实现 案例三 会话窗口 需求 设置会话超时时间为10s,10s内没有数据到来,则触发上个窗口的计算 代码实现 package cn.itcast.window; import lombok.AllArgsConstructor;import lombok...
- 目录 Spark 框架模块-了解 Spark Core Spark SQL Spark Streaming Spark MLlib Spark GraphX Structured Streaming Spark 框架模块-了解 ... 目录 Spark 框架模块-了解 Spark Core Spark SQL Spark Streaming Spark MLlib Spark GraphX Structured Streaming Spark 框架模块-了解 ...
- 本篇博客，为大家带来的是关于大数据实战【千亿级数仓】阶段五的内容。  ... 本篇博客，为大家带来的是关于大数据实战【千亿级数仓】阶段五的内容。  ...
- 目录 环境搭建-Standalone 前言 Standalone 架构 集群规划 修改配置并分发 修改slaves 分发到其他机器 修改spark-env.sh 集群启动和停止 测试 环境搭建-Standalone Standalone模式是Spar... 目录 环境搭建-Standalone 前言 Standalone 架构 集群规划 修改配置并分发 修改slaves 分发到其他机器 修改spark-env.sh 集群启动和停止 测试 环境搭建-Standalone Standalone模式是Spar...
- 目录 环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置 修改spark-env.sh 整合历史服务器并关闭资源检查 整合Yarn历史服务器并关闭资源检查 配置spark历史服务器 修改spark-env.sh 设置日志级别 ... 目录 环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置 修改spark-env.sh 整合历史服务器并关闭资源检查 整合Yarn历史服务器并关闭资源检查 配置spark历史服务器 修改spark-env.sh 设置日志级别 ...
- 目录 单例对象 定义object - 掌握 伴生对象 - 掌握 apply方法 - 掌握 main方法 单例对象 Scala中没有static关键字，但是它支持静态 如果要定义静态的东西，统统定义到object中 语法： object xxx{ // 内容 } 反向理解，clas... 目录 单例对象 定义object - 掌握 伴生对象 - 掌握 apply方法 - 掌握 main方法 单例对象 Scala中没有static关键字，但是它支持静态 如果要定义静态的东西，统统定义到object中 语法： object xxx{ // 内容 } 反向理解，clas...
- 目录 映射 | map 用法 案例一 案例二 映射 map 集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。 map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表 和foreach... 目录 映射 | map 用法 案例一 案例二 映射 map 集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。 map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表 和foreach...
- 目录 RDD算子练习 map 算子 filter 算子 flatMap 算子 交集、并集、差集、笛卡尔积 distinct 算子 first、take、top 算子 keys、values 算子 mapValues 算子 ... 目录 RDD算子练习 map 算子 filter 算子 flatMap 算子 交集、并集、差集、笛卡尔积 distinct 算子 first、take、top 算子 keys、values 算子 mapValues 算子 ...
- 目录 案例三 需求 编码步骤 代码实现-方式1 代码实现-方式2 案例三 需求 使用Flink SQL来统计5秒内 每个用户的 订单总数、订单的最大金额、订单的最小金额 也就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额 上面的需求... 目录 案例三 需求 编码步骤 代码实现-方式1 代码实现-方式2 案例三 需求 使用Flink SQL来统计5秒内 每个用户的 订单总数、订单的最大金额、订单的最小金额 也就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额 上面的需求...
- 目录 函数 重点掌握 定义函数 方法和函数的区别 方法转换为函数 完全体函数 函数 重点掌握 scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数 函数和我们的对象一样, 在Scala中都是属于一等公民 定义函数 简便语法 val 函数变量... 目录 函数 重点掌握 定义函数 方法和函数的区别 方法转换为函数 完全体函数 函数 重点掌握 scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数 函数和我们的对象一样, 在Scala中都是属于一等公民 定义函数 简便语法 val 函数变量...
- 目录 BroadcastState BroadcastState介绍 需求-实现配置动态更新 编码步骤 1.env 2.source 3.transformation 4.sink 5.execute 参考实现 实现代码 BroadcastState BroadcastState介... 目录 BroadcastState BroadcastState介绍 需求-实现配置动态更新 编码步骤 1.env 2.source 3.transformation 4.sink 5.execute 参考实现 实现代码 BroadcastState BroadcastState介...
- 目录 泛型 定义一个泛型方法 定义一个泛型类 上下界 协变、逆变、非变 非变 协变 逆变 泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs... 目录 泛型 定义一个泛型方法 定义一个泛型类 上下界 协变、逆变、非变 非变 协变 逆变 泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs...
- 目录 一、Scala简介 为什么使用scala Scala对比Java 案例 一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程 多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进... 目录 一、Scala简介 为什么使用scala Scala对比Java 案例 一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程 多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签