- 目录 泛型 定义一个泛型方法 定义一个泛型类 上下界 协变、逆变、非变 非变 协变 逆变 泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs... 目录 泛型 定义一个泛型方法 定义一个泛型类 上下界 协变、逆变、非变 非变 协变 逆变 泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs...
- 目录 一、Scala简介 为什么使用scala Scala对比Java 案例 一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程 多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进... 目录 一、Scala简介 为什么使用scala Scala对比Java 案例 一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程 多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进...
- 1.试述分布式文件系统设计的需求。 设计需求含义HDFS的实现情况透明性具备访问透明性、位置透明性、性能、和伸缩透明性只能提供一定程度的访问透明性，完全支持位置透明性、性能和伸缩透明性并发控制客户端对于... 1.试述分布式文件系统设计的需求。 设计需求含义HDFS的实现情况透明性具备访问透明性、位置透明性、性能、和伸缩透明性只能提供一定程度的访问透明性，完全支持位置透明性、性能和伸缩透明性并发控制客户端对于...
- 目录 分组 groupBy 定义 示例 分组 groupBy 我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法 等同于SQL中的 group by的概念， 就是给数据按照指定的列进行分组用。 定义 groupBy表示按照函数将列表分成不同的组 方法签名 def&n... 目录 分组 groupBy 定义 示例 分组 groupBy 我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法 等同于SQL中的 group by的概念， 就是给数据按照指定的列进行分组用。 定义 groupBy表示按照函数将列表分成不同的组 方法签名 def&n...
- 目录 自定义UDF函数 第一种：UDF（User-Defined-Function） 函数 第二种：UDAF（User-Defined Aggregation Function） 聚合函数 第三种：UDTF（User-Defined Table-Generating Functions） 函数 SQL方式 DSL方式 代码... 目录 自定义UDF函数 第一种：UDF（User-Defined-Function） 函数 第二种：UDAF（User-Defined Aggregation Function） 聚合函数 第三种：UDTF（User-Defined Table-Generating Functions） 函数 SQL方式 DSL方式 代码...
- 目录 案例四 需求 代码实现 案例四 需求 从Kafka中消费数据并过滤出状态为success的数据再写入到Kafka {"user_id": "1", "page_id":"1", "status": "success"} {"user_id": "1", "page_id":"1", "... 目录 案例四 需求 代码实现 案例四 需求 从Kafka中消费数据并过滤出状态为success的数据再写入到Kafka {"user_id": "1", "page_id":"1", "status": "success"} {"user_id": "1", "page_id":"1", "...
- 目录 Zookeeper基本知识 ZooKeeper概述 ZooKeeper特性 ZooKeeper集群角色 Leader: Follower: Observer: Zookeeper基本知识 ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一... 目录 Zookeeper基本知识 ZooKeeper概述 ZooKeeper特性 ZooKeeper集群角色 Leader: Follower: Observer: Zookeeper基本知识 ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一...
- 目录 Standalone独立集群模式 原理 操作 1.集群规划: 2.修改flink-conf.yaml 3.修改masters 4.修改slaves 5.添加HADOOP_CONF_DIR环境变量 6.分发 7.source 测试 1.启动集群，在node1上执行如下命令 2.启动历史服务器 ... 目录 Standalone独立集群模式 原理 操作 1.集群规划: 2.修改flink-conf.yaml 3.修改masters 4.修改slaves 5.添加HADOOP_CONF_DIR环境变量 6.分发 7.source 测试 1.启动集群，在node1上执行如下命令 2.启动历史服务器 ...
- 目录 案例一：花式查询 案例二：WordCount 基于DSL编程 基于SQL编程 具体演示代码如下： 案例一：花式查询 package cn.itcast.sql import org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimp... 目录 案例一：花式查询 案例二：WordCount 基于DSL编程 基于SQL编程 具体演示代码如下： 案例一：花式查询 package cn.itcast.sql import org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimp...
- 目录 SparkStreaming实战案例五 TopN-transform 需求 注意： 代码实现 SparkStreaming实战案例五 TopN-transform 需求 使用窗口计算模拟热搜排行榜: 每隔10s计算最近20s的热搜排行榜! 注意： DStream没有直接排序的... 目录 SparkStreaming实战案例五 TopN-transform 需求 注意： 代码实现 SparkStreaming实战案例五 TopN-transform 需求 使用窗口计算模拟热搜排行榜: 每隔10s计算最近20s的热搜排行榜! 注意： DStream没有直接排序的...
- 目录 SparkSQL数据处理分析 基于DSL分析 基于SQL分析 第一步、注册为临时视图 第二步、编写SQL，执行分析 SparkSQL数据处理分析 在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种... 目录 SparkSQL数据处理分析 基于DSL分析 基于SQL分析 第一步、注册为临时视图 第二步、编写SQL，执行分析 SparkSQL数据处理分析 在SparkSQL模块中，将结构化数据封装到DataFrame或Dataset集合中后，提供两种...
- 目录 案例二 基于数量的滚动和滑动窗口 需求 代码实现 案例二 基于数量的滚动和滑动窗口 需求 需求1:统计在最近5条消息中,各自路口通过的汽车数量,相同的key每出现5次进行统计--基于数量的滚动窗口 需求2:统计在最近5条消息中,各自路口通过的汽车数量,相同的key每出现3次进行统计--基于数量的滑动窗... 目录 案例二 基于数量的滚动和滑动窗口 需求 代码实现 案例二 基于数量的滚动和滑动窗口 需求 需求1:统计在最近5条消息中,各自路口通过的汽车数量,相同的key每出现5次进行统计--基于数量的滚动窗口 需求2:统计在最近5条消息中,各自路口通过的汽车数量,相同的key每出现3次进行统计--基于数量的滑动窗...
- 目录 RDD Checkpoint 引入 API 代码演示 总结：持久化和Checkpoint的区别 问题: 答案: 区别: RDD Checkpoint 引入 RDD 数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘... 目录 RDD Checkpoint 引入 API 代码演示 总结：持久化和Checkpoint的区别 问题: 答案: 区别: RDD Checkpoint 引入 RDD 数据可以持久化，但是持久化/缓存可以把数据放在内存中，虽然是快速的，但是也是最不可靠的；也可以把数据放在磁盘...
- 目录 SparkSQL数据抽象 DataFrame 引入 DataFrame是什么 Schema 信息 Row Dataset 引入 Dataset 是什么 面试题：如何理解RDD、DataFrame和Dataset SparkSQL数据抽象 DataFrame 引入 就易用性而言，对比传统的MapRedu... 目录 SparkSQL数据抽象 DataFrame 引入 DataFrame是什么 Schema 信息 Row Dataset 引入 Dataset 是什么 面试题：如何理解RDD、DataFrame和Dataset SparkSQL数据抽象 DataFrame 引入 就易用性而言，对比传统的MapRedu...
- 目录 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 Catalyst 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 RDD 的运行流程 大致运行步骤 先将 RDD 解析为由 ... 目录 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 Catalyst 扩展阅读 SparkSQL底层如何执行 RDD 和 SparkSQL 运行时的区别 RDD 的运行流程 大致运行步骤 先将 RDD 解析为由 ...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中
热门标签