- 目录 聚合操作 聚合 reduce 定义 案例 折叠 fold 定义 案例 聚合操作 聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中 聚合 reduce reduce表示将列表，传入一个函数进行聚合计算 定义 方法签名... 目录 聚合操作 聚合 reduce 定义 案例 折叠 fold 定义 案例 聚合操作 聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中 聚合 reduce reduce表示将列表，传入一个函数进行聚合计算 定义 方法签名...
- 目录 继承(extends) 简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符 调用父类的constructor 抽象类 抽象方法 抽象字段 匿名内部类 继承(extends) 简单... 目录 继承(extends) 简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符 调用父类的constructor 抽象类 抽象方法 抽象字段 匿名内部类 继承(extends) 简单...
- 目录 数组 重点掌握 定长数组 变长数组 遍历数组 数组常用算法 数组 重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组 定长数组 定长数组指的是数组的长度是不允许改变的数... 目录 数组 重点掌握 定长数组 变长数组 遍历数组 数组常用算法 数组 重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组 定长数组 定长数组指的是数组的长度是不允许改变的数...
- 目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型 图中的每个节点称为一个Znode。 每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间... 目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型 图中的每个节点称为一个Znode。 每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间...
- 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-... 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-...
- 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ... 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...
- 大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部... 大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部...
- 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin... 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin...
- 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室... 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室...
- 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态... 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态...
- 目录 函数式编程 介绍 函数式编程的意义在哪？ 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/... 目录 函数式编程 介绍 函数式编程的意义在哪？ 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/...
- 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方... 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...
- 字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。 参考代码 scala> p... 字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。 参考代码 scala> p...
- 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制，可以应用在很多场景： switch语句类型查询以及快速获取数据 简单... 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制，可以应用在很多场景： switch语句类型查询以及快速获取数据 简单...
- 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB... 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签