- 目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型 图中的每个节点称为一个Znode。 每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间... 目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型 图中的每个节点称为一个Znode。 每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间...
- 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-... 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-...
- 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ... 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...
- 大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部... 大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部...
- 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin... 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin...
- 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室... 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室...
- 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态... 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器，编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态...
- 目录 函数式编程 介绍 函数式编程的意义在哪？ 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/... 目录 函数式编程 介绍 函数式编程的意义在哪？ 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/...
- 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方... 之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...
- 字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。 参考代码 scala> p... 字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。 参考代码 scala> p...
- 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制，可以应用在很多场景： switch语句类型查询以及快速获取数据 简单... 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制，可以应用在很多场景： switch语句类型查询以及快速获取数据 简单...
- 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB... 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB...
- 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink... 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink...
- 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作，也是必须要掌握的。 定义 可以把flatMap，理解为先map，然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f... 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作，也是必须要掌握的。 定义 可以把flatMap，理解为先map，然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f...
- 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb... 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb...
上滑加载中
推荐直播
-
华为云码道Skill实战与极速交付，智能开发全链路实战2026/07/22 周三 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；姜浩-华为云HCDG核心组成员
直播深度解读华为云码道6月产品新特性，从Skill市场安装专家技能，带你零距离体验从需求，开发，审查，重构全链路闭环的开发过程。从零构建并交付一个完整项目，让您体验从代码提交到服务上线的“极速”之旅。
回顾中 -
聚开发者之力，创具身新未来2026/07/23 周四 15:00-17:00
张豪杰/程文/王军/刘新春/黄钦开 /张晓天
本次华为云具身智能开发平台CloudRobo培训面向具身智能开发者，带您全流程体验机器人本体R2C小时级接入、环境重建与轨迹生成仿真数据生产、PB级数据管理、数据评测、模型训推、强化学习和Benchmark一键评测等功能，并体验业界主流具身模型应用。
回顾中
热门标签