- 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-... 目录 Flink-Window操作 为什么需要Window Window的分类 按照time和count分类 按照slide和size分类 总结 Window的API window和windowAll WindowAssigner evictor-...
- 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ... 本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...
- 大数据开发工程师,看起来很高端。但很多时候都是脱离不了开发的层面,基本上大部分人都是api的调用者。除了少部... 大数据开发工程师,看起来很高端。但很多时候都是脱离不了开发的层面,基本上大部分人都是api的调用者。除了少部...
- 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin... 目录 SparkStreaming数据抽象-DStream DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream DStream 是什么 Spark Streamin...
- 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义: Spark框架概述 Spark 是加州大学伯克利分校AMP实验室(Algorithms Machines and People Lab)开发的通用大数据出来框架。Spark生态栈也称为BDAS,是伯克利AMP实验室... 目录 Spark框架概述 Spark 是什么 分布式内存迭代计算框架 官方定义: Spark框架概述 Spark 是加州大学伯克利分校AMP实验室(Algorithms Machines and People Lab)开发的通用大数据出来框架。Spark生态栈也称为BDAS,是伯克利AMP实验室...
- 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection,采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器,编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态... 目录 ZooKeeper选举机制 概念 全新集群选举 非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection,采用投票数大于半数则胜出的逻辑。 概念 服务器ID 比如有三台服务器,编号分别是1,2,3。 编号越大在选择算法中的权重越大。 选举状态...
- 目录 函数式编程 介绍 函数式编程的意义在哪? 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/... 目录 函数式编程 介绍 函数式编程的意义在哪? 函数式编程 介绍 我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。 现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数 传递给另一个方法/...
- 之前做过一个大数据离线数仓项目,然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方... 之前做过一个大数据离线数仓项目,然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...
- 字符串 scala提供多种定义字符串的方式,将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop",请打印他的名字以及名字的长度。 参考代码 scala> p... 字符串 scala提供多种定义字符串的方式,将来我们可以根据需要来选择最方便的定义方式。 使用双引号使用插值表达式使用三引号 使用双引号 语法 val/var 变量名 = “字符串” 示例 有一个人的名字叫"hadoop",请打印他的名字以及名字的长度。 参考代码 scala> p...
- 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制,可以应用在很多场景: switch语句类型查询以及快速获取数据 简单... 目录 模式匹配 简单匹配 守卫 匹配类型 匹配集合 变量声明中的模式匹配 匹配样例类 - 常用 Option类型 - 重点掌握经常用 偏函数 - 理解 正则表达式 - 了解 模式匹配 scala中有一个非常强大的模式匹配机制,可以应用在很多场景: switch语句类型查询以及快速获取数据 简单...
- 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB... 大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB...
- 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink... 目录 API 获取环境 创建表 查询表 Table API SQL 写出表 与DataSet/DataStream集成 TableAPI SQLAPI API 获取环境 https://ci.apache.org/projects/flink/flink...
- 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作,也是必须要掌握的。 定义 可以把flatMap,理解为先map,然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f... 目录 扁平化映射 | flatMap 定义 案例 扁平化映射 flatMap 扁平化映射也是将来用得非常多的操作,也是必须要掌握的。 定义 可以把flatMap,理解为先map,然后再flatten 就是说, 我们对待处理列表, 正常我们处理它 需要 先对其进行map操作, 然后再进行f...
- 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb... 目录 异常处理 捕获异常 抛出异常 异常处理 Scala中 无需在方法上声明异常 来看看下面一段代码。 def main(args: Array[String]): Unit = { val i =&nb...
- 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行,离不开它最重要的四个基石:Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan... 目录 Flink四大基石 Checkpoint State Time Window Flink四大基石 Flink之所以能这么流行,离不开它最重要的四个基石:Checkpoint、State、Time、Window。 Checkpoint 这是Flink最重要的一个特性。 Flink基于Chan...
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/14 周二 16:30-18:00
张俭 华为云IoT DTSE技术布道师
作为开发者的你是否也想加入开源社区?本期物联网平台资深“程序猿”,开源专家张俭,为你揭秘华为云IoT如何借助开源构建可靠、开放、易用的物联网平台,并手把手教你玩转开源社区!
去报名
热门标签