大数据_标签_开发者_华为云

博客(3.1k)
视频(24)
论坛(0)
云声(0)
代码示例(0)

2021年大数据Flink（二十二）：Time与Watermaker
目录 Flink-Time与Watermaker Time分类 EventTime的重要性示例1 示例2 示例3 示例4 总结 Watermaker水印机制/水位线机制什么是Watermaker？如何计算Watermaker？ Water...

Lansonli
发表于2021-09-29 00:16:12
3210 0 0

3.2k 0 0

目录 Flink-Time与Watermaker Time分类 EventTime的重要性示例1 示例2 示例3 示例4 总结 Watermaker水印机制/水位线机制什么是Watermaker？如何计算Watermaker？ Water...
Flink 大数据
2021年大数据Spark（二十八）：SparkSQL案例三电影评分数据分析
目录案例三：电影评分数据分析代码实现 Shuffle分区数案例三：电影评分数据分析      使用电影评分数据进行数据分析，分别使用DSL编程和SQL编程，熟悉数据处理函数及SQL使用，业务需求说明：对电影评分数据进行统计分析，获取Top10电影（电影评分平均值最高...

Lansonli
发表于2021-09-29 00:11:05
4665 0 0

4.6k 0 0

目录案例三：电影评分数据分析代码实现 Shuffle分区数案例三：电影评分数据分析      使用电影评分数据进行数据分析，分别使用DSL编程和SQL编程，熟悉数据处理函数及SQL使用，业务需求说明：对电影评分数据进行统计分析，获取Top10电影（电影评分平均值最高...
spark 大数据数据挖掘
2021年大数据Spark（三十八）：SparkStreaming实战案例三状态恢复扩展
目录 SparkStreaming实战案例三 状态恢复-扩展需求代码实现 SparkStreaming实战案例三 状态恢复-扩展需求在上面的基础之上实现SparkStreaming程序停止之后再启动时还能够接着上次的结果进行累加如: 先发送spark,得到spark,1 再发送spa...

Lansonli
发表于2021-09-28 23:57:11
2778 0 0

2.7k 0 0

目录 SparkStreaming实战案例三 状态恢复-扩展需求代码实现 SparkStreaming实战案例三 状态恢复-扩展需求在上面的基础之上实现SparkStreaming程序停止之后再启动时还能够接着上次的结果进行累加如: 先发送spark,得到spark,1 再发送spa...
spark 大数据
2021年大数据ZooKeeper（二）：ZooKeeper集群搭建
目录 ZooKeeper集群搭建第一步：下载zookeeeper的压缩包，下载网址如下第二步：解压第三步：修改配置文件第四步：添加myid配置第五步：安装包分发并修改myid的值第六步：三台机器启动zookeeper服务 ZooKeeper集群搭建 Zookeeper...

Lansonli
发表于2021-09-28 23:52:07
4705 0 0

4.7k 0 0

目录 ZooKeeper集群搭建第一步：下载zookeeeper的压缩包，下载网址如下第二步：解压第三步：修改配置文件第四步：添加myid配置第五步：安装包分发并修改myid的值第六步：三台机器启动zookeeper服务 ZooKeeper集群搭建 Zookeeper...
ZooKeeper 大数据
2021年大数据Flink（十九）：案例一基于时间的滚动和滑动窗口
目录案例一基于时间的滚动和滑动窗口需求代码实现案例一基于时间的滚动和滑动窗口需求 nc -lk 9999 有如下数据表示: 信号灯编号和通过该信号灯的车的数量 9,3 9,2 9,7 4,9 2,6 1,5 2,3 5,7 5,4 需求1:每5秒钟统计一次，最近5秒钟内，各个路口通过红...

Lansonli
发表于2021-09-28 23:50:47
3465 0 0

3.4k 0 0

目录案例一基于时间的滚动和滑动窗口需求代码实现案例一基于时间的滚动和滑动窗口需求 nc -lk 9999 有如下数据表示: 信号灯编号和通过该信号灯的车的数量 9,3 9,2 9,7 4,9 2,6 1,5 2,3 5,7 5,4 需求1:每5秒钟统计一次，最近5秒钟内，各个路口通过红...
Flink 大数据
2021年大数据常用语言Scala（三十七）：scala高级用法高阶函数用法
目录高阶函数用法作为值的函数匿名函数柯里化（多参数列表）闭包高阶函数用法 Scala 混合了面向对象和函数式的特性，在函数式编程语言中，函数是“头等公民”，它和Int、String、Class等其他类型处于同等的地位，可以像其他任何数据类型一样被传递和操作。高阶函数包含：作为值的函数、匿名函数、闭包、柯里...

Lansonli
发表于2021-09-28 23:45:23
3486 0 0

3.4k 0 0

目录高阶函数用法作为值的函数匿名函数柯里化（多参数列表）闭包高阶函数用法 Scala 混合了面向对象和函数式的特性，在函数式编程语言中，函数是“头等公民”，它和Int、String、Class等其他类型处于同等的地位，可以像其他任何数据类型一样被传递和操作。高阶函数包含：作为值的函数、匿名函数、闭包、柯里...
Scala 大数据
2021年大数据常用语言Scala（十一）：基础语法学习方法参数
目录方法参数默认参数带名参数变长参数方法参数 scala中的方法参数，使用比较灵活。它支持以下几种类型的参数：默认参数带名参数变长参数   默认参数在定义方法时可以给参数定义一个默认值。示例定义一个计算两个值相加的方法，这两个值默认为0 调用该方法，不传任何参数参考代码 // ...

Lansonli
发表于2021-09-28 23:43:36
3155 0 0

3.1k 0 0

目录方法参数默认参数带名参数变长参数方法参数 scala中的方法参数，使用比较灵活。它支持以下几种类型的参数：默认参数带名参数变长参数   默认参数在定义方法时可以给参数定义一个默认值。示例定义一个计算两个值相加的方法，这两个值默认为0 调用该方法，不传任何参数参考代码 // ...
Scala 大数据
2021年大数据Flink（二十四）：Allowed Lateness案例演示
Allowed Lateness案例演示需求有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。并使用OutputTag+allowedLateness解决数据丢失问题 ...

Lansonli
发表于2021-09-28 23:41:49
3283 0 0

3.2k 0 0

Allowed Lateness案例演示需求有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。并使用OutputTag+allowedLateness解决数据丢失问题 ...
Flink 大数据
2021年大数据常用语言Scala（四）：基础语法学习声明变量
目录声明变量语法格式在解释器中定义一个变量 val和var变量使用类型推断来定义变量  惰性赋值声明变量我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？语法格式 Java变量定义 int a = 0; 在scala中，可以使用val或者v...

Lansonli
发表于2021-09-28 23:38:45
3167 0 0

3.1k 0 0

目录声明变量语法格式在解释器中定义一个变量 val和var变量使用类型推断来定义变量  惰性赋值声明变量我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？语法格式 Java变量定义 int a = 0; 在scala中，可以使用val或者v...
Scala 大数据
2021年大数据常用语言Scala（二十七）：函数式编程聚合操作
目录聚合操作聚合  reduce 定义案例折叠  fold 定义案例聚合操作聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中   聚合  reduce reduce表示将列表，传入一个函数进行聚合计算   定义方法签名...

Lansonli
发表于2021-09-28 23:35:15
3223 0 0

3.2k 0 0

目录聚合操作聚合  reduce 定义案例折叠  fold 定义案例聚合操作聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中   聚合  reduce reduce表示将列表，传入一个函数进行聚合计算   定义方法签名...
Scala 大数据
2021年大数据常用语言Scala（三十）：scala面向对象继承(extends) 
  目录继承(extends)  简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符调用父类的constructor 抽象类抽象方法抽象字段匿名内部类继承(extends)  简单...

Lansonli
发表于2021-09-28 23:35:01
3322 0 0

3.3k 0 0

  目录继承(extends)  简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符调用父类的constructor 抽象类抽象方法抽象字段匿名内部类继承(extends)  简单...
Java Scala 大数据面向对象编程
2021年大数据常用语言Scala（十四）：基础语法学习数组  重点掌握
目录数组  重点掌握定长数组变长数组遍历数组数组常用算法数组  重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组   定长数组定长数组指的是数组的长度是不允许改变的数...

Lansonli
发表于2021-09-28 23:32:38
3533 0 0

3.5k 0 0

目录数组  重点掌握定长数组变长数组遍历数组数组常用算法数组  重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组   定长数组定长数组指的是数组的长度是不允许改变的数...
Java Scala 大数据数据结构
2021年大数据ZooKeeper（三）：Zookeeper数据模型和节点类型
目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型图中的每个节点称为一个Znode。每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间...

Lansonli
发表于2021-09-28 23:29:05
3449 0 0

3.4k 0 0

目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型图中的每个节点称为一个Znode。每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间...
ZooKeeper 大数据
2021年大数据Flink（十八）：Flink Window操作
目录 Flink-Window操作为什么需要Window Window的分类按照time和count分类按照slide和size分类总结 Window的API window和windowAll WindowAssigner evictor-...

Lansonli
发表于2021-09-28 23:24:26
3400 0 0

3.4k 0 0

目录 Flink-Window操作为什么需要Window Window的分类按照time和count分类按照slide和size分类总结 Window的API window和windowAll WindowAssigner evictor-...
Flink 大数据
reduce端join与map端join算法实现
        本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...

大数据梦想家
发表于2021-09-28 23:24:12
2486 0 0

2.4k 0 0

        本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...
大数据

上滑加载中

推荐直播

热门标签

Java Python 数据结构数据库 Linux 机器学习网络任务调度 MySQL JavaScript