- 前段时间做过一个大数据离线数仓的项目,前后花了有好几周的时间。一共是6个阶段,想关注阶段细节的朋友可以查看?... 前段时间做过一个大数据离线数仓的项目,前后花了有好几周的时间。一共是6个阶段,想关注阶段细节的朋友可以查看?...
- 目录 Operations 操作 官网示例代码: Operations 操作 获得到Source之后的基本数据处理方式和之前学习的DataFrame、DataSet一致,不再赘述 官网示例代码: case class DeviceData... 目录 Operations 操作 官网示例代码: Operations 操作 获得到Source之后的基本数据处理方式和之前学习的DataFrame、DataSet一致,不再赘述 官网示例代码: case class DeviceData...
- 目录 提取器(Extractor) 定义提取器 提取器(Extractor) 我们之前已经使用过scala中非常强大的模式匹配功能了,通过模式匹配,我们可以快速匹配样例类中的成员变量。例如: // 定义样例类case class SubmitTask(id: String... 目录 提取器(Extractor) 定义提取器 提取器(Extractor) 我们之前已经使用过scala中非常强大的模式匹配功能了,通过模式匹配,我们可以快速匹配样例类中的成员变量。例如: // 定义样例类case class SubmitTask(id: String...
- 全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。 目录 系列历史文章 安装Elasticsearch-head插件 一、安装nodejs 1、下载安装包 2、创建软连接 3、修改环境变量 二、在线安装(网速慢,不推荐) 1、在线... 全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。 目录 系列历史文章 安装Elasticsearch-head插件 一、安装nodejs 1、下载安装包 2、创建软连接 3、修改环境变量 二、在线安装(网速慢,不推荐) 1、在线...
- 目录 Watermaker案例演示 需求 API 代码实现-1-开发版-掌握 代码实现-2-验证版-了解 Watermaker案例演示 需求 有订单数据,格式为: (订单ID,用户ID,时间戳/事件时间,订单金额) 要求每隔5s,计算5秒内,每个用户的订单总金额 并添加Watermaker来解决一定程... 目录 Watermaker案例演示 需求 API 代码实现-1-开发版-掌握 代码实现-2-验证版-了解 Watermaker案例演示 需求 有订单数据,格式为: (订单ID,用户ID,时间戳/事件时间,订单金额) 要求每隔5s,计算5秒内,每个用户的订单总金额 并添加Watermaker来解决一定程...
- 目录 方法调用方式 后缀调用法 中缀调用法 操作符即方法 花括号调用法 无括号调用法 方法调用方式 在scala中,有以下几种方法调用方式, 后缀调用法中缀调用法花括号调用法无括号调用法 在后续编写spark、flink程序时,我们会使用到这些方法调用方式。 后缀调用法 这种方法与Java没有区别... 目录 方法调用方式 后缀调用法 中缀调用法 操作符即方法 花括号调用法 无括号调用法 方法调用方式 在scala中,有以下几种方法调用方式, 后缀调用法中缀调用法花括号调用法无括号调用法 在后续编写spark、flink程序时,我们会使用到这些方法调用方式。 后缀调用法 这种方法与Java没有区别...
- 目录 样例类 定义样例类 样例类方法 样例对象 样例类 样例类是一种特殊类,它可以用来快速定义一个用于保存数据的类(类似于Java POJO类),而且它会自动生成apply方法,允许我们快速地创建样例类实例对象。后面,在并发编程和spark、flink这些框架也都会经常使用它。 定义样例类 语法结构: ... 目录 样例类 定义样例类 样例类方法 样例对象 样例类 样例类是一种特殊类,它可以用来快速定义一个用于保存数据的类(类似于Java POJO类),而且它会自动生成apply方法,允许我们快速地创建样例类实例对象。后面,在并发编程和spark、flink这些框架也都会经常使用它。 定义样例类 语法结构: ...
- 目录 总结 Flink-SQL常用算子 SELECT WHERE DISTINCT GROUP BY UNION 和 UNION ALL JOIN Group Window Tumble Window ... 目录 总结 Flink-SQL常用算子 SELECT WHERE DISTINCT GROUP BY UNION 和 UNION ALL JOIN Group Window Tumble Window ...
- 目录 Sink 预定义Sink 基于控制台和文件的Sink 自定义Sink MySQL Sink 预定义Sink 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds.... 目录 Sink 预定义Sink 基于控制台和文件的Sink 自定义Sink MySQL Sink 预定义Sink 基于控制台和文件的Sink API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输出到控制台,用红色 3.ds....
- 条件表达式 条件表达式就是if表达式,if表达式可以根据给定的条件是否满足,根据条件的结果(真或假)决定执行对应的操作。scala条件表达式的语法和Java一样。 有返回值的if 与Java不一样的是, [!NOTE] 在scala中,条件表达式也是有返回值的在scala中,没有三元表达式,可以使用if表达式替... 条件表达式 条件表达式就是if表达式,if表达式可以根据给定的条件是否满足,根据条件的结果(真或假)决定执行对应的操作。scala条件表达式的语法和Java一样。 有返回值的if 与Java不一样的是, [!NOTE] 在scala中,条件表达式也是有返回值的在scala中,没有三元表达式,可以使用if表达式替...
- 目录 列表 List 重点掌握 不可变列表定义 可变列表 列表常用操作 列表 List 重点掌握 列表是scala中最重要的、也是最常用的数据结构。List具备以下性质: 可以保存重复的值有先后顺序 在scala中,也有两种列表,一种是不可变列表、另一种是可变列表 不可变列表定义 不可变列表就是列表的... 目录 列表 List 重点掌握 不可变列表定义 可变列表 列表常用操作 列表 List 重点掌握 列表是scala中最重要的、也是最常用的数据结构。List具备以下性质: 可以保存重复的值有先后顺序 在scala中,也有两种列表,一种是不可变列表、另一种是可变列表 不可变列表定义 不可变列表就是列表的...
- 目录 元组 重点掌握 定义元组 访问元组 元组 重点掌握 元组可以用来包含一组不同类型的值。例如:姓名,年龄,性别,出生年月。元组的元素是不可变的。 数组: 同一类数据成组 元组: 不同的元素成组 元祖内容(元素)不可变 定义元组 语法 方式1: 使用括号来定义元组 va... 目录 元组 重点掌握 定义元组 访问元组 元组 重点掌握 元组可以用来包含一组不同类型的值。例如:姓名,年龄,性别,出生年月。元组的元素是不可变的。 数组: 同一类数据成组 元组: 不同的元素成组 元祖内容(元素)不可变 定义元组 语法 方式1: 使用括号来定义元组 va...
- 目录 排序 默认排序 sorted 指定字段排序 sortBy 自定义排序 | sortWith 排序 在scala集合中,可以使用以下几种方式来进行排序 sorted默认排序sortBy指定字段排序sortWith自定义排序 默认排序 sorted 示例 定义一个... 目录 排序 默认排序 sorted 指定字段排序 sortBy 自定义排序 | sortWith 排序 在scala集合中,可以使用以下几种方式来进行排序 sorted默认排序sortBy指定字段排序sortWith自定义排序 默认排序 sorted 示例 定义一个...
- 目录 循环 for表达式 while循环 循环 在scala中,可以使用for和while,但一般推荐使用for表达式,因为for表达式语法更简洁 for表达式 语法 for(i <- 表达式/数组/集合) { // 表达式 } ... 目录 循环 for表达式 while循环 循环 在scala中,可以使用for和while,但一般推荐使用for表达式,因为for表达式语法更简洁 for表达式 语法 for(i <- 表达式/数组/集合) { // 表达式 } ...
- 目录 Connectors JDBC 代码演示 Connectors JDBC https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/jdbc.html 代码演示 package cn.itc... 目录 Connectors JDBC 代码演示 Connectors JDBC https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/connectors/jdbc.html 代码演示 package cn.itc...
上滑加载中
推荐直播
-
如何快速入驻O3使能伙伴服务作业平台
2024/04/18 周四 16:00-16:40
红喜 O3伙伴服务工作台技术总架构师
本期邀请O3伙伴服务工作台技术总架构师,讲解O3伙伴服务工作台的设计理念,及演示工作台关键能力与价值点,带你2步快速入驻工作台。O3伙伴服务工作台,具备在线Online、开放Open、协同Orchestration的特征,作为伙伴服务的统一入口,支持伙伴以租户方式入驻,涵盖伙伴工程师、管理者等多角色,是一个以伙伴服务领域全旅程作业为中心,整合华为服务各专业领域能力,开放共享的一站式作业平台。
回顾中 -
通用人工智能(AGI)到来前夕如何实现企业降本增效和应用现代化
2024/04/19 周五 14:00-16:00
李京峰 T3出行VP/CTO
李京峰是T3出行CTO,本次他将分享通用人工智能(AGI)到来前夕,如何实现企业降本增效和应用现代化。
即将直播 -
产教融合专家大讲堂·第①期《高校人才培养创新模式经验分享》
2024/04/25 周四 16:00-18:00
于晓东 上海杉达学院信息科学与技术学院副院长;崔宝才 天津电子信息职业技术学院电子与通信技术系主任
本期直播将与您一起探讨高校人才培养创新模式经验。
去报名
热门标签