- 目录 Airflow架构及原理 一、Airflow架构 二、Airflow术语 三、Airflow工作原理 Airflow架构及原理 一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： &... 目录 Airflow架构及原理 一、Airflow架构 二、Airflow术语 三、Airflow工作原理 Airflow架构及原理 一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： &...
- 什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编... 什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编...
- 文章目录 一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock... 文章目录 一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock...
- 哈咯，各位小伙伴们，大家好呀 ~ 我是 梦想家 Alex！  ... 哈咯，各位小伙伴们，大家好呀 ~ 我是 梦想家 Alex！  ...
- 目录 主题及指标开发 一、主题开发业务流程 二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口 主题及指标开发 一、主题开发业务流程 二、离... 目录 主题及指标开发 一、主题开发业务流程 二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口 主题及指标开发 一、主题开发业务流程 二、离...
- 目录 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 二、将Canal数据转换成bean对象 三、完整代码 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 实现步骤： 消费kafka的 logistics Topic数据将消费到的数据转换... 目录 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 二、将Canal数据转换成bean对象 三、完整代码 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 实现步骤： 消费kafka的 logistics Topic数据将消费到的数据转换...
- 定义解析kafka数据的Bean对象类 一、定义消费kafka字符串的Bean对象基类 根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类 实现步骤： 在公共模块的java目录下的 parser 包下创建 MessageBean ... 定义解析kafka数据的Bean对象类 一、定义消费kafka字符串的Bean对象基类 根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类 实现步骤： 在公共模块的java目录下的 parser 包下创建 MessageBean ...
- 目录 数据库表分析 一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t... 目录 数据库表分析 一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t...
- Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列... Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列...
- 笔记 《豌豆公主》的启示： 敏感度区分高低贵贱。 做事的分寸，说话的轻重，知行合一。 敏感度区分平庸和伟大，响鼓不用重锤。 付费就是捡便宜，凡是能用钱买来的时间就是便宜的。凡是能用时间换来的注意力... 笔记 《豌豆公主》的启示： 敏感度区分高低贵贱。 做事的分寸，说话的轻重，知行合一。 敏感度区分平庸和伟大，响鼓不用重锤。 付费就是捡便宜，凡是能用钱买来的时间就是便宜的。凡是能用时间换来的注意力...
- Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark... Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark...
- 文章目录 一、提高流量利用率二、挖掘和匹配长尾需求三、提升用户体验四、技术积累 推荐系统的作用可以从以下4个方面分析： 一、提高流量利用率 流量特点： 稀缺性：获取流量是有成本的，... 文章目录 一、提高流量利用率二、挖掘和匹配长尾需求三、提升用户体验四、技术积累 推荐系统的作用可以从以下4个方面分析： 一、提高流量利用率 流量特点： 稀缺性：获取流量是有成本的，...
- 目录 Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 ... 目录 Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 ...
- 目录 1.JavaSE基础核心 2.Hadoop生态体系阶段 3.Spark生态体系阶段 4.Flink生态体系阶段 5.前沿技术 目录 1.JavaSE基础核心 2.Hadoop生态体系阶段 3.Spark生态体系阶段 4.Flink生态体系阶段 5.前沿技术
- 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析... 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签