- 实时Json日志数据导入到Hive案例：使用NiFi将某个目录下产生的json类型的日志文件导入到Hive。这里首先将数据通过NiFi将Json数据解析属性，然后手动设置数据格式，将数据导入到HDFS中，Hive建立外表映射此路径实现外部数据导入到Hive中。使用到的处理器有：“TailFile”、“EvaluateJsonPath”、“ReplaceText”、“PutHDFS”四个处理器... 实时Json日志数据导入到Hive案例：使用NiFi将某个目录下产生的json类型的日志文件导入到Hive。这里首先将数据通过NiFi将Json数据解析属性，然后手动设置数据格式，将数据导入到HDFS中，Hive建立外表映射此路径实现外部数据导入到Hive中。使用到的处理器有：“TailFile”、“EvaluateJsonPath”、“ReplaceText”、“PutHDFS”四个处理器...
- Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask Hive执行脚本: Return Code 2 from org.apache.hadoop.hive.ql.exec.MapRedTask
- 1. over(partition by order by)语法partition by和order by后字段一致现象:mr任务运行缓慢原因：partition by order by 语法含义为分组后排序组内数据其中的排序算法使用的为快速排序，partition by和order by字段一致会导致分区内全为相同数据，排序性能恶化严重，且p 与o字段相同排序无意义解决方法：1.p... 1. over(partition by order by)语法partition by和order by后字段一致现象:mr任务运行缓慢原因：partition by order by 语法含义为分组后排序组内数据其中的排序算法使用的为快速排序，partition by和order by字段一致会导致分区内全为相同数据，排序性能恶化严重，且p 与o字段相同排序无意义解决方法：1.p...
- Kudu基于Cloudera Manager安装及配置使用Kudu一般都会和impala进行整合，impala与Hive是强依赖关系，需要安装Hive，安装Hive需要安装HDFS等，以上各个技术组件的版本都需要对应匹配，由于Kudu没有直接的安装包，为了方便我们可以选择基于Cloudera Manager进行安装Kudu及相关大数据组件。这里CM集群节点及角色如下：节点名称节点ip节点角... Kudu基于Cloudera Manager安装及配置使用Kudu一般都会和impala进行整合，impala与Hive是强依赖关系，需要安装Hive，安装Hive需要安装HDFS等，以上各个技术组件的版本都需要对应匹配，由于Kudu没有直接的安装包，为了方便我们可以选择基于Cloudera Manager进行安装Kudu及相关大数据组件。这里CM集群节点及角色如下：节点名称节点ip节点角...
- hive是基于Hadoop的一个数据仓库工具，常用来对数据仓库进行数据统计分析。其中包括我们大家都知道的通过类似SQL语句实现快速MapReduce统计，将数据进行提取、转化、加载。 我眼中的Hive-你眼中的了? hive是基于Hadoop的一个数据仓库工具，常用来对数据仓库进行数据统计分析。其中包括我们大家都知道的通过类似SQL语句实现快速MapReduce统计，将数据进行提取、转化、加载。 我眼中的Hive-你眼中的了?
- 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好 搭建Flink on Yarn环境并体验，本文是三部曲第一篇，将部署前的准备工作做好
- Hive是种基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，今天来一起部署和体验hive Hive是种基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，今天来一起部署和体验hive
- 业务实现之编写写入DWD层业务代码一、代码编写Flink读取Kafka topic “KAFKA-ODS-TOPIC” 数据写入Iceberg-DWD层也是复用第一个业务代码，这里只需要在代码中加入写入Iceberg-DWD层代码即可，代码如下：//插入 iceberg - dwd 层 会员浏览商品日志信息 :DWD_BROWSELOGtblEnv.executeSql( s""" ... 业务实现之编写写入DWD层业务代码一、代码编写Flink读取Kafka topic “KAFKA-ODS-TOPIC” 数据写入Iceberg-DWD层也是复用第一个业务代码，这里只需要在代码中加入写入Iceberg-DWD层代码即可，代码如下：//插入 iceberg - dwd 层 会员浏览商品日志信息 :DWD_BROWSELOGtblEnv.executeSql( s""" ...
- Apache Hive™ 数据仓库软件使用SQL帮助读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到配置单元。 Apache Hive™ 数据仓库软件使用SQL帮助读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到配置单元。
- Hudi与Hive集成一、配置HiveServer2Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。1、在Hive服务端配置hive-site.xml#在Hive 服务端 $HIVE_HOME/con... Hudi与Hive集成一、配置HiveServer2Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。1、在Hive服务端配置hive-site.xml#在Hive 服务端 $HIVE_HOME/con...
- 学习大数据技术的核心原理，掌握一些高效的思考和思维方式，构建自己的技术知识体系。明白了原理，有时甚至不需要学习，顺着原理就可以推导出各种实现细节。各种知识表象看杂乱无章，若只是学习繁杂知识点，固然自己的知识面是有限的，并且遇到问题的应变能力也很难提高。所以有些高手看起来似乎无所不知，不论谈论起什么技术，都能头头是道，其实并不是他们学习、掌握了所有技术，而是他们是在谈到这个问题时，才开始进行推... 学习大数据技术的核心原理，掌握一些高效的思考和思维方式，构建自己的技术知识体系。明白了原理，有时甚至不需要学习，顺着原理就可以推导出各种实现细节。各种知识表象看杂乱无章，若只是学习繁杂知识点，固然自己的知识面是有限的，并且遇到问题的应变能力也很难提高。所以有些高手看起来似乎无所不知，不论谈论起什么技术，都能头头是道，其实并不是他们学习、掌握了所有技术，而是他们是在谈到这个问题时，才开始进行推...
- 👨🏻🎓博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家🌟🌈擅长领域：Java、大数据、运维、电子🙏🏻如果本文章各位小伙伴们有帮助的话，🍭关注+👍🏻点赞+🗣评论+📦收藏，相应的有空了我也会回访，互助！！！🤝另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！@[TOC]搭建hive的环境需... 👨🏻🎓博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家🌟🌈擅长领域：Java、大数据、运维、电子🙏🏻如果本文章各位小伙伴们有帮助的话，🍭关注+👍🏻点赞+🗣评论+📦收藏，相应的有空了我也会回访，互助！！！🤝另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！@[TOC]搭建hive的环境需...
- 👨🏻🎓博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家🌟🌈擅长领域：Java、大数据、运维、电子🙏🏻如果本文章各位小伙伴们有帮助的话，🍭关注+👍🏻点赞+🗣评论+📦收藏，相应的有空了我也会回访，互助！！！🤝另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！@[TOC] MySQL安装准备... 👨🏻🎓博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家🌟🌈擅长领域：Java、大数据、运维、电子🙏🏻如果本文章各位小伙伴们有帮助的话，🍭关注+👍🏻点赞+🗣评论+📦收藏，相应的有空了我也会回访，互助！！！🤝另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！@[TOC] MySQL安装准备...
- 有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse；出现这种情况主要是因为，在对数据抽取的时候，我们需要这种结构ods_xxx_work_restore – 整合总表的数据-json数据ods_xxx_work_parse – 新增的数据的暂时存放-json 数据ods_xxx_work – 整合好的数据所以整个流程就是先 parse → restore ... 有时候出现一种情况: 一个业务的表对应的时候会出现三个表结构restore、parse；出现这种情况主要是因为，在对数据抽取的时候，我们需要这种结构ods_xxx_work_restore – 整合总表的数据-json数据ods_xxx_work_parse – 新增的数据的暂时存放-json 数据ods_xxx_work – 整合好的数据所以整个流程就是先 parse → restore ...
- 背景：数据湖里面建表，可以使用DataSource语法或Hive语法 ，两种建表语法创建的OBS表（即外表）在运行job时，在分区表下的文件夹路径会有所不同，DataSource语法创建的OBS分区表路径生成无规律，不利于CDM做数据的增量导出。 背景：数据湖里面建表，可以使用DataSource语法或Hive语法 ，两种建表语法创建的OBS表（即外表）在运行job时，在分区表下的文件夹路径会有所不同，DataSource语法创建的OBS分区表路径生成无规律，不利于CDM做数据的增量导出。
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签