- 一、导入数据的几种方法 1. load 语法： load data [local] inpath '路径' [overwrite] into table '表名'; 将本地的test.txt 导入hive的test表： load data local inpath '/test.txt' overwrite into table test; ... 一、导入数据的几种方法 1. load 语法： load data [local] inpath '路径' [overwrite] into table '表名'; 将本地的test.txt 导入hive的test表： load data local inpath '/test.txt' overwrite into table test; ...
- 一、 Hive文件存储格式 Hive支持的存储格式有： textfile、sequencefile、orc和parquet这几种格式。Hive 的存储方式有列式存储和行式存储。 textfile和sequencefile的存储格式是给予行存储的；而orc和parquet是基于列存储的(实质上也不是完全的列存储。 关于行式存储和列式存储： 行存储的特点: 查询满足条件的一整行数据的时候，... 一、 Hive文件存储格式 Hive支持的存储格式有： textfile、sequencefile、orc和parquet这几种格式。Hive 的存储方式有列式存储和行式存储。 textfile和sequencefile的存储格式是给予行存储的；而orc和parquet是基于列存储的(实质上也不是完全的列存储。 关于行式存储和列式存储： 行存储的特点: 查询满足条件的一整行数据的时候，...
- 一、什么是数据倾斜：数据倾斜就是key的一些原因，导致分发到不同的reduce上，个别reduce任务特别重，以至于其他reduce都完成了，而这些个别的reduce仍然还需要一些时间才能完成。 发生数据倾斜的远因大概有： 1.输入的文件太多或者大小不一 2.hive的参数设置不合理 3.Hive SQL语句本身的缺陷 ...等等当然，肯定还有很多其他的一些原因会导致数据倾斜，这里只是列举一... 一、什么是数据倾斜：数据倾斜就是key的一些原因，导致分发到不同的reduce上，个别reduce任务特别重，以至于其他reduce都完成了，而这些个别的reduce仍然还需要一些时间才能完成。 发生数据倾斜的远因大概有： 1.输入的文件太多或者大小不一 2.hive的参数设置不合理 3.Hive SQL语句本身的缺陷 ...等等当然，肯定还有很多其他的一些原因会导致数据倾斜，这里只是列举一...
- HIVE安装过程 HIVE安装过程
- 1. 概述本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。1.2 环境说明CDH版本：5.11.2Lin... 1. 概述本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。1.2 环境说明CDH版本：5.11.2Lin...
- 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alt... 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alt...
- 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 图片拍摄于前段时间的上海，相信大家都见过这建筑 大家好，我是一哥，之前给大家讲了《ETL的灵魂：调度系统》，今天给大家讲一下数仓中的计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用... 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 图片拍摄于前段时间的上海，相信大家都见过这建筑 大家好，我是一哥，之前给大家讲了《ETL的灵魂：调度系统》，今天给大家讲一下数仓中的计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用...
- 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alternatives/hive-conf下添加.hivercvi ~/.hivercuse test; 创建数据临时目录 hdfs df... 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alternatives/hive-conf下添加.hivercvi ~/.hivercuse test; 创建数据临时目录 hdfs df...
- 今天查询hive中的数据发现一个问题，hive客户端查询显示是&#x开头的乱码，查看原数据库中也是这样，但是在浏览器中可以解析这种编码。 &#xxx;‘ 的格式其实是unicode，&a... 今天查询hive中的数据发现一个问题，hive客户端查询显示是&#x开头的乱码，查看原数据库中也是这样，但是在浏览器中可以解析这种编码。 &#xxx;‘ 的格式其实是unicode，&a...
- 从本地导入数据到hive： load data local inpath '/home/hive/tb_dw_cu_three_type_list_dtal/*.dat' overwrite into table csap.tb_dw_cu_three... 从本地导入数据到hive： load data local inpath '/home/hive/tb_dw_cu_three_type_list_dtal/*.dat' overwrite into table csap.tb_dw_cu_three...
- 1 从调度系统对 HIVE 作业的调度策略聊起 大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。 ... 1 从调度系统对 HIVE 作业的调度策略聊起 大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。 ...
- 来源：大数据老哥 全文共12336个字，建议收藏阅读 本文基本涵盖以下内容： Hive SQL 编译成MapReduce过程Hive 千亿级数据倾斜Hive执行计划Hive 底层执行架构 - Hive SQL 编译成MapReduce过程 - 编译 SQL ... 来源：大数据老哥 全文共12336个字，建议收藏阅读 本文基本涵盖以下内容： Hive SQL 编译成MapReduce过程Hive 千亿级数据倾斜Hive执行计划Hive 底层执行架构 - Hive SQL 编译成MapReduce过程 - 编译 SQL ...
- 全文共6100个字，建议阅读16分钟 本文目录 No1. 请谈一下 Hive 的特点No2. Hive 底层与数据库交互原理？No3. Hive 的 HSQL 转换为 MapReduce 的过程？No4. Hive 的两张表关联，使用 MapReduce 怎么实现？No5. 请说明 hive 中 Sort By，Order... 全文共6100个字，建议阅读16分钟 本文目录 No1. 请谈一下 Hive 的特点No2. Hive 底层与数据库交互原理？No3. Hive 的 HSQL 转换为 MapReduce 的过程？No4. Hive 的两张表关联，使用 MapReduce 怎么实现？No5. 请说明 hive 中 Sort By，Order...
- 火山引擎的数据质量平台是在多年服务字节跳动今日头条、抖音等业务的过程中打磨出来的。面对今日头条、抖音等不同产品线的复杂数据质量场景，数据质量平台如何满足多样的需求？ 本文将介绍火山引擎数据质量平台是如何弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突，并介绍数据质量平台是如何用一套架构框架来满足流批方面的数据质... 火山引擎的数据质量平台是在多年服务字节跳动今日头条、抖音等业务的过程中打磨出来的。面对今日头条、抖音等不同产品线的复杂数据质量场景，数据质量平台如何满足多样的需求？ 本文将介绍火山引擎数据质量平台是如何弥合大数据场景下数据质量校验与计算消耗资源大、校验计算时间长的冲突，并介绍数据质量平台是如何用一套架构框架来满足流批方面的数据质...
- 一、Node2节点配置 二、Master节点配置 三、Node1节点配置 四、启动Hive并测试 下载Hive包:https://cloud.189.cn/t/zqaieevYNrau (访问... 一、Node2节点配置 二、Master节点配置 三、Node1节点配置 四、启动Hive并测试 下载Hive包:https://cloud.189.cn/t/zqaieevYNrau (访问...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签