- 一、设置参数--允许使用动态分区可通过set hive.exec.dynamic.partition;查看set hive.exec.dynamic.partition=true;--当需要设置所有列为dynamic时需要这样设置set hive.exec.dynamic.partition.mode=nonstrict;--如果分区总数超过这个数量会报错set hive.exec.max.... 一、设置参数--允许使用动态分区可通过set hive.exec.dynamic.partition;查看set hive.exec.dynamic.partition=true;--当需要设置所有列为dynamic时需要这样设置set hive.exec.dynamic.partition.mode=nonstrict;--如果分区总数超过这个数量会报错set hive.exec.max....
- 1. 概述Atlas允许用户为他们想要管理的元数据对象定义模型。该模型由称为type(类型)的定义组成。称为entities(实体)的type(类型)实例表示受管理的实际元数据对象。 Type System是一个允许用户定义和管理类型和实体的组件。开箱即用的Atlas管理的所有元数据对象（例如Hive表）都使用类型建模并表示为实体。要在Atlas中存储新类型的元数据，需要了解类型系统组件的概... 1. 概述Atlas允许用户为他们想要管理的元数据对象定义模型。该模型由称为type(类型)的定义组成。称为entities(实体)的type(类型)实例表示受管理的实际元数据对象。 Type System是一个允许用户定义和管理类型和实体的组件。开箱即用的Atlas管理的所有元数据对象（例如Hive表）都使用类型建模并表示为实体。要在Atlas中存储新类型的元数据，需要了解类型系统组件的概...
- 环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）hive官网地址：http://hive.apache.org/建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk... 环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）hive官网地址：http://hive.apache.org/建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk...
- 一、SparkSQL概述1、概念 官网：http://spark.apache.org/sql/ Spark SQK是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块 外部的结构化数据源包括 Json,parquet(默认),rmdbs,hive等2、Spark SQL的优点 mapreduce ... 一、SparkSQL概述1、概念 官网：http://spark.apache.org/sql/ Spark SQK是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块 外部的结构化数据源包括 Json,parquet(默认),rmdbs,hive等2、Spark SQL的优点 mapreduce ...
- 一、导入数据的几种方法 1. load 语法： load data [local] inpath '路径' [overwrite] into table '表名'; 将本地的test.txt 导入hive的test表： load data local inpath '/test.txt' overwrite into table test; ... 一、导入数据的几种方法 1. load 语法： load data [local] inpath '路径' [overwrite] into table '表名'; 将本地的test.txt 导入hive的test表： load data local inpath '/test.txt' overwrite into table test; ...
- 一、 Hive文件存储格式 Hive支持的存储格式有： textfile、sequencefile、orc和parquet这几种格式。Hive 的存储方式有列式存储和行式存储。 textfile和sequencefile的存储格式是给予行存储的；而orc和parquet是基于列存储的(实质上也不是完全的列存储。 关于行式存储和列式存储： 行存储的特点: 查询满足条件的一整行数据的时候，... 一、 Hive文件存储格式 Hive支持的存储格式有： textfile、sequencefile、orc和parquet这几种格式。Hive 的存储方式有列式存储和行式存储。 textfile和sequencefile的存储格式是给予行存储的；而orc和parquet是基于列存储的(实质上也不是完全的列存储。 关于行式存储和列式存储： 行存储的特点: 查询满足条件的一整行数据的时候，...
- 一、什么是数据倾斜：数据倾斜就是key的一些原因，导致分发到不同的reduce上，个别reduce任务特别重，以至于其他reduce都完成了，而这些个别的reduce仍然还需要一些时间才能完成。 发生数据倾斜的远因大概有： 1.输入的文件太多或者大小不一 2.hive的参数设置不合理 3.Hive SQL语句本身的缺陷 ...等等当然，肯定还有很多其他的一些原因会导致数据倾斜，这里只是列举一... 一、什么是数据倾斜：数据倾斜就是key的一些原因，导致分发到不同的reduce上，个别reduce任务特别重，以至于其他reduce都完成了，而这些个别的reduce仍然还需要一些时间才能完成。 发生数据倾斜的远因大概有： 1.输入的文件太多或者大小不一 2.hive的参数设置不合理 3.Hive SQL语句本身的缺陷 ...等等当然，肯定还有很多其他的一些原因会导致数据倾斜，这里只是列举一...
- HIVE安装过程 HIVE安装过程
- 1. 概述本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。1.2 环境说明CDH版本：5.11.2Lin... 1. 概述本文首先会简单介绍Kylin的安装配置，然后介绍启用Kerberos的CDH集群中如何部署及使用Kylin。Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。1.2 环境说明CDH版本：5.11.2Lin...
- 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alt... 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alt...
- 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 图片拍摄于前段时间的上海，相信大家都见过这建筑 大家好，我是一哥，之前给大家讲了《ETL的灵魂：调度系统》，今天给大家讲一下数仓中的计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用... 公众号推文规则变了，点击上方 "数据社", 设为星标 后台回复【加群】，申请加入数据学习交流群 图片拍摄于前段时间的上海，相信大家都见过这建筑 大家好，我是一哥，之前给大家讲了《ETL的灵魂：调度系统》，今天给大家讲一下数仓中的计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用...
- 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alternatives/hive-conf下添加.hivercvi ~/.hivercuse test; 创建数据临时目录 hdfs df... 比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alternatives/hive-conf下添加.hivercvi ~/.hivercuse test; 创建数据临时目录 hdfs df...
- 今天查询hive中的数据发现一个问题，hive客户端查询显示是&#x开头的乱码，查看原数据库中也是这样，但是在浏览器中可以解析这种编码。 &#xxx;‘ 的格式其实是unicode，&a... 今天查询hive中的数据发现一个问题，hive客户端查询显示是&#x开头的乱码，查看原数据库中也是这样，但是在浏览器中可以解析这种编码。 &#xxx;‘ 的格式其实是unicode，&a...
- 从本地导入数据到hive： load data local inpath '/home/hive/tb_dw_cu_three_type_list_dtal/*.dat' overwrite into table csap.tb_dw_cu_three... 从本地导入数据到hive： load data local inpath '/home/hive/tb_dw_cu_three_type_list_dtal/*.dat' overwrite into table csap.tb_dw_cu_three...
- 1 从调度系统对 HIVE 作业的调度策略聊起 大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。 ... 1 从调度系统对 HIVE 作业的调度策略聊起 大家知道，依托 HIVE 构建数据仓库时，我们一般会通过调度系统精心编排 HIVE SQL 作业，以避免多个作业并发写同一张表或同一个表分区；同时 AD HOC 的数据查询操作，在时间上一般也会尽量避开常规的 ETL 数据写操作，以避免对同一张表或同一个表分区的并发读写操作。 ...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签