- Hive分析窗口函数(一) SUM,AVG,MIN,MAX 数据准备 建表语句: create table itzkx_t1( cookieid string, createtime string, --day pv int ) row format delimited fields terminated by ','; 加载数据： load data local i... Hive分析窗口函数(一) SUM,AVG,MIN,MAX 数据准备 建表语句: create table itzkx_t1( cookieid string, createtime string, --day pv int ) row format delimited fields terminated by ','; 加载数据： load data local i...
- 2.hive的基本概念 1.hive的概念 hive：是hadoop的一个数据仓库。提供了一个类sql的功能，通过写一个sql语句完成数据的分析。 将结构化的数据映射成一张表 结构化数据： 存有关系的数据（关系型数据库）、有一定规则的文本 半结构化数据：非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、Email等。 非结构化数据：没有固定模式的... 2.hive的基本概念 1.hive的概念 hive：是hadoop的一个数据仓库。提供了一个类sql的功能，通过写一个sql语句完成数据的分析。 将结构化的数据映射成一张表 结构化数据： 存有关系的数据（关系型数据库）、有一定规则的文本 半结构化数据：非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、Email等。 非结构化数据：没有固定模式的...
- 1.少用COUNT DISTINCT 数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换： SELECT day, COUNT(DISTINCT id) AS uv ... 1.少用COUNT DISTINCT 数据量小的时候无所谓，数据量大的情况下，由于COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换： SELECT day, COUNT(DISTINCT id) AS uv ...
- 严格模式 Hive提供了一个严格模式，可以防止用户执行那些可能意向不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <name>hive.mapred.mode</name> <value>... 严格模式 Hive提供了一个严格模式，可以防止用户执行那些可能意向不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <name>hive.mapred.mode</name> <value>...
- hive数据仓库的设计，项目中分了几层，都有什么 ODS层: 是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变化的。ODS层的数据可以只保留一定的时间。 DW 层： DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。这一层... hive数据仓库的设计，项目中分了几层，都有什么 ODS层: 是将OLTP数据通过ETL同步到数据仓库来作为数据仓库最基础的数据来源。在这个过程中，数据经过了一定的清洗，比如字段的统一，脏数据的去除等，但是数据的粒度是不会变化的。ODS层的数据可以只保留一定的时间。 DW 层： DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。这一层...
- 使用EXPLAIN（执行计划） 1）基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query 2）案例实操 （1）查看下面这条语句的执行计划 hive (default)> explain select * from course; hive (default)> explain select s_id ,avg(s_... 使用EXPLAIN（执行计划） 1）基本语法 EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query 2）案例实操 （1）查看下面这条语句的执行计划 hive (default)> explain select * from course; hive (default)> explain select s_id ,avg(s_...
- 推测执行 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种情况发生，Hadoop采用了推测执行（Speculative Ex... 推测执行 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种情况发生，Hadoop采用了推测执行（Speculative Ex...
- 关于sparksql Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型）的一个模块； 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象； 是一个分布式的 SQL 引擎。 关于hive 数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集； 结构可以映射到已经存储... 关于sparksql Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型）的一个模块； 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象； 是一个分布式的 SQL 引擎。 关于hive 数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集； 结构可以映射到已经存储...
- Hive分析窗口函数(四) LAG,LEAD,FIRST_VALUE,LAST_VALUE 注意： 这几个函数不支持WINDOW子句 - 准备数据 cookie1,2018-04-10 10:00:02,url2 cookie1,2018-04-10 10:00:00,url1 cookie1,2018-04-10 10:03:04,1url3 cookie1,2018-04-... Hive分析窗口函数(四) LAG,LEAD,FIRST_VALUE,LAST_VALUE 注意： 这几个函数不支持WINDOW子句 - 准备数据 cookie1,2018-04-10 10:00:02,url2 cookie1,2018-04-10 10:00:00,url1 cookie1,2018-04-10 10:03:04,1url3 cookie1,2018-04-...
- 1.向表中装载数据（Load） 基本语法 hive>load data local inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)]; （1）load data:表示加载数据 （2）local:表示从本地加载数据到hive表... 1.向表中装载数据（Load） 基本语法 hive>load data local inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)]; （1）load data:表示加载数据 （2）local:表示从本地加载数据到hive表...
- Hive分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 数据准备 2018-03,2018-03-10,cookie1 2018-03,2018-03-10,cookie5 2018-03,2018-03... Hive分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 数据准备 2018-03,2018-03-10,cookie1 2018-03,2018-03-10,cookie5 2018-03,2018-03...
- 问题描述: 当我们想要删除Hive表中部分符合条件的数据时： 发现Hive表删除数据不能使用DELETE FROM table_name 中SQL语句 image.png 解决方案 1.删除符合条件的数据: 其中xxx是你需要保留的数据的查询条件。 insert overwrite table t_table1 select * from t_table1 whe... 问题描述: 当我们想要删除Hive表中部分符合条件的数据时： 发现Hive表删除数据不能使用DELETE FROM table_name 中SQL语句 image.png 解决方案 1.删除符合条件的数据: 其中xxx是你需要保留的数据的查询条件。 insert overwrite table t_table1 select * from t_table1 whe...
- a. 查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 b. 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。 c. 数据格式。Hiv... a. 查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。 b. 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。 c. 数据格式。Hiv...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 概念： Hive是由Facebook实现并开源。是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL（Hive SQL）查询功能。其底层数据时存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使部署需MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化数据，使用于离线的批量数据计... 概念： Hive是由Facebook实现并开源。是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL（Hive SQL）查询功能。其底层数据时存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使部署需MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化数据，使用于离线的批量数据计...
上滑加载中
推荐直播
-
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签