- 使用 Hive 进行手机流量统计 问题导读 1.hive 实现统计的查询语句是什么？ 2.生产环境中为什么建议使用外部表？ 3.hadoop mapreduce 创建类 DataWritable 的作用是什么？ 4. 为什么创建 类 类 DataWritable ？ 5.如何实现统计手机流量？ 对比 hive 与 与 mapreduce 统计手机流量的区别？ 很多公司在使用 ... 使用 Hive 进行手机流量统计 问题导读 1.hive 实现统计的查询语句是什么？ 2.生产环境中为什么建议使用外部表？ 3.hadoop mapreduce 创建类 DataWritable 的作用是什么？ 4. 为什么创建 类 类 DataWritable ？ 5.如何实现统计手机流量？ 对比 hive 与 与 mapreduce 统计手机流量的区别？ 很多公司在使用 ...
- 解释一下什么是数据倾斜，并说明在hive中如何避免数据倾斜。 参数调节： hive.map.aggr=true hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理... 解释一下什么是数据倾斜，并说明在hive中如何避免数据倾斜。 参数调节： hive.map.aggr=true hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理...
- 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该... 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该...
- Hive分析窗口函数(三) CUME_DIST,PERCENT_RANK 这两个序列分析函数不是很常用，注意： 序列函数不支持WINDOW子句 数据准备 d1,user1,1000 d1,user2,2000 d1,user3,3000 d2,user4,4000 d2,user5,5000 CREATE EXTERNAL TABLE itzkx_t3 ( dept STR... Hive分析窗口函数(三) CUME_DIST,PERCENT_RANK 这两个序列分析函数不是很常用，注意： 序列函数不支持WINDOW子句 数据准备 d1,user1,1000 d1,user2,2000 d1,user3,3000 d2,user4,4000 d2,user5,5000 CREATE EXTERNAL TABLE itzkx_t3 ( dept STR...
- hive中的lateral view（） 与 explode函数的使用 背景介绍： explode与lateral view在关系型数据库中本身是不该出现的。 因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分）。本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），在面向分析的数据库 数据仓库中，发生了改变。 explode函数可以将一个array... hive中的lateral view（） 与 explode函数的使用 背景介绍： explode与lateral view在关系型数据库中本身是不该出现的。 因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分）。本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），在面向分析的数据库 数据仓库中，发生了改变。 explode函数可以将一个array...
- 1.map join 大小表时通过使用hint的方式制定join时使用mapjoin MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。 Hive0.7之前，需要使用hint提示 /*+ mapjoin(ta... 1.map join 大小表时通过使用hint的方式制定join时使用mapjoin MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。 Hive0.7之前，需要使用hint提示 /*+ mapjoin(ta...
- 并行执行 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个job的执行时间缩短。不过，如果有更多的... 并行执行 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个job的执行时间缩短。不过，如果有更多的...
- HIVE 优化？【常考题】 如果union all的部分个数大于2，或者union部分数据量大，应拆分成多个insert into语句。 1.参数优化，小于6M自动合并 2.加功能，改成分区表，做join写成任务流 3.mapjoin 4.加索引 5.先where 再join 6.加小型的sql HIVE 优化？【常考题】 如果union all的部分个数大于2，或者union部分数据量大，应拆分成多个insert into语句。 1.参数优化，小于6M自动合并 2.加功能，改成分区表，做join写成任务流 3.mapjoin 4.加索引 5.先where 再join 6.加小型的sql
- 1.Hive包含哪些数据模型? image.png database:在HDFS中表现为${hive.metastore.warehouse.dir}目录下一个文件夹。 table:在HDFS中表现所属database目录下一个文件夹 external table:与table类似,不过其数据存放位置可以指定任意HDFS目录路径。 partition:在HDFS中表... 1.Hive包含哪些数据模型? image.png database:在HDFS中表现为${hive.metastore.warehouse.dir}目录下一个文件夹。 table:在HDFS中表现所属database目录下一个文件夹 external table:与table类似,不过其数据存放位置可以指定任意HDFS目录路径。 partition:在HDFS中表...
- 经典SQL练习题 第一步区：创建mysql表 第二步：导入数据到mysql里面去 第三步：创建hive表与myslq表字段对应 第四步：导出myslq表的数据，加载到hive表里面去 第五步：翻译需求 1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数 SELECT a.* ,b.s_score AS 01_score,c.s_score AS 02_score F... 经典SQL练习题 第一步区：创建mysql表 第二步：导入数据到mysql里面去 第三步：创建hive表与myslq表字段对应 第四步：导出myslq表的数据，加载到hive表里面去 第五步：翻译需求 1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数 SELECT a.* ,b.s_score AS 01_score,c.s_score AS 02_score F...
- Fetch抓取（Hive可以避免进行MapReduce） Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conver... Fetch抓取（Hive可以避免进行MapReduce） Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 在hive-default.xml.template文件中hive.fetch.task.conver...
- hive中显示所有分区的指令 hive (dwd)> show partitions user_behavior; OK partition dt=20190413 dt=20190414 dt=20190415 dt=20190416 dt=20190417 dt=20190418 dt=20190419 hive中显示所有分区的指令 hive (dwd)> show partitions user_behavior; OK partition dt=20190413 dt=20190414 dt=20190415 dt=20190416 dt=20190417 dt=20190418 dt=20190419
- 行列过滤 列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。 行列过滤 列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤。
- hive 存储，解析，处理json数据 hive 处理json数据总体来说有两个方向的路走 将json以字符串的方式整个导入Hive表，然后通过使用UDF函数解析已经导入到hive中的数据，比如使用LATERAL VIEW json_tuple的方法，获取所需要的列名。 在导入之前将json拆成各个字段，导入Hive表的数据是已经解析过得。这将需要使用第三方的SerDe。 ... hive 存储，解析，处理json数据 hive 处理json数据总体来说有两个方向的路走 将json以字符串的方式整个导入Hive表，然后通过使用UDF函数解析已经导入到hive中的数据，比如使用LATERAL VIEW json_tuple的方法，获取所需要的列名。 在导入之前将json拆成各个字段，导入Hive表的数据是已经解析过得。这将需要使用第三方的SerDe。 ...
- 动态分区调整 关系型数据库中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。 说白了就是以第一个表的分区规则，来对应第二个表的分区规则，将第一个表的所有分区，全部拷贝到第二个表中来，第二个表在加载数据的时候... 动态分区调整 关系型数据库中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。 说白了就是以第一个表的分区规则，来对应第二个表的分区规则，将第一个表的所有分区，全部拷贝到第二个表中来，第二个表在加载数据的时候...
上滑加载中
推荐直播
-
DeepSeek行业运用方案2025/02/25 周二 16:30-17:30
阿肯-华为云生态技术讲师
本期课程将带您揭秘DeepSeek在多行业的创新方案，手把手演示如何通过ModelArts在华为云上构建方案。
回顾中 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签