- 导读：hadoop是开源的分布式存储和分布式计算平台.由HDFS（分布式文件存储系统,存储海量数据）Mapreduce（并行处理框架,实现任务分配和调度.）组成。可以搭建大型数据仓库,分析海量日志,存储,统计等。Zookeeper 解决分布式环境下的数据管理，统一命名，状态同步，集群管理，配置同步分布式协作服务。HIVE 数据仓库（离线分析）HQL用于运行存储在Hado... 导读：hadoop是开源的分布式存储和分布式计算平台.由HDFS（分布式文件存储系统,存储海量数据）Mapreduce（并行处理框架,实现任务分配和调度.）组成。可以搭建大型数据仓库,分析海量日志,存储,统计等。Zookeeper 解决分布式环境下的数据管理，统一命名，状态同步，集群管理，配置同步分布式协作服务。HIVE 数据仓库（离线分析）HQL用于运行存储在Hado...
- BigData之Hive：Hive数据管理的简介、下载、案例应用之详细攻略 目录 Hive数据管理的简介 1、Hive的适用场景——不适合那些需要高实性的应用(不能够在大规模数据集上实现低延迟快速的查询)、不适合用联机(online)事务处理、不提供实时查询 2、Hive 的设计特点 3、Hive数据存... BigData之Hive：Hive数据管理的简介、下载、案例应用之详细攻略 目录 Hive数据管理的简介 1、Hive的适用场景——不适合那些需要高实性的应用(不能够在大规模数据集上实现低延迟快速的查询)、不适合用联机(online)事务处理、不提供实时查询 2、Hive 的设计特点 3、Hive数据存...
- BigData之Hive beeline：beeline的简介、使用方法之详细攻略 目录 beeline的简介 beeline的使用方法 1、命令行参数解释 2、beeline的输出格式 2.1、table BigData之Hive beeline：beeline的简介、使用方法之详细攻略 目录 beeline的简介 beeline的使用方法 1、命令行参数解释 2、beeline的输出格式 2.1、table
- 常用参数 // 输出合并小文件 SET hive.merge.mapfiles = true; -- 默认true，在map-only任务结束时合并小文件 SET hive.merge.mapredfiles = true; -- 默认false，在map-reduce任务结束时合并小文件 SET hive.merge.size.per.task = 268435456; ... 常用参数 // 输出合并小文件 SET hive.merge.mapfiles = true; -- 默认true，在map-only任务结束时合并小文件 SET hive.merge.mapredfiles = true; -- 默认false，在map-reduce任务结束时合并小文件 SET hive.merge.size.per.task = 268435456; ...
- 8.hive参数的调优 1.fetch抓取 2.本地模式开启 3.表的优化 1）小表join大表 对于我们来说，尽量把小表放前面；再进一步，可以使用group by将比较小的表放在map端进行数据加载和处理。 select count(distinct s_id) from score; select count(s_id... 8.hive参数的调优 1.fetch抓取 2.本地模式开启 3.表的优化 1）小表join大表 对于我们来说，尽量把小表放前面；再进一步，可以使用group by将比较小的表放在map端进行数据加载和处理。 select count(distinct s_id) from score; select count(s_id...
- Hive将表划分为分区(partition)表和分桶(bucket)表。 分区可以让数据的部分查询变得更快，也就是说，在加载数据的时候可以指定加载某一部分数据，并不是全量的数据。 分桶表通常是在原始数据中加入一些额外的结构，这些结构可以用于高效的查询，例如，基于ID的分桶可以使得用户的查询非常的块。 分区在HDFS上的表现形式是一个目录， 分桶是一个单独的文件 分区: 细化数... Hive将表划分为分区(partition)表和分桶(bucket)表。 分区可以让数据的部分查询变得更快，也就是说，在加载数据的时候可以指定加载某一部分数据，并不是全量的数据。 分桶表通常是在原始数据中加入一些额外的结构，这些结构可以用于高效的查询，例如，基于ID的分桶可以使得用户的查询非常的块。 分区在HDFS上的表现形式是一个目录， 分桶是一个单独的文件 分区: 细化数...
- 小文件进行合并 在Map执行前合并小文件，减少Map数： CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。 HiveInputFormat没有对小文件合并功能。 1） 参数设置 set mapred.max.split.size=112345600; set mapred.min.split.size.per.node=112345... 小文件进行合并 在Map执行前合并小文件，减少Map数： CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。 HiveInputFormat没有对小文件合并功能。 1） 参数设置 set mapred.max.split.size=112345600; set mapred.min.split.size.per.node=112345...
- 为什么创建类 DataWritable？ 【揭秘hive常见面试题(一)-13】 如何实现统计手机流量？ 【揭秘hive常见面试题(一)-13】 对比 hive 与 mapreduce 统计手机流量的区别？ 【揭秘hive常见面试题(一)-13】 如今有 10 个文件夹,每个文件夹都有 1000000 个 url.如今让你找出top1000000url 不思考歪斜，功能，运用 ... 为什么创建类 DataWritable？ 【揭秘hive常见面试题(一)-13】 如何实现统计手机流量？ 【揭秘hive常见面试题(一)-13】 对比 hive 与 mapreduce 统计手机流量的区别？ 【揭秘hive常见面试题(一)-13】 如今有 10 个文件夹,每个文件夹都有 1000000 个 url.如今让你找出top1000000url 不思考歪斜，功能，运用 ...
- 方法1: from_unixtime+ unix_timestamp --20171205转成2017-12-05 select from_unixtime(unix_timestamp('20171205','yyyymmdd'),'yyyy-mm-dd') from dual; --2017-12-05转成20171205 select from_unixtime(un... 方法1: from_unixtime+ unix_timestamp --20171205转成2017-12-05 select from_unixtime(unix_timestamp('20171205','yyyymmdd'),'yyyy-mm-dd') from dual; --2017-12-05转成20171205 select from_unixtime(un...
- Join原则： 1）小表Join大表， 2）大表Join大表 3)MapJoin 4)Group by 5)Count(Disthinct)去重统计 6)笛卡尔积 7)行列过滤 8)动态分区调整 9)分桶 10)分区 1）小表Join大表， 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度... Join原则： 1）小表Join大表， 2）大表Join大表 3)MapJoin 4)Group by 5)Count(Disthinct)去重统计 6)笛卡尔积 7)行列过滤 8)动态分区调整 9)分桶 10)分区 1）小表Join大表， 将key相对分散，并且数据量小的表放在join的左边，这样可以有效减少内存溢出错误发生的几率；再进一步，可以使用Group让小的维度...
- 请问下sqoop是否能将oracle下某个用户的表一次性抽取迁移到hive？如果不行，使用什么样的工具或者方法可以实现？【表很多，如何导】 1、建个临时变，先把某个用户的数据抽出来 在倒出去。 2、这个要啥资料，要么select查出来存成文件，本地文件导到hive 3、 sqoop不是可以 --query指定sql吗 <meta charset="utf-8"> ... 请问下sqoop是否能将oracle下某个用户的表一次性抽取迁移到hive？如果不行，使用什么样的工具或者方法可以实现？【表很多，如何导】 1、建个临时变，先把某个用户的数据抽出来 在倒出去。 2、这个要啥资料，要么select查出来存成文件，本地文件导到hive 3、 sqoop不是可以 --query指定sql吗 <meta charset="utf-8"> ...
- 1. hive的数据类型 Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型 2. hive基本数据类型 基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。 image 3... 1. hive的数据类型 Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型 2. hive基本数据类型 基础数据类型包括：TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DECIMAL,CHAR,VARCHAR,DATE。 image 3...
- 使用 Hive 进行手机流量统计 问题导读 1.hive 实现统计的查询语句是什么？ 2.生产环境中为什么建议使用外部表？ 3.hadoop mapreduce 创建类 DataWritable 的作用是什么？ 4. 为什么创建 类 类 DataWritable ？ 5.如何实现统计手机流量？ 对比 hive 与 与 mapreduce 统计手机流量的区别？ 很多公司在使用 ... 使用 Hive 进行手机流量统计 问题导读 1.hive 实现统计的查询语句是什么？ 2.生产环境中为什么建议使用外部表？ 3.hadoop mapreduce 创建类 DataWritable 的作用是什么？ 4. 为什么创建 类 类 DataWritable ？ 5.如何实现统计手机流量？ 对比 hive 与 与 mapreduce 统计手机流量的区别？ 很多公司在使用 ...
- 解释一下什么是数据倾斜，并说明在hive中如何避免数据倾斜。 参数调节： hive.map.aggr=true hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理... 解释一下什么是数据倾斜，并说明在hive中如何避免数据倾斜。 参数调节： hive.map.aggr=true hive.groupby.skewindata=true 有数据倾斜的时候进行负载均衡，当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理...
- 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该... 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签