- Hive报错记录——林子雨教材 Hive报错记录——林子雨教材
- 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio... 适用版本6.5.x。问题现象重启Metastore成功，但是Metastore一直处于故障状态。原因分析查看Metastore运行日志，发现Metastore能够正常启动，日志一直在打印“can not create filepath: /user/hive/warehouseUser hive does not belong to hive”。caused by :MetaExceptio...
- 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区 1.设置自定义参数出现递归调用 2.insert into table values形式插入大量数据 3.多表关联过滤条件中 按in的子查询进行过滤 4.string类型字段过滤不加引号 5.并发插入同表或同分区
- 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having 1.扫描分区过多，元数据中拼接查询报错 2.cascade级联修改表字段 3.alter table drop partition 删除大量分区 4.大分区表查询不带分区 5.sparksql嵌套过多、大量case when 6.sparksql 没有group by 情况下使用Having
- 12.视图存在全表扫或者大量分区查询 13.大量使用with as 并在sql中多处调用 12.视图存在全表扫或者大量分区查询 13.大量使用with as 并在sql中多处调用
- 7.join on中加判断现象：mr任务慢原因：on条件中存在if或case when判断，在mapjoin时，会拿大表数据一条一条与小表比对同时一条一条做判断导致慢例如：Select * From tba t1Join tbb t2On t1.id=Case where t1.type=’qwr’ THEN t2.type ELSE null END;解决方法：将sql拆分8.join o... 7.join on中加判断现象：mr任务慢原因：on条件中存在if或case when判断，在mapjoin时，会拿大表数据一条一条与小表比对同时一条一条做判断导致慢例如：Select * From tba t1Join tbb t2On t1.id=Case where t1.type=’qwr’ THEN t2.type ELSE null END;解决方法：将sql拆分8.join o...
- Pyhive连接hive时出错：thrift.transport.TTransport.TTransportException: Could not start SASL Pyhive连接hive时出错：thrift.transport.TTransport.TTransportException: Could not start SASL
- 创建外部表employeecreate table employee(user_id int,username string,dept_id int)row format delimited fields terminated by ',' stored as textfile ;装载数据load data inpath '/ict01/department.txt' into table... 创建外部表employeecreate table employee(user_id int,username string,dept_id int)row format delimited fields terminated by ',' stored as textfile ;装载数据load data inpath '/ict01/department.txt' into table...
- 操作命令数据预处理：剔除数据中任意字段为空值INSERT OVERWRITE TABLE result01 select * from salary where userid is not null and dept_id is not null and salarys is not null剔除identity字段数值在0-100以外的值INSERT OVERWRITE TAB... 操作命令数据预处理：剔除数据中任意字段为空值INSERT OVERWRITE TABLE result01 select * from salary where userid is not null and dept_id is not null and salarys is not null剔除identity字段数值在0-100以外的值INSERT OVERWRITE TAB...
- 任务1:相似度检测 查询result表中，碱基对(aliLen)长度介于29800-29900之间的个数，截图并保存为3-1-alilen。查询result表中，按照匹配程度（identity)进行降序排序，显示sav，identity，bitScore这三个字段的前十行数据，截图并保存为3-2-bitscore。 任务2:分组统计 分组统计result表中 gapOpens 的次数并进行降... 任务1:相似度检测 查询result表中，碱基对(aliLen)长度介于29800-29900之间的个数，截图并保存为3-1-alilen。查询result表中，按照匹配程度（identity)进行降序排序，显示sav，identity，bitScore这三个字段的前十行数据，截图并保存为3-2-bitscore。 任务2:分组统计 分组统计result表中 gapOpens 的次数并进行降...
- 在Hive查询期间，将前面的查询结果保存为结果表，在结果表中查询数据create table result as select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(nu... 在Hive查询期间，将前面的查询结果保存为结果表，在结果表中查询数据create table result as select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(nu...
- 收集有关出售产品数量的统计数据，并对产品进行分类。分类规则如下select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(num) total from(select item0... 收集有关出售产品数量的统计数据，并对产品进行分类。分类规则如下select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(num) total from(select item0...
- 查询牛奶在每一行出现的概率select b.num/a.num as rate from(select count(*) num from item) a,(select count(*) num from itemwhere item01=='Milk' or item02=='Milk' or item02=='Milk'or item03=='Milk'or item04=='Milk... 查询牛奶在每一行出现的概率select b.num/a.num as rate from(select count(*) num from item) a,(select count(*) num from itemwhere item01=='Milk' or item02=='Milk' or item02=='Milk'or item03=='Milk'or item04=='Milk...
- Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而... Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而...
- 华为云MRS Python3使用pyhive连接安全集群Hive 华为云MRS Python3使用pyhive连接安全集群Hive
上滑加载中
推荐直播
-
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签