- 12.视图存在全表扫或者大量分区查询 13.大量使用with as 并在sql中多处调用 12.视图存在全表扫或者大量分区查询 13.大量使用with as 并在sql中多处调用
- 7.join on中加判断现象：mr任务慢原因：on条件中存在if或case when判断，在mapjoin时，会拿大表数据一条一条与小表比对同时一条一条做判断导致慢例如：Select * From tba t1Join tbb t2On t1.id=Case where t1.type=’qwr’ THEN t2.type ELSE null END;解决方法：将sql拆分8.join o... 7.join on中加判断现象：mr任务慢原因：on条件中存在if或case when判断，在mapjoin时，会拿大表数据一条一条与小表比对同时一条一条做判断导致慢例如：Select * From tba t1Join tbb t2On t1.id=Case where t1.type=’qwr’ THEN t2.type ELSE null END;解决方法：将sql拆分8.join o...
- Pyhive连接hive时出错：thrift.transport.TTransport.TTransportException: Could not start SASL Pyhive连接hive时出错：thrift.transport.TTransport.TTransportException: Could not start SASL
- 创建外部表employeecreate table employee(user_id int,username string,dept_id int)row format delimited fields terminated by ',' stored as textfile ;装载数据load data inpath '/ict01/department.txt' into table... 创建外部表employeecreate table employee(user_id int,username string,dept_id int)row format delimited fields terminated by ',' stored as textfile ;装载数据load data inpath '/ict01/department.txt' into table...
- 操作命令数据预处理：剔除数据中任意字段为空值INSERT OVERWRITE TABLE result01 select * from salary where userid is not null and dept_id is not null and salarys is not null剔除identity字段数值在0-100以外的值INSERT OVERWRITE TAB... 操作命令数据预处理：剔除数据中任意字段为空值INSERT OVERWRITE TABLE result01 select * from salary where userid is not null and dept_id is not null and salarys is not null剔除identity字段数值在0-100以外的值INSERT OVERWRITE TAB...
- 任务1:相似度检测 查询result表中，碱基对(aliLen)长度介于29800-29900之间的个数，截图并保存为3-1-alilen。查询result表中，按照匹配程度（identity)进行降序排序，显示sav，identity，bitScore这三个字段的前十行数据，截图并保存为3-2-bitscore。 任务2:分组统计 分组统计result表中 gapOpens 的次数并进行降... 任务1:相似度检测 查询result表中，碱基对(aliLen)长度介于29800-29900之间的个数，截图并保存为3-1-alilen。查询result表中，按照匹配程度（identity)进行降序排序，显示sav，identity，bitScore这三个字段的前十行数据，截图并保存为3-2-bitscore。 任务2:分组统计 分组统计result表中 gapOpens 的次数并进行降...
- 在Hive查询期间，将前面的查询结果保存为结果表，在结果表中查询数据create table result as select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(nu... 在Hive查询期间，将前面的查询结果保存为结果表，在结果表中查询数据create table result as select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(nu...
- 收集有关出售产品数量的统计数据，并对产品进行分类。分类规则如下select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(num) total from(select item0... 收集有关出售产品数量的统计数据，并对产品进行分类。分类规则如下select b.item,b.total,casewhen total<800 then 'cold'when total>=800 and total <1000 then 'warm'else 'hot'end as sort from(select item,sum(num) total from(select item0...
- 查询牛奶在每一行出现的概率select b.num/a.num as rate from(select count(*) num from item) a,(select count(*) num from itemwhere item01=='Milk' or item02=='Milk' or item02=='Milk'or item03=='Milk'or item04=='Milk... 查询牛奶在每一行出现的概率select b.num/a.num as rate from(select count(*) num from item) a,(select count(*) num from itemwhere item01=='Milk' or item02=='Milk' or item02=='Milk'or item03=='Milk'or item04=='Milk...
- Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而... Spark为什么快，Spark SQL 一定比 Hive 快吗Spark SQL 比 Hadoop Hive 快，是有一定条件的，而且不是 Spark SQL 的引擎比 Hive 的引擎快，相反，Hive 的 HQL 引擎还比 Spark SQL 的引擎更快。其实，关键还是在于 Spark 本身快。消除了冗余的 HDFS 读写: Hadoop 每次 shuffle 操作后，必须写到磁盘，而...
- 华为云MRS Python3使用pyhive连接安全集群Hive 华为云MRS Python3使用pyhive连接安全集群Hive
- Hive on Tez常用调优参数 Hive on Tez常用调优参数
- 行mapreduce任务hadoop jar /opt/data/hadoop-mapreduce-examples-2.8.3.jar wordcount /user/ict01/item.log /user/ict01/output 目录下的jar包 jar包的主类首先初始化：source /opt/... 行mapreduce任务hadoop jar /opt/data/hadoop-mapreduce-examples-2.8.3.jar wordcount /user/ict01/item.log /user/ict01/output 目录下的jar包 jar包的主类首先初始化：source /opt/...
- 单词billed by traffic 按流量计费contain synchronization information 包含同步信息filter query 过滤查询tenant management 租户管理nic 网卡simulator 模拟器heterogeneous storage 异构存储 问题MRS创建用户/角色，添加hive admin的权限创建hive的外部表，加载数据并统... 单词billed by traffic 按流量计费contain synchronization information 包含同步信息filter query 过滤查询tenant management 租户管理nic 网卡simulator 模拟器heterogeneous storage 异构存储 问题MRS创建用户/角色，添加hive admin的权限创建hive的外部表，加载数据并统...
- 进入hive模式： set hive.cli.print.header=true; // 打印列名 set hive.cli.print.row.to.vertical=true; // 开启行转列功... 进入hive模式： set hive.cli.print.header=true; // 打印列名 set hive.cli.print.row.to.vertical=true; // 开启行转列功...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签