- 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou... 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou...
- 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会... 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会...
- 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并... 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情... 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情...
- 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <... 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <...
- 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j... 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j...
- 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种... 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种...
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第3章，第3.2节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第3章，第3.2节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第2章，第2.7节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第2章，第2.7节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.4.3节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.4.3节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.3.1节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.3.1节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.2.1节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.2.1节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.1.3节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.1.3节，作者是任永杰 程舟。
- 这篇文章是**《https优化必须了解ChaCha20-Poly1305算法》**的延伸。现在我们知道在HTTPS协议中，主流的加密算法是AES-GCM和ChaCha20-Poly1305算法，那么服务器应该优先使用那个算法呢？或者说密码套件协商的规则是什么？ 这篇文章是**《https优化必须了解ChaCha20-Poly1305算法》**的延伸。现在我们知道在HTTPS协议中，主流的加密算法是AES-GCM和ChaCha20-Poly1305算法，那么服务器应该优先使用那个算法呢？或者说密码套件协商的规则是什么？
上滑加载中
推荐直播
-
GaussDB数据库介绍2025/01/07 周二 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将介绍GaussDB数据库的发展历程、优势、架构、关键特性和部署模式等，旨在帮助开发者了解GaussDB数据库，并通过手把手实验教大家如何在华为云部署GaussDB数据库和使用gsql连接GaussDB数据库。
去报名 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
去报名 -
GaussDB应用实战：手把手带你写SQL2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍，帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
去报名
热门标签