- 性能无外乎就是CPU密集型或I/O密集型两种。 StrictMode是一个开发者工具，常用于捕获在应用主线程中发生的磁盘I/O、网络访问违例等问题。 StrictMode具体能检测什么呢 StrictMode主要检测两大问题：线程策略（TreadPolicy）和VM策略（VmPolicy）。 ThreadPolicy线程策略： 自定义的耗时调用，使用detec... 性能无外乎就是CPU密集型或I/O密集型两种。 StrictMode是一个开发者工具，常用于捕获在应用主线程中发生的磁盘I/O、网络访问违例等问题。 StrictMode具体能检测什么呢 StrictMode主要检测两大问题：线程策略（TreadPolicy）和VM策略（VmPolicy）。 ThreadPolicy线程策略： 自定义的耗时调用，使用detec...
- 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou... 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou...
- 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会... 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会...
- 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并... 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情... 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情...
- 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <... 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <...
- 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j... 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j...
- 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种... 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种...
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第3章，第3.2节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第3章，第3.2节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第2章，第2.7节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第2章，第2.7节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.4.3节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.4.3节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.3.1节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.3.1节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.2.1节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.2.1节，作者是任永杰 程舟。
- 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.1.3节，作者是任永杰 程舟。 本节书摘来自华章计算机《KVM实战:原理、进阶与性能调优》一书中第1章，第1.1.3节，作者是任永杰 程舟。
上滑加载中
推荐直播
-
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签