- 文章目录 Pre Code JVM 参数 GC日志 日志分析 思考题 Pre 前两篇文章已经给大家分析清楚了对象是如何进入老年代的，接着我们... 文章目录 Pre Code JVM 参数 GC日志 日志分析 思考题 Pre 前两篇文章已经给大家分析清楚了对象是如何进入老年代的，接着我们...
- 文章目录 Pre Code 分析GC日志 分析内存快照 小结 Pre Metaspace区域内存溢出 。 我们先分析一下GC日志，然后再让JVM... 文章目录 Pre Code 分析GC日志 分析内存快照 小结 Pre Metaspace区域内存溢出 。 我们先分析一下GC日志，然后再让JVM...
- 目录 文章目录 目录性能调优基本原则 性能调优基本原则 性能调优的整体过程如下图： 有明确的性能测试目标。在每次调优前，要尽可能对假设做出清晰的、明确的表述。每次调优仅执行一个配置变更。 目录 文章目录 目录性能调优基本原则 性能调优基本原则 性能调优的整体过程如下图： 有明确的性能测试目标。在每次调优前，要尽可能对假设做出清晰的、明确的表述。每次调优仅执行一个配置变更。
- 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni... 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni...
- 可以从数据结构的哪几个方面优化Spark？举例说明 1、优先使用数组以及字符串，而不是集合类。也就是说，优先使用array，而不是ArrayList、LinkedList、HashMap等集合。 比如：企业应用中的做法是，对于对于HashMap、List这种数据结构，统一用String拼接成特殊格式的字符串，比如Map<Integer，Person> persons = new... 可以从数据结构的哪几个方面优化Spark？举例说明 1、优先使用数组以及字符串，而不是集合类。也就是说，优先使用array，而不是ArrayList、LinkedList、HashMap等集合。 比如：企业应用中的做法是，对于对于HashMap、List这种数据结构，统一用String拼接成特殊格式的字符串，比如Map<Integer，Person> persons = new...
- 剑指Offer——知识点储备-故障检测、性能调优与Java类加载机制 故障检测、性能调优 用什么工具可以查出内存泄露 （1）MerroyAnalyzer:一个功能丰富的java堆转储文件分析工具，可以帮助你发现内存漏洞和减少内存消耗;（2）EclipseMAT：是一款开源的java内存分析软件，查找内存泄漏，能容易找到大块内存并验证谁在一直占用它，它是基于Ecli... 剑指Offer——知识点储备-故障检测、性能调优与Java类加载机制 故障检测、性能调优 用什么工具可以查出内存泄露 （1）MerroyAnalyzer:一个功能丰富的java堆转储文件分析工具，可以帮助你发现内存漏洞和减少内存消耗;（2）EclipseMAT：是一款开源的java内存分析软件，查找内存泄漏，能容易找到大块内存并验证谁在一直占用它，它是基于Ecli...
- 性能无外乎就是CPU密集型或I/O密集型两种。 StrictMode是一个开发者工具，常用于捕获在应用主线程中发生的磁盘I/O、网络访问违例等问题。 StrictMode具体能检测什么呢 StrictMode主要检测两大问题：线程策略（TreadPolicy）和VM策略（VmPolicy）。 ThreadPolicy线程策略： 自定义的耗时调用，使用detec... 性能无外乎就是CPU密集型或I/O密集型两种。 StrictMode是一个开发者工具，常用于捕获在应用主线程中发生的磁盘I/O、网络访问违例等问题。 StrictMode具体能检测什么呢 StrictMode主要检测两大问题：线程策略（TreadPolicy）和VM策略（VmPolicy）。 ThreadPolicy线程策略： 自定义的耗时调用，使用detec...
- 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou... 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou...
- 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会... 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会...
- 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并... 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情... 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情...
- 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <... 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <...
- 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j... 此次博主为大家带来的是Hive性能调优中的JVM重用。 JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。 Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的j...
- 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种... 此次博主为大家带来的是Hive性能调优中的推测执行。 在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。为了避免这种...
上滑加载中
推荐直播
-
深度解析鸿蒙应用入门级开发者认证2024/12/04 周三 16:00-18:00
Edi 华为云学堂技术讲师
本期直播将为开发者带来HCCDA-HarmonyOS&Cloud Apps认证课程系统介绍、详细阐述HarmonyOS 技术架构、理解HarmonyOS 技术理念，通过实例带领开发者应用快速上手。
回顾中 -
鸿蒙应用入门：轻松掌握ArkTS开发语言2024/12/05 周四 16:00-18:00
Edi 华为云学堂技术讲师
本期直播课旨在让开发者了解ArkTS语法、轻松掌握ArkUI组件开发，带你零门槛入门鸿蒙开发，掌握状态管理实验和渲染控制实验。
即将直播 -
人工智能应用测试深度解析：理论基础与实践应用指南2024/12/06 周五 14:30-16:30
Alex 华为云学堂技术讲师
本期直播主要结合理论及人工智能的相关实验，给大家讲述AI应用测试的主要流程和方法。帮助开发者了解AI应用测试的理论及方法，和AI应用测试在模型迭代调优过程中的作用。
去报名
热门标签