- 文章目录 什么时候会触发垃圾回收？ 被哪些变量引用的对象是不能回收的？ Java中对象不同的引用类型 强引用 软引用 弱引用 虚引... 文章目录 什么时候会触发垃圾回收？ 被哪些变量引用的对象是不能回收的？ Java中对象不同的引用类型 强引用 软引用 弱引用 虚引...
- 文章目录 Pre 系统卡顿问题 年轻代gc到底多久一次对系统影响不大？ 什么时候新生代gc对系统影响很大？ 如何解决大内存机器的新生代GC过慢的问题？ 要命的频繁老... 文章目录 Pre 系统卡顿问题 年轻代gc到底多久一次对系统影响不大？ 什么时候新生代gc对系统影响很大？ 如何解决大内存机器的新生代GC过慢的问题？ 要命的频繁老...
- 文章目录 Pre Code JVM 参数 GC日志 日志分析 思考题 Pre 前两篇文章已经给大家分析清楚了对象是如何进入老年代的，接着我们... 文章目录 Pre Code JVM 参数 GC日志 日志分析 思考题 Pre 前两篇文章已经给大家分析清楚了对象是如何进入老年代的，接着我们...
- 文章目录 Pre Code 分析GC日志 分析内存快照 小结 Pre Metaspace区域内存溢出 。 我们先分析一下GC日志，然后再让JVM... 文章目录 Pre Code 分析GC日志 分析内存快照 小结 Pre Metaspace区域内存溢出 。 我们先分析一下GC日志，然后再让JVM...
- 目录 文章目录 目录性能调优基本原则 性能调优基本原则 性能调优的整体过程如下图： 有明确的性能测试目标。在每次调优前，要尽可能对假设做出清晰的、明确的表述。每次调优仅执行一个配置变更。 目录 文章目录 目录性能调优基本原则 性能调优基本原则 性能调优的整体过程如下图： 有明确的性能测试目标。在每次调优前，要尽可能对假设做出清晰的、明确的表述。每次调优仅执行一个配置变更。
- 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni... 1.设计分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 •随机分区：将元素随机地进行分区。dataStream.shuffle(); •Rebalancing (Round-robin partitioni...
- 可以从数据结构的哪几个方面优化Spark？举例说明 1、优先使用数组以及字符串，而不是集合类。也就是说，优先使用array，而不是ArrayList、LinkedList、HashMap等集合。 比如：企业应用中的做法是，对于对于HashMap、List这种数据结构，统一用String拼接成特殊格式的字符串，比如Map<Integer，Person> persons = new... 可以从数据结构的哪几个方面优化Spark？举例说明 1、优先使用数组以及字符串，而不是集合类。也就是说，优先使用array，而不是ArrayList、LinkedList、HashMap等集合。 比如：企业应用中的做法是，对于对于HashMap、List这种数据结构，统一用String拼接成特殊格式的字符串，比如Map<Integer，Person> persons = new...
- 剑指Offer——知识点储备-故障检测、性能调优与Java类加载机制 故障检测、性能调优 用什么工具可以查出内存泄露 （1）MerroyAnalyzer:一个功能丰富的java堆转储文件分析工具，可以帮助你发现内存漏洞和减少内存消耗;（2）EclipseMAT：是一款开源的java内存分析软件，查找内存泄漏，能容易找到大块内存并验证谁在一直占用它，它是基于Ecli... 剑指Offer——知识点储备-故障检测、性能调优与Java类加载机制 故障检测、性能调优 用什么工具可以查出内存泄露 （1）MerroyAnalyzer:一个功能丰富的java堆转储文件分析工具，可以帮助你发现内存漏洞和减少内存消耗;（2）EclipseMAT：是一款开源的java内存分析软件，查找内存泄漏，能容易找到大块内存并验证谁在一直占用它，它是基于Ecli...
- 性能无外乎就是CPU密集型或I/O密集型两种。 StrictMode是一个开发者工具，常用于捕获在应用主线程中发生的磁盘I/O、网络访问违例等问题。 StrictMode具体能检测什么呢 StrictMode主要检测两大问题：线程策略（TreadPolicy）和VM策略（VmPolicy）。 ThreadPolicy线程策略： 自定义的耗时调用，使用detec... 性能无外乎就是CPU密集型或I/O密集型两种。 StrictMode是一个开发者工具，常用于捕获在应用主线程中发生的磁盘I/O、网络访问违例等问题。 StrictMode具体能检测什么呢 StrictMode主要检测两大问题：线程策略（TreadPolicy）和VM策略（VmPolicy）。 ThreadPolicy线程策略： 自定义的耗时调用，使用detec...
- 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou... 此次博主为大家带来的是Hive性能调优中的表的优化。 目录 一. 小表、大表Join二. 大表Join大表2.1 空KEY过滤2.2 空key转换1. 不随机分布空null值：2. 随机分布空null值 三. MapJoin（小表join大表）3.1 开启MapJoin参数设置3.1 MapJoin工作机制 四. Group By五. Cou...
- 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会... 此次博主为大家带来的是Hive性能调优中的数据倾斜。 目录 一. 合理设置Map及Reduce数二. 复杂文件增加Map数三. 小文件进行合并四. 合理设置Reduce数4.1 调整reduce个数方法一4.2 调整reduce个数方法二4.3 reduce个数并不是越多越好 一. 合理设置Map及Reduce数 1.通常情况下，作业会...
- 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并... 此次博主为大家带来的是Hive性能调优中的并行执行。 Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并...
- 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客... 大家好，我是不温卜火，是一名计算机学院大数据专业大二的学生，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！暂时只有csdn这一个平台，博客...
- 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情... 此次博主为大家带来的是Hive性能调优中的Fetch抓取与本地模式。 目录 一. Fetch抓取二. 本地模式 一. Fetch抓取 我们在刚开始学习hive的时候,都知道hive可以降低程序员的学习成本和开发成本,具体表现就在于可以将SQL语句转换成MapReduce程序运行。 Fetch抓取是指， H i v e 中 对 某 些 情...
- 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <... 此次博主为大家带来的是Hive性能调优中的严格模式。 Hive提供了一个严格模式，可以防止用户执行那些可能意想不到的不好的影响的查询。 通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。 <property> <...
上滑加载中
推荐直播
0.5
-
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门
2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）
2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签
