- MapReduce核心高频面试题一、ReduceTask工作机制1、Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。2、Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。3、Sort阶段：按照Map... MapReduce核心高频面试题一、ReduceTask工作机制1、Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。2、Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。3、Sort阶段：按照Map...
- JDBC概述一、什么是JDBCJDBC（Java DataBase Connectivity, Java数据库连接） ，是一种用于执行SQL语句的Java API，为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。有了JDBC，程序员只需用JDBC API写一个程序，就可访问所有数据库。Sun公司、数据库厂商、程序员三方关系SUN公司是规范制定者，制定了规范JDBC（连... JDBC概述一、什么是JDBCJDBC（Java DataBase Connectivity, Java数据库连接） ，是一种用于执行SQL语句的Java API，为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。有了JDBC，程序员只需用JDBC API写一个程序，就可访问所有数据库。Sun公司、数据库厂商、程序员三方关系SUN公司是规范制定者，制定了规范JDBC（连...
- 反射的深入了解一、提供丰富的类package com.lanson.test02;//作为一个父类public class Person { //属性 private int age; public String name; //方法 private void eat(){ System.out.println("Person---eat"); ... 反射的深入了解一、提供丰富的类package com.lanson.test02;//作为一个父类public class Person { //属性 private int age; public String name; //方法 private void eat(){ System.out.println("Person---eat"); ...
- 通过案例和概念体会反射的好处一、通过案例体会反射的好处案例：美团外卖 --> 付款 --> 要么用微信支付，要么用支付宝支付package com.lanson.test01;//接口的制定方：美团外卖public interface Mtwm { //在线支付功能： void payOnline();}public class WeChat implements Mtwm{ ... 通过案例和概念体会反射的好处一、通过案例体会反射的好处案例：美团外卖 --> 付款 --> 要么用微信支付，要么用支付宝支付package com.lanson.test01;//接口的制定方：美团外卖public interface Mtwm { //在线支付功能： void payOnline();}public class WeChat implements Mtwm{ ...
- 枚举的深入了解一、引入1、数学：枚举法1<x<42<y<5求x+y=6枚举法：一枚一枚的列举出来。前提：有限，确定2、在java中，类的对象是有限个，确定的。这个类我们可以定义为枚举类举例：星期：一二三四五六日性别：男女季节：春夏秋冬3、自定义枚举类（JDK1.5之前自定义枚举类） package com.lanson.enum01;/** * @author : Lansonli * 定... 枚举的深入了解一、引入1、数学：枚举法1<x<42<y<5求x+y=6枚举法：一枚一枚的列举出来。前提：有限，确定2、在java中，类的对象是有限个，确定的。这个类我们可以定义为枚举类举例：星期：一二三四五六日性别：男女季节：春夏秋冬3、自定义枚举类（JDK1.5之前自定义枚举类） package com.lanson.enum01;/** * @author : Lansonli * 定...
- Hadoop优化核心高频面试题一、Mapreduce 跑的慢的原因？Mapreduce 程序效率的瓶颈在于两点：1、计算机性能CPU、内存、磁盘健康、网络2、I/O 操作优化数据倾斜map和reduce数设置不合理reduce等待过久小文件过多大量的不可分块的超大文件spill次数过多merge次数过多等二、Mapreduce优化方法1、数据输入1.1、合并小文件：在执行mr任务前将小文件... Hadoop优化核心高频面试题一、Mapreduce 跑的慢的原因？Mapreduce 程序效率的瓶颈在于两点：1、计算机性能CPU、内存、磁盘健康、网络2、I/O 操作优化数据倾斜map和reduce数设置不合理reduce等待过久小文件过多大量的不可分块的超大文件spill次数过多merge次数过多等二、Mapreduce优化方法1、数据输入1.1、合并小文件：在执行mr任务前将小文件...
- Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、sto... Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、sto...
- MapReduce核心高频面试题一、ReduceTask工作机制1、Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。2、Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。3、Sort阶段：按照Map... MapReduce核心高频面试题一、ReduceTask工作机制1、Copy阶段：ReduceTask从各个MapTask上远程拷贝一片数据，并针对某一片数据，如果其大小超过一定阈值，则写到磁盘上，否则直接放到内存中。2、Merge阶段：在远程拷贝数据的同时，ReduceTask启动了两个后台线程对内存和磁盘上的文件进行合并，以防止内存使用过多或磁盘上文件过多。3、Sort阶段：按照Map...
- 问题：Error: Export too large: specified 378421176 pixels(max: 100000000).Specify higher maxPixels value ifyou intend to export a large area. (Error code: 3)From the following code, I want to export ... 问题：Error: Export too large: specified 378421176 pixels(max: 100000000).Specify higher maxPixels value ifyou intend to export a large area. (Error code: 3)From the following code, I want to export ...
- Kudu架构一、Kudu存储模型及概念Kudu有自己的数据存储模型，不依赖于HDFS、Hive、HBase其他大数据组件。Kudu有自己的集群，数据存储在Kudu自己的集群Tablet Server中。Kudu的存储模型是有结构的表，表中有主键，并且主键唯一，不能重复。事务支持上与HBase类似，只支持行级ACID事务。Kudu是列式存储，支持数据压缩。Kudu不支持标准SQL，支持Nos... Kudu架构一、Kudu存储模型及概念Kudu有自己的数据存储模型，不依赖于HDFS、Hive、HBase其他大数据组件。Kudu有自己的集群，数据存储在Kudu自己的集群Tablet Server中。Kudu的存储模型是有结构的表，表中有主键，并且主键唯一，不能重复。事务支持上与HBase类似，只支持行级ACID事务。Kudu是列式存储，支持数据压缩。Kudu不支持标准SQL，支持Nos...
- kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享 kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享
- 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ... 数据压缩是kafka解决空间问题和超大数据问题关键场景，例如：当kafka的磁盘空间不足时，可以使用数据压缩，来节省磁盘空间的使用。当生产端需要向kafka集群发送大量的超大数据（大于1M的数据）时可以通过开启压缩模式来减少传输过程中带来的网络消耗。压缩模式开启有一定的要求，为什么会这样，先看kafka压缩的原理：Kafka服务端使用的topic最终压缩模式（由compression.typ...
- Landsat Collection 2 是对 Landsat 档案的第二次主要再处理工作，它带来了多项数据产品改进，这些改进应用了数据处理、算法开发以及数据访问和分发功能方面的进步。 Landsat Collection 2 包含来自 Landsat 1-9 的 Level-1 数据和来自 Landsat 4-9 的科学产品。 Collection 2 的一个主要特征是全球地面参考数据集... Landsat Collection 2 是对 Landsat 档案的第二次主要再处理工作，它带来了多项数据产品改进，这些改进应用了数据处理、算法开发以及数据访问和分发功能方面的进步。 Landsat Collection 2 包含来自 Landsat 1-9 的 Level-1 数据和来自 Landsat 4-9 的科学产品。 Collection 2 的一个主要特征是全球地面参考数据集...
- ClickHouse服务监控一、系统表在ClickHouse System库下的系统表中最要有三张表支撑了ClickHouse运行指标的查询，分别是：metrics、events和asynchronous_metrice。1、metricsmetrics表用于统计ClickHouse服务在运行时，当前正在执行的概要信息，包括正在执行的查询总次数、正在发生的合并操作总次数等，查询方式如下：n... ClickHouse服务监控一、系统表在ClickHouse System库下的系统表中最要有三张表支撑了ClickHouse运行指标的查询，分别是：metrics、events和asynchronous_metrice。1、metricsmetrics表用于统计ClickHouse服务在运行时，当前正在执行的概要信息，包括正在执行的查询总次数、正在发生的合并操作总次数等，查询方式如下：n...
- ClickHouse数据备份在ClickHouse中存在副本，主要作用是保证数据的高可用，副本不能防止数据误删这类操作，ClickHouse提供了多种数据备份的方法来防止数据误删。一、导出文件备份如果数据的体量较小，可以通过dump的形式将数据导出为本地文件，具体操作如下：#在ClickHouse中创建表 test_backupcreate table test_backup(id UIn... ClickHouse数据备份在ClickHouse中存在副本，主要作用是保证数据的高可用，副本不能防止数据误删这类操作，ClickHouse提供了多种数据备份的方法来防止数据误删。一、导出文件备份如果数据的体量较小，可以通过dump的形式将数据导出为本地文件，具体操作如下：#在ClickHouse中创建表 test_backupcreate table test_backup(id UIn...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签