- 近期工作上开始接触了相关容器化的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。首先，理解K8S和容器，首先需要学习以下它的发展历史，才能逐步理解容器的意义和作用。 阶段一：隔离文件——chroot命令的诞生在1979年，Unix系统引入了一个革命性的命令，它允许系统管理员将进程的根目录锁定在指定的位置，从而有效地限制了该进程访问的文件系统范围。这个命令成为了早期容器技术的基石，因为... 近期工作上开始接触了相关容器化的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。首先，理解K8S和容器，首先需要学习以下它的发展历史，才能逐步理解容器的意义和作用。 阶段一：隔离文件——chroot命令的诞生在1979年，Unix系统引入了一个革命性的命令，它允许系统管理员将进程的根目录锁定在指定的位置，从而有效地限制了该进程访问的文件系统范围。这个命令成为了早期容器技术的基石，因为...
- 摘要... 5一、引言... 61.1 研究背景和意义... 61.2 系统亮点... 61.3 主要贡献... 7二、相关技术和理论... 82.1 推荐系统的发展历程和研究现状... 82.2 推荐算法的分类及其优缺点... 82.3 物品协同过滤算法的原理和应用... 92.4 Hadoop框架的架构、特点和应用场景... 102.4.1 Hadoop的架构... 102.4.2 Ha... 摘要... 5一、引言... 61.1 研究背景和意义... 61.2 系统亮点... 61.3 主要贡献... 7二、相关技术和理论... 82.1 推荐系统的发展历程和研究现状... 82.2 推荐算法的分类及其优缺点... 82.3 物品协同过滤算法的原理和应用... 92.4 Hadoop框架的架构、特点和应用场景... 102.4.1 Hadoop的架构... 102.4.2 Ha...
- MRS1.9.2安装Flume客户端并且对接Kafka到HDFS MRS1.9.2安装Flume客户端并且对接Kafka到HDFS
- kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享 kafka的粘性分区特性是在kafka的2.0版本以后提出的，旨在提升生产者发送数据的调度性能，笔者在生产环境使用过程中发现了一个致命的问题并在此处分享
- 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，StochasticLoadBalancer将不仅仅考虑Region数量，还会考虑Region负载、表负载、数据本地化、MemStore大小、Storefile大小等。本文将展开分析HBase负载均衡中StochasticLoadBalancer相关内容。 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，StochasticLoadBalancer将不仅仅考虑Region数量，还会考虑Region负载、表负载、数据本地化、MemStore大小、Storefile大小等。本文将展开分析HBase负载均衡中StochasticLoadBalancer相关内容。
- 本文主要介绍pyflink实现自定义SourceFunction的两种方法 本文主要介绍pyflink实现自定义SourceFunction的两种方法
- 拉链表是缓慢变化维的一种实现形式，是数据仓库的常用数据模型。基于传统大数据需要全量覆盖写的模式进行，基于Hudi的能力，实现方案会更加简单，性能更优。 拉链表是缓慢变化维的一种实现形式，是数据仓库的常用数据模型。基于传统大数据需要全量覆盖写的模式进行，基于Hudi的能力，实现方案会更加简单，性能更优。
- 华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化，有效提升了NameNode的读写吞吐量，从而能够支持更多数据，更多业务请求访问，从而更好的支撑政企客户高效用数，业务洞见更准，价值兑现更快。 华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化，有效提升了NameNode的读写吞吐量，从而能够支持更多数据，更多业务请求访问，从而更好的支撑政企客户高效用数，业务洞见更准，价值兑现更快。
- hbck2使用hbase hbck -help：hbck帮助，执行后反馈输出hbck的帮助文档。没太多有效信息，主要就是说hbase2.x里面不再支持hbck1。使用hbase hbck -j /opt/hbase-hbck2-1.1.0.jar --help 输出帮助信息。bypass[OPTIONS]<PID>…参数说明：中止指定的Procedure任务。当一个Procedure任务长... hbck2使用hbase hbck -help：hbck帮助，执行后反馈输出hbck的帮助文档。没太多有效信息，主要就是说hbase2.x里面不再支持hbck1。使用hbase hbck -j /opt/hbase-hbck2-1.1.0.jar --help 输出帮助信息。bypass[OPTIONS]<PID>…参数说明：中止指定的Procedure任务。当一个Procedure任务长...
- HBaseFsck（hbck）是一种命令行工具，可检查region一致性和表完整性问题并修复损坏。目前HBCK工具有两个版本，HBCK1和HBCK2。两个版本的HBCK工具在设计上已经发生的非常大的变化，在使用方式上也有比较大的差异，两个版本的工具只能使用在对应的内核版本上，无法混用。hbck1（6.5.1版本及以前）hbck1主要用于在hbase1.x版本进行检查or修复。常用命令：-fi... HBaseFsck（hbck）是一种命令行工具，可检查region一致性和表完整性问题并修复损坏。目前HBCK工具有两个版本，HBCK1和HBCK2。两个版本的HBCK工具在设计上已经发生的非常大的变化，在使用方式上也有比较大的差异，两个版本的工具只能使用在对应的内核版本上，无法混用。hbck1（6.5.1版本及以前）hbck1主要用于在hbase1.x版本进行检查or修复。常用命令：-fi...
- MRS后台容器命令查看MRS后台部署服务mrsapigw和mrsdeployer容器信息，及容器常见操作命令。ServiceOM页面查询EICommon-Region-Master。登录任意节点，执行K8S命令。容器状态：kubectl get pods -n mrs -owide进入容器：kubectl exec -ti -n mrs 容器名称 bash删除容器：kubectl delet... MRS后台容器命令查看MRS后台部署服务mrsapigw和mrsdeployer容器信息，及容器常见操作命令。ServiceOM页面查询EICommon-Region-Master。登录任意节点，执行K8S命令。容器状态：kubectl get pods -n mrs -owide进入容器：kubectl exec -ti -n mrs 容器名称 bash删除容器：kubectl delet...
- 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。
- 随着时代发展，数据变得更加开放、共享，客户的业务也面临着多元化处理，原有的集群亟待扩容，另外，推到原有小规模集群的烟囱建设，打造一体化数据湖的诉求也越来越迫切。在这一背景下，原本上千规模的集群已经远远无法满足客户的业务诉求，于是，迫切需要建设上万规模的数据湖。 而上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试，也成为我们研发团队需要考虑的问题。 ... 随着时代发展，数据变得更加开放、共享，客户的业务也面临着多元化处理，原有的集群亟待扩容，另外，推到原有小规模集群的烟囱建设，打造一体化数据湖的诉求也越来越迫切。在这一背景下，原本上千规模的集群已经远远无法满足客户的业务诉求，于是，迫切需要建设上万规模的数据湖。 而上万规模的数据湖如何在进行实验室进行功能、性能、可靠性等方面的测试，也成为我们研发团队需要考虑的问题。 ...
- MRS集群默认会带上Python2.7.5和Python3.8.0两个版本的Python。默认使用的是Python2.7.5。但是有时候我们希望使用的是我们指定的Python版本来运行pyspark任务，因此需要自行上传对应的Python版本包。由于Python较依赖环境，不同环境编译出来的Python版本可能并不通用。 MRS集群默认会带上Python2.7.5和Python3.8.0两个版本的Python。默认使用的是Python2.7.5。但是有时候我们希望使用的是我们指定的Python版本来运行pyspark任务，因此需要自行上传对应的Python版本包。由于Python较依赖环境，不同环境编译出来的Python版本可能并不通用。
- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性... Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性...
上滑加载中
推荐直播
-
DeepSeek 深入浅出白话解读2025/02/12 周三 17:00-18:00
Tim-华为云中国区AI解决方案总监
DeepSeek的来龙去脉，为什么DeepSeek那么强？哪些是它的领先优势？它是怎么发展过来的？在华为云上能不能用到DeepSeek？本节课将一一解读。
即将直播
热门标签