- 在MRS安全集群中，使用Phoenix时如何开启QueryServer会有鉴权问题，本文会基于apache-phoenix-5.0.0-HBase-2.0版本，指导如何正常启动QueryServer服务。1.首先安装Phoenix至指定目录下，可以参考https://support.huaweicloud.com/devg-mrs/mrs_06_0041.html安装Phoenix。2.进入... 在MRS安全集群中，使用Phoenix时如何开启QueryServer会有鉴权问题，本文会基于apache-phoenix-5.0.0-HBase-2.0版本，指导如何正常启动QueryServer服务。1.首先安装Phoenix至指定目录下，可以参考https://support.huaweicloud.com/devg-mrs/mrs_06_0041.html安装Phoenix。2.进入...
- LZO是一种非常高效的压缩算法，相比其它Hadoop支持的压缩算法，它提供极高的解压缩速度，且解压缩速度不受压缩比影响，对压缩包制作索引以后支持文件分片操作，非常适合用于hadoop的分布式处理场景。但由于其开源License问题，MRS和开源Hadoop一样，并没有默认集成hadoop-lzo。下面，我给大家分享一下如何手动编译hadoop-lzo并配置到在Hive服务中。一. 环境准备准... LZO是一种非常高效的压缩算法，相比其它Hadoop支持的压缩算法，它提供极高的解压缩速度，且解压缩速度不受压缩比影响，对压缩包制作索引以后支持文件分片操作，非常适合用于hadoop的分布式处理场景。但由于其开源License问题，MRS和开源Hadoop一样，并没有默认集成hadoop-lzo。下面，我给大家分享一下如何手动编译hadoop-lzo并配置到在Hive服务中。一. 环境准备准...
- 本文为您介绍如何通过快速购买的方式，创建自己专属的大数据集群。 本文为您介绍如何通过快速购买的方式，创建自己专属的大数据集群。
- Presto 开发UDF：在MRS集群上以插件形式添加自定义函数 Presto 开发UDF：在MRS集群上以插件形式添加自定义函数
- MRS 1.8.5及以后的版本，都支持在流式节点上开启LVM特性。LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容，保证业务的连续性。下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。1. 购买云硬盘并挂载。a) ... MRS 1.8.5及以后的版本，都支持在流式节点上开启LVM特性。LVM特性能有效防止kafka多磁盘场景下topic中因为数据不均导致某个partition流量特别大进而磁盘被写爆。同时开启LVM以后可以做到不重启系统、服务或组件的情况下实现磁盘平滑扩容，保证业务的连续性。下面我就介绍一下如何在开启了LVM的节点上实现Kafka的磁盘扩容操作。1. 购买云硬盘并挂载。a) ...
- yarn还有资源，为什么我任务启动更多的container； yarn队列资源为什么能使用到200%，超过限制使用值； yarn还有资源，但是提交任务一直处于Pending状态； yarn还有资源，为什么我任务启动更多的container； yarn队列资源为什么能使用到200%，超过限制使用值； yarn还有资源，但是提交任务一直处于Pending状态；
- 本文介绍 rpm 包，jar 包，tar 包 查看、解压方式， 可以在不解压压缩包的情况下，查看压缩包内的内容 本文介绍 rpm 包，jar 包，tar 包 查看、解压方式， 可以在不解压压缩包的情况下，查看压缩包内的内容
- 本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。 本文介绍Hadoop 文件系统的基本操作，主要涉及 往Hadoop大数据集群拷文件，下载文件到本地，文件查看，创建等。
- 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F... 操作场景： Flume消费kafka数据存储到HBase中。前提条件： 已创建混合集群或者流式和分析集群（集群间网络互通，如果开启kerberos，则需配置跨集群互信https://support.huaweicloud.com/usermanual-mrs/mrs_01_0354.html）。操作步骤： 1. 从HBase客户端拷贝配置文件hbase-site.xml到F...
- MRS HADOOP/SPARK 代码访问OBS方式介绍1 背景描述：MRS样例代码没有介绍如何访问OBS，在默认情况下使用的文件系统都是HDFS；如果访问OBS需要添加一些配置，代码使用过程中也有一些需要注意的地方2 配置OBS相关参数：需要在客户端配置文件core-site.xml里面添加以下参数：<property> <name>fs.obs.access.k... MRS HADOOP/SPARK 代码访问OBS方式介绍1 背景描述：MRS样例代码没有介绍如何访问OBS，在默认情况下使用的文件系统都是HDFS；如果访问OBS需要添加一些配置，代码使用过程中也有一些需要注意的地方2 配置OBS相关参数：需要在客户端配置文件core-site.xml里面添加以下参数：<property> <name>fs.obs.access.k...
- 本文将为大家带来Python连接presto开源的两个实践案例。 本文将为大家带来Python连接presto开源的两个实践案例。
- 本文简要介绍Hive基础知识，包括应用场景、架构、数据存储模型、编译流程等。 本文简要介绍Hive基础知识，包括应用场景、架构、数据存储模型、编译流程等。
- vi 是 linux 系统中自带的文本编辑器 vi 是 linux 系统中自带的文本编辑器
- MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，非常实用于企业海量数据分析。Hive是建立在Hadoop之上的提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and Loading)操作。对庞大的数据集 MapReduce服务（MapReduce Service，简称MRS）是华为云提供的企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，非常实用于企业海量数据分析。Hive是建立在Hadoop之上的提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL(Extraction，Transformation，and Loading)操作。对庞大的数据集
- MapReduce Service at a Glance. MapReduce Service at a Glance.
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
DTT年度收官盛典：华为开发者空间大咖汇，共探云端开发创新2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速，驱动着技术革新发展，华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源，打破平台间的壁垒，实现跨平台协同？在科技迅猛发展的今天，开发者们如何迅速把握机遇，实现高效、创新的技术突破？DTT 年度收官盛典，将与大家共同探索华为开发者空间的创新奥秘。
回顾中
热门标签