- Hadoop如何调整某一个类的日志级别 Hadoop如何调整某一个类的日志级别
- 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压
- FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议，每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作，如：文件上传，文件下载，目录查看，目录创建，目录删除，文件权限修改等... FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议，每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作，如：文件上传，文件下载，目录查看，目录创建，目录删除，文件权限修改等...
- 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu... 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型，管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括：HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu...
- Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比 Spark 学习中的一些疑问 问题1：Spark 为什么只有在调用 action 时才会触发任务执行呢？ 问题2：Spark 与 MapReduce 对比
- 开源Kettle版本不支持Kerberos认证的Hadoop集群，本文通过简单的插件改造，使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件 开源Kettle版本不支持Kerberos认证的Hadoop集群，本文通过简单的插件改造，使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件
- 使用yarn运行任务，有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。 使用yarn运行任务，有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。
- 高性能利器！华为云MRS ClickHouse重磅推出！ 高性能利器！华为云MRS ClickHouse重磅推出！
- MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ... MRS集群pyspark使用obsclient报错缺少obs模块,报错如下图1：解决方案一：前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/tmp/yy/fly.py代码如下:import addfrom obs import * from pyspark import SparkContext from pyspark ...
- 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver... 1. 参考官方文档-使用2.x及之前的开发指南（https://support.huaweicloud.com/devg-mrs/mrs_06_0187.html），开发指南(适用于2.x及之前)->Spark应用开发章节->Spark on HBase，将样例代码的pom文件hbase.version 配置成<hbase.version>1.3.1-mrs-1.9.0</hbase.ver...
- 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v... 集群后续需要搬迁，割接期同一个业务对接两套集群，发现旧的CDH Kafka集群和新的Mrs kafka集群节点上存储的文件大小相差了几十倍。问题处理过程：一、创建新的消费组分别从头部和尾部进行消费，并查询offset，计算当前存储的消息总数量，对比是否数据量差异导致1.执行如下语句创建新的consumerGroup，并消费数据【这里不能使用现网使用的consumerGroup】kafka-v...
- MRS导入数据概述MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)支持在相同网络中，配置一... MRS导入数据概述MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)支持在相同网络中，配置一...
- 背景：MRS集群创建时指定VPC及下属子网，而且后期无法修改。其中子网可用IP数受限于网段与掩码，实际可用IP数用户在创建子网/子网详情可以查看：如果业务规模发生大规模增长，出现子网IP不够的情况导致MRS集群将无法扩容，对业务产生极大限制。 解决方案 默认情况下，同一个VPC的所有子网内的弹性云服务器均可以进行通信，不同VPC的弹性云服务器不能进行通信。用户也可以通过网络ACL设置来改变... 背景：MRS集群创建时指定VPC及下属子网，而且后期无法修改。其中子网可用IP数受限于网段与掩码，实际可用IP数用户在创建子网/子网详情可以查看：如果业务规模发生大规模增长，出现子网IP不够的情况导致MRS集群将无法扩容，对业务产生极大限制。 解决方案 默认情况下，同一个VPC的所有子网内的弹性云服务器均可以进行通信，不同VPC的弹性云服务器不能进行通信。用户也可以通过网络ACL设置来改变...
- 华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案，支持大数据实时分析、离线分析、交互查询、实时检索等应用场景，助力政企释放海量数据价值，实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！ 华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案，支持大数据实时分析、离线分析、交互查询、实时检索等应用场景，助力政企释放海量数据价值，实现一企一湖、一城一湖，业务洞见更准，价值兑现更快！
- 用户需要将分散在各个系统的数据统一处理，将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具，即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具，其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。 用户需要将分散在各个系统的数据统一处理，将源中的数据统一传输到大数据平台。 需要将不同的数据汇聚、清洗、转换。此时就需要一款支持hadoop和与关系型数据库之间的数据的导入导出工具，即数据迁移工具。此时sqoop(sql to hadoop)就诞生了,sqoop是一个在结构化数据、半结构化数据、和非结构非数据的高效的数据转换工具，其构建起传统db和hadoop之间的桥梁。主要用于批量数据处理。
上滑加载中
推荐直播
-
鸿蒙应用实战：带你掌握UIAbility使用2024/12/12 周四 16:00-18:00
Cindy 华为云学堂技术讲师
本期直播带你了解Stage应用模型和UIAbility应用组件的核心概念、掌握在Stage模型下，使用UIAbility组件进行应用开发的基本流程，直播中会讲解场景化的代码示例，助力开发者深度理解开发内容。
回顾中 -
基于ArkTS卡片开发的鸿蒙应用趣味案例2024/12/13 周五 16:00-18:00
Skye 华为云学堂技术讲师
服务卡片是HarmonyOS应用开发的一大重要亮点。如何创建ArkTS服务卡片，以及如何运用卡片事件的能力呢？本期直播我们将深入剖析其理论要点，并结合实验案例，带大家一起深入体验HarmonyOS服务卡片的开发过程。
去报名 -
OpenSpeech2024/12/14 周六 10:30-15:30
华为讲师团
我们希望能够更接地气、更懂开发者，展示开发者不一样的多维面。不管是中国还是海外，学生还是企业， 每一个开发者的故事都值得被聆听。
即将直播
热门标签