- Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性... Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS/OBS的数据集上提供了插入更新和增量拉取的流原语。图1 Hudi基本架构Hudi特性 ACID事务能力，支持实时入湖和批量入湖。 多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性...
- 随着数据湖技术从离线向实时的发展，数据湖在业务已逐渐从辅助决策向实时决策，实时干预甚至提前预防的方向发展，同时，随着国家把数据作为第五种生产要素，数据据价值在逐步提升，这样对海量数据湖的可靠性提出了新的要求。本文主要介绍了MRS应对业务和数据可靠性方面的三种解决方案。 随着数据湖技术从离线向实时的发展，数据湖在业务已逐渐从辅助决策向实时决策，实时干预甚至提前预防的方向发展，同时，随着国家把数据作为第五种生产要素，数据据价值在逐步提升，这样对海量数据湖的可靠性提出了新的要求。本文主要介绍了MRS应对业务和数据可靠性方面的三种解决方案。
- 【摘要】对Hive所有的表逐个进行MSCK Repair，修复效率将会很慢，例如修复1000+个表，30+万个分区，修复时长需要5~6个小时左右，耗时非常长，大大占用了变更时间窗。因此，优化改进MSCK Repair，有效提升修复效率，将变得尤为急迫和重要。优化后，10并发执行MSCK Repair修复1000+个表，30+万个分区，修复操作只需0.5小时左右，效率提升10~12倍。 【摘要】对Hive所有的表逐个进行MSCK Repair，修复效率将会很慢，例如修复1000+个表，30+万个分区，修复时长需要5~6个小时左右，耗时非常长，大大占用了变更时间窗。因此，优化改进MSCK Repair，有效提升修复效率，将变得尤为急迫和重要。优化后，10并发执行MSCK Repair修复1000+个表，30+万个分区，修复操作只需0.5小时左右，效率提升10~12倍。
- MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。 MRS3.1.1-LTS版HetuEngine新特性: 新增UDF SQL语法，支持Remote UDF计算下推. 是跨源跨域解决方案的关键部分，满足无限膨胀的第三方异构数据源UDF匹配需求. 同时, 在使用新语法CREATE/DROP FUNCTION语法后,不需要重启任何的服务或者计算集群就能生效, 减少使用的成本。
- 概述FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据（DBService、Elasticsearch、HDFS NameNode、HBase、Kafka、Yarn）及业务数据（HBase、HDFS、Elasticsearch、Hive、Redis）。备份功能支持将数据备份至本地磁盘（Lo... 概述FusionInsight Manager提供对集群内的用户数据及系统数据的备份恢复能力，备份功能按组件提供。系统支持备份Manager的数据、组件元数据（DBService、Elasticsearch、HDFS NameNode、HBase、Kafka、Yarn）及业务数据（HBase、HDFS、Elasticsearch、Hive、Redis）。备份功能支持将数据备份至本地磁盘（Lo...
- 构建流程样例工程构建流程包括三个主要步骤：下载样例工程的Maven工程源码和配置文件配置华为镜像站中SDK的Maven镜像仓库根据用户自身需求，构建完整的Maven工程样例工程获取地址FusionInsight MRS样例工程Git下载地址为：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.0.2下载压缩包到... 构建流程样例工程构建流程包括三个主要步骤：下载样例工程的Maven工程源码和配置文件配置华为镜像站中SDK的Maven镜像仓库根据用户自身需求，构建完整的Maven工程样例工程获取地址FusionInsight MRS样例工程Git下载地址为：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.0.2下载压缩包到...
- 项目学习内容学习目标视频学习地址学习材料MRS 产品架构FusionInsight MRS 融合大数据和湖仓一体议题解决方案了解大数据发展的历程，深入剖析大数据发展趋势https://bbs.huaweicloud.com/videos/103242《FusionInsight MRS ESL 3.0.2基线方案-融合大数据平台 v1.0》《FusionInsight MRS ESL 3.0... 项目学习内容学习目标视频学习地址学习材料MRS 产品架构FusionInsight MRS 融合大数据和湖仓一体议题解决方案了解大数据发展的历程，深入剖析大数据发展趋势https://bbs.huaweicloud.com/videos/103242《FusionInsight MRS ESL 3.0.2基线方案-融合大数据平台 v1.0》《FusionInsight MRS ESL 3.0...
- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS clickhouse 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS clickhouse
- MRS 3.1.1-lts版本预计将于2021年6月30日前后发布，在这个新版本中，HetuEngine将带来哪些振奋人心的新特性呢？ 让我们一起先睹为快~~ MRS 3.1.1-lts版本预计将于2021年6月30日前后发布，在这个新版本中，HetuEngine将带来哪些振奋人心的新特性呢？ 让我们一起先睹为快~~
- 1、qsub提交任务脚本：qsub 任务文件；qsub -N test.vasp -l nodes=4：ppn=2 -q defaults 任务文件2、任务脚本文件：本质是shell命令脚本，注释以#开头，运行系统参数以#PBS开头串行任务脚本：并行任务脚本：其中变量说明如下： 3、任务作业状态查询：qstatqstat结果说明：E，退出；Q，排队；H，挂起；R，运行；C，结束４、任务作... 1、qsub提交任务脚本：qsub 任务文件；qsub -N test.vasp -l nodes=4：ppn=2 -q defaults 任务文件2、任务脚本文件：本质是shell命令脚本，注释以#开头，运行系统参数以#PBS开头串行任务脚本：并行任务脚本：其中变量说明如下： 3、任务作业状态查询：qstatqstat结果说明：E，退出；Q，排队；H，挂起；R，运行；C，结束４、任务作...
- 在鲲鹏版的MRS安装Miniconda2-latest-Linux-ppc64le.sh，报错，如下图所示： 解决办法:（1）使用鲲鹏开发套件 Kunpeng DevKit对Miniconda2代码快速扫描和分析，根据提供代码移植指导修改。好处是使软件能兼容鲲鹏服务器，缺点是要搭建Kunpeng DevKit平台。（2）使用动态二进制翻译工具ExaGear可以在绝大部分Linu... 在鲲鹏版的MRS安装Miniconda2-latest-Linux-ppc64le.sh，报错，如下图所示： 解决办法:（1）使用鲲鹏开发套件 Kunpeng DevKit对Miniconda2代码快速扫描和分析，根据提供代码移植指导修改。好处是使软件能兼容鲲鹏服务器，缺点是要搭建Kunpeng DevKit平台。（2）使用动态二进制翻译工具ExaGear可以在绝大部分Linu...
- 在华为云新的试用活动，零元购买鲲鹏版MRS一个月试用。去年也优惠购买过X86版的MRS，不过那时候不知道如何使用，误删除了某些软件，导致MRS无法使用。现在可以直接在MRS界面右上角找到使用指南。 通过使用source /opt/client/bigdata_env进入大数据shell客户端环境。hdfs shell客户端建立目录，上传文件，查看文件内容等操作熟悉hdfs命令。... 在华为云新的试用活动，零元购买鲲鹏版MRS一个月试用。去年也优惠购买过X86版的MRS，不过那时候不知道如何使用，误删除了某些软件，导致MRS无法使用。现在可以直接在MRS界面右上角找到使用指南。 通过使用source /opt/client/bigdata_env进入大数据shell客户端环境。hdfs shell客户端建立目录，上传文件，查看文件内容等操作熟悉hdfs命令。...
- 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性... 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性...
- Hadoop如何调整某一个类的日志级别 Hadoop如何调整某一个类的日志级别
- 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签