- 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！ 华为开发者大会2021（Cloud）期间，华为云FusionInsight MRS云原生数据湖HetuEngine架构师武文博，分享了“跨湖跨仓场景下如何实现海量数据分钟级分析”主题。助力政企客户打通多数据源间数据墙，实现高性能跨湖跨仓跨云数据融合分析，同时，HetuEngine提供统一访问入口，屏蔽了传统复杂的访问接口，并统一使用 SQL 接口，降低大数据使用门槛，简化用数！
- HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。 HDC.Cloud2021期间，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主题，解决传统大数据平台操作繁琐、业务停机、升级成本高等问题，实现一个架构的平滑演进，业务无中断。
- 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。 4月24日-26日，HDC.Cloud2021在深圳大学城成功举办，华为云FusionInsight MRS云原生数据湖带来最懂行的大数据解决方案，为政企客户提供湖仓一体、云原生的大数据解决方案，一个架构可构建3种数据湖：离线数据湖、实时数据湖、逻辑数据湖，更有现场沙箱实验和名师大讲堂，一起来细品。
- 准备：运行样例程序的机器需与MRS集群网络连通一. 运行样例程序1. 获取集群浮动ip登录集群master节点登录MRS集群Master节点，执行命令ip a | grep wsom，对应ip即为浮动ip。浮动ip可能绑定在任意maste节点或控制节点上，若某一节点没获取到，请切换到其他节点尝试2. 配置用户。建议在mrs manager页面创建单独的用户用于获取监控指标，请参考：创建用户3... 准备：运行样例程序的机器需与MRS集群网络连通一. 运行样例程序1. 获取集群浮动ip登录集群master节点登录MRS集群Master节点，执行命令ip a | grep wsom，对应ip即为浮动ip。浮动ip可能绑定在任意maste节点或控制节点上，若某一节点没获取到，请切换到其他节点尝试2. 配置用户。建议在mrs manager页面创建单独的用户用于获取监控指标，请参考：创建用户3...
- 假设有两个集群A，B，均开启了Kerberos，本文将说明如何配置使用集群B上的Presto查询集群A1. 配置集群互信，参见 配置跨集群互信2. 将集群A上的/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/core-site.xml和/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/hdfs-site.xml拷贝... 假设有两个集群A，B，均开启了Kerberos，本文将说明如何配置使用集群B上的Presto查询集群A1. 配置集群互信，参见 配置跨集群互信2. 将集群A上的/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/core-site.xml和/opt/Bigdata/MRS_1.9.2/1_XX_Coordinator/etc/hdfs-site.xml拷贝...
- 本文将介绍如何在MRS集群中安装、部署、使用Mahout（0.13.1），包括使用MapReduce和Spark两种计算引擎。下载、编译Mahout从Github Mahout Release页面，下载0.13.1-rc1.zip的包。下载页面 --> https://github.com/apache/mahout/releases/tag/mahout-0.13.1-rc1下载地址 --... 本文将介绍如何在MRS集群中安装、部署、使用Mahout（0.13.1），包括使用MapReduce和Spark两种计算引擎。下载、编译Mahout从Github Mahout Release页面，下载0.13.1-rc1.zip的包。下载页面 --> https://github.com/apache/mahout/releases/tag/mahout-0.13.1-rc1下载地址 --...
- 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。
- MRSDLIDWSCSS简述半托管式Hadoop全家桶，包含hadoop core、hive、spark、flink、kafka、hbase等主要hadoop生态组件。Hadoop生态Serverless化批(Spark)/流(Flink)/交互式(Presto)融合的云原生大数据处理分析服务。高性能关系型分布式数据仓库。基于开源ES自研改进的搜索服务对标服务/产品A1EMRAthena/... MRSDLIDWSCSS简述半托管式Hadoop全家桶，包含hadoop core、hive、spark、flink、kafka、hbase等主要hadoop生态组件。Hadoop生态Serverless化批(Spark)/流(Flink)/交互式(Presto)融合的云原生大数据处理分析服务。高性能关系型分布式数据仓库。基于开源ES自研改进的搜索服务对标服务/产品A1EMRAthena/...
- Hadoop详解MapReduce过程介绍Hadoop是一个开源的分布式计算框架，其中的MapReduce是其核心编程模型之一。MapReduce过程是Hadoop用来处理大规模数据集的一种并行计算模型，在大数据处理中被广泛应用。本文将详细介绍Hadoop中的MapReduce过程。MapReduce过程详解MapReduce过程主要包含两个阶段：Map阶段和Reduce阶段，分别对应两个函... Hadoop详解MapReduce过程介绍Hadoop是一个开源的分布式计算框架，其中的MapReduce是其核心编程模型之一。MapReduce过程是Hadoop用来处理大规模数据集的一种并行计算模型，在大数据处理中被广泛应用。本文将详细介绍Hadoop中的MapReduce过程。MapReduce过程详解MapReduce过程主要包含两个阶段：Map阶段和Reduce阶段，分别对应两个函...
- 在今天的技术世界里，接入华为云服务API可以比你想象的更简单。作为一名华为云相关的开发者，我深知那些看似繁琐的请求体编写和URL拼接实际上有多么耗时。幸运的是，华为云提供了一整套易于使用的SDK，大大简化了整个开发过程。在这篇文章中，我将分享我的个人经验和实用技巧，希望能帮助像我一样的开发者更高效地使用MRS服务，无论你是刚刚起步还是正在寻找改进开发流程的方法，这里都有你需要的东西。 SDK... 在今天的技术世界里，接入华为云服务API可以比你想象的更简单。作为一名华为云相关的开发者，我深知那些看似繁琐的请求体编写和URL拼接实际上有多么耗时。幸运的是，华为云提供了一整套易于使用的SDK，大大简化了整个开发过程。在这篇文章中，我将分享我的个人经验和实用技巧，希望能帮助像我一样的开发者更高效地使用MRS服务，无论你是刚刚起步还是正在寻找改进开发流程的方法，这里都有你需要的东西。 SDK...
- 在诞生之初，Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要兼顾批处理作业，技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。 在诞生之初，Trino是为了填补当时 Facebook 内部实时查询和 ETL 处理之间的空白。Trino的核心目标就是提供交互式查询，也就是我们常说的 Ad-Hoc Query，很多公司都使用它作为 OLAP 计算引擎。近年来业务场景越来越复杂，除了交互式查询场景，很多公司也需要兼顾批处理作业，技术大佬们开始思考如何用Trino来进行大数据集的批加工处理。
- 批处理任务编排初学者容易误以为容器的任务只在于部署行为－－将软件在容器中部署以提供持续的服务。但其实容器也同样大量的被应用于批处理程序的运行上。比如测试行为是典型的批处理任务范畴， 它不提供持续稳定的服务， 它只是一段特定的程序，而一但这段测试程序结束后就应该销毁一切，包括执行环境和所占用的资源，容器对比于传统的虚拟机的优势也在于除了容器更加的轻量级外， 容器的创建和销毁都很方便，通过 K8... 批处理任务编排初学者容易误以为容器的任务只在于部署行为－－将软件在容器中部署以提供持续的服务。但其实容器也同样大量的被应用于批处理程序的运行上。比如测试行为是典型的批处理任务范畴， 它不提供持续稳定的服务， 它只是一段特定的程序，而一但这段测试程序结束后就应该销毁一切，包括执行环境和所占用的资源，容器对比于传统的虚拟机的优势也在于除了容器更加的轻量级外， 容器的创建和销毁都很方便，通过 K8...
- 计算机软件：系统软件和应用软件。 计算机系统资源：硬件资源、软件资源。 硬件资源：中央处理器、存储器、输入、输出等物理设备。 软件资源：以文件形式保存到存储器上的程序和数据信息。 计算机软件：系统软件和应用软件。 计算机系统资源：硬件资源、软件资源。 硬件资源：中央处理器、存储器、输入、输出等物理设备。 软件资源：以文件形式保存到存储器上的程序和数据信息。
- PreparedStatement完成CURD和批处理一、完成CURDpackage com.lanson.test3;import com.lanson.entity.Emp;import java.sql.*;import java.util.ArrayList;import java.util.List;/** * @Author: Lansonli * @Description: ... PreparedStatement完成CURD和批处理一、完成CURDpackage com.lanson.test3;import com.lanson.entity.Emp;import java.sql.*;import java.util.ArrayList;import java.util.List;/** * @Author: Lansonli * @Description: ...
- Hadoop优化核心高频面试题一、Mapreduce 跑的慢的原因？Mapreduce 程序效率的瓶颈在于两点：1、计算机性能CPU、内存、磁盘健康、网络2、I/O 操作优化数据倾斜map和reduce数设置不合理reduce等待过久小文件过多大量的不可分块的超大文件spill次数过多merge次数过多等二、Mapreduce优化方法1、数据输入1.1、合并小文件：在执行mr任务前将小文件... Hadoop优化核心高频面试题一、Mapreduce 跑的慢的原因？Mapreduce 程序效率的瓶颈在于两点：1、计算机性能CPU、内存、磁盘健康、网络2、I/O 操作优化数据倾斜map和reduce数设置不合理reduce等待过久小文件过多大量的不可分块的超大文件spill次数过多merge次数过多等二、Mapreduce优化方法1、数据输入1.1、合并小文件：在执行mr任务前将小文件...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签