- 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部... 大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部...
- 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。 本文介绍了在一个MRS集群内，通过多HBase实例进行数据分库，同时在Spark层通过一个APP将多个实例中的数据Scan为一个RDD进行业务处理的样例。
- 1、 概述1.1、什么是MapReduce？大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的... 1、 概述1.1、什么是MapReduce？大数据是人类进入互联网时代以来面临的一个巨大问题：社会生产生活产生的数据量越来越大，数据种类越来越多，数据产生的速度越来越快。传统的数据处理技术，比如说单机存储，关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的...
- clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这. clickhouse是一款非常优秀的OLAP数据库系统，2016年刚开源的时候就因为卓越的性能表现得到大家的关注，而近两年国内互联网公司的大规模应用和推广，使得它在业内声名鹊起，且受到了大家一致的认可。从网络上公开分享的资料和客户使用的案例总结来看，clickhouse主要是应用在实时数仓和离线加速两个场景，其中有些实时业务为了追求极致的性能会上全ssd的配置，考虑到实时数据集的有限规模，这.
- 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。 在移动互联网时代，用户数量庞大，标签数量众多，用户标签的数据量巨大。用户画像系统中，对于标签的存储和查询，不同的企业有不同的实现方案。当前主流的实现方案采用ElasticSearch方案。但基于ElasticSearch构建用户画像平台，往往面临灵活性不足、资源开销大、无SQL接口开发不便等问题。为此，本文提供了一种基于华为MRS ClickHouse构建用户画像系统的方法。
- 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案 华为云FunsionInsight MRS已集成Apache Hudi 0.8版本，基于MRS-Hudi构建数据湖解决方案
- HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 当HBase集群规模越来越大时，发现故障恢复时间较长。本文重点分析了故障恢复问题和耗时阶段，针对耗时进行了对应优化；最后总结了优化配置提升HBase MTTR效率。 HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，它具有高可靠、高性能、面向列和可伸缩的特性，提供快速随机访问海量数据能力。 当HBase集群规模越来越大时，发现故障恢复时间较长。本文重点分析了故障恢复问题和耗时阶段，针对耗时进行了对应优化；最后总结了优化配置提升HBase MTTR效率。
- Spark能对接很多的三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。 Spark能对接很多的三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。
- 昨天完成python依赖包的安装：（在hadoop各几点安装miniconda2），没注意到hadoop的环境情况，今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态，其他stan无显示，但是可以在hbase插入数据，而且通过hive和spark可以查询。使用spark-sql --master yarn 查询数据正常，查看任务调用也正常Hbase的监控任务也正常：关闭hb... 昨天完成python依赖包的安装：（在hadoop各几点安装miniconda2），没注意到hadoop的环境情况，今天发现使用jps除了mas节点的2台云主机可以查看hadoop状态，其他stan无显示，但是可以在hbase插入数据，而且通过hive和spark可以查询。使用spark-sql --master yarn 查询数据正常，查看任务调用也正常Hbase的监控任务也正常：关闭hb...
- 针对之前对Delta 1.2.0、Iceberg 0.13.1和Hudi 011.1进行的基准测试，进行了更正测试，对Hudi组件进行深入分析后，进行了一定的调优处理，本次发布进行进过调优的性能测试结果。 针对之前对Delta 1.2.0、Iceberg 0.13.1和Hudi 011.1进行的基准测试，进行了更正测试，对Hudi组件进行深入分析后，进行了一定的调优处理，本次发布进行进过调优的性能测试结果。
- 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。 2024年9月30日，华为云云原生智能数据湖正式发布MRS 3.5.0-LTS版本。在该版本中，交互式分析引擎HetuEngine 2.1.0 关键新增能力如下。
- 华为云MapReduce服务MRS帮助文档焕新发布，全新文档结构及内容优化，开启知识探索新篇章！ 华为云MapReduce服务MRS帮助文档焕新发布，全新文档结构及内容优化，开启知识探索新篇章！
- 在今天的技术世界里，接入华为云服务API可以比你想象的更简单。作为一名华为云相关的开发者，我深知那些看似繁琐的请求体编写和URL拼接实际上有多么耗时。幸运的是，华为云提供了一整套易于使用的SDK，大大简化了整个开发过程。在这篇文章中，我将分享我的个人经验和实用技巧，希望能帮助像我一样的开发者更高效地使用MRS服务，无论你是刚刚起步还是正在寻找改进开发流程的方法，这里都有你需要的东西。 SDK... 在今天的技术世界里，接入华为云服务API可以比你想象的更简单。作为一名华为云相关的开发者，我深知那些看似繁琐的请求体编写和URL拼接实际上有多么耗时。幸运的是，华为云提供了一整套易于使用的SDK，大大简化了整个开发过程。在这篇文章中，我将分享我的个人经验和实用技巧，希望能帮助像我一样的开发者更高效地使用MRS服务，无论你是刚刚起步还是正在寻找改进开发流程的方法，这里都有你需要的东西。 SDK...
- 近期工作上开始接触了相关容器化的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。首先，理解K8S和容器，首先需要学习以下它的发展历史，才能逐步理解容器的意义和作用。 阶段一：隔离文件——chroot命令的诞生在1979年，Unix系统引入了一个革命性的命令，它允许系统管理员将进程的根目录锁定在指定的位置，从而有效地限制了该进程访问的文件系统范围。这个命令成为了早期容器技术的基石，因为... 近期工作上开始接触了相关容器化的内容，因此整理学习了一堆有关容器化的知识，特此进行分享。首先，理解K8S和容器，首先需要学习以下它的发展历史，才能逐步理解容器的意义和作用。 阶段一：隔离文件——chroot命令的诞生在1979年，Unix系统引入了一个革命性的命令，它允许系统管理员将进程的根目录锁定在指定的位置，从而有效地限制了该进程访问的文件系统范围。这个命令成为了早期容器技术的基石，因为...
- 摘要... 5一、引言... 61.1 研究背景和意义... 61.2 系统亮点... 61.3 主要贡献... 7二、相关技术和理论... 82.1 推荐系统的发展历程和研究现状... 82.2 推荐算法的分类及其优缺点... 82.3 物品协同过滤算法的原理和应用... 92.4 Hadoop框架的架构、特点和应用场景... 102.4.1 Hadoop的架构... 102.4.2 Ha... 摘要... 5一、引言... 61.1 研究背景和意义... 61.2 系统亮点... 61.3 主要贡献... 7二、相关技术和理论... 82.1 推荐系统的发展历程和研究现状... 82.2 推荐算法的分类及其优缺点... 82.3 物品协同过滤算法的原理和应用... 92.4 Hadoop框架的架构、特点和应用场景... 102.4.1 Hadoop的架构... 102.4.2 Ha...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签