- 工作流管理器概述无论是在业务开发还是在大数据开发中，工作流管理是必不可少的，在初期可以使用Linux自带的crontab工具来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，crontab显然已经满足不了需求。为此，针对这种多任务、可视化调度的调度管理需求，Apache以及其他组织提供了一系列工作流管理器。一、工作流调度系统背景一个完整的数据分析系统通常都是由大量任务单元组... 工作流管理器概述无论是在业务开发还是在大数据开发中，工作流管理是必不可少的，在初期可以使用Linux自带的crontab工具来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，crontab显然已经满足不了需求。为此，针对这种多任务、可视化调度的调度管理需求，Apache以及其他组织提供了一系列工作流管理器。一、工作流调度系统背景一个完整的数据分析系统通常都是由大量任务单元组...
- 一、Hadoop常见的三种运行模式1、单机模式（独立模式）（Local或Standalone Mode） 默认情况下Hadoop就是处于该模式，用于开发和调式。不对配置文件进行修改。使用本地文件系统，而不是分布式文件系统。 Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同... 一、Hadoop常见的三种运行模式1、单机模式（独立模式）（Local或Standalone Mode） 默认情况下Hadoop就是处于该模式，用于开发和调式。不对配置文件进行修改。使用本地文件系统，而不是分布式文件系统。 Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同...
- 华为云 OBS 存储服务提供了 “对象存储服务” 和” 并行文件系统服务”。 华为云 OBS 存储服务提供了 “对象存储服务” 和” 并行文件系统服务”。
- HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以系统管理员需要定期检查并保持DataNode数据平衡。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率或节点磁盘无法利用等等。所以系统管理员需要定期检查并保持DataNode数据平衡。
- MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”，及他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。
- Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。 Azkaban是 Linkedin 开源的一个批量工作流调度器，在数据中台、数据治理、大数据作业管理、调度相关领域使用非常广泛。华为MapReduce服务作为大数据服务领导者，可以为Azkaban提供更高效、更可靠、高可用的任务计算与调度的能力。强强结合，打造最强大数据、数据治理解决方案。 本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。
- 在实时数据分析方面，Spark 是所有其他解决方案的首选工具。通过这篇博客，我将向您介绍 Apache Spark 这个令人兴奋的新领域，我们将通过一个完整的用例， 使用 Spark 进行地震检测。 在实时数据分析方面，Spark 是所有其他解决方案的首选工具。通过这篇博客，我将向您介绍 Apache Spark 这个令人兴奋的新领域，我们将通过一个完整的用例， 使用 Spark 进行地震检测。
- 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部 现在，你们对 MapReduce 框架有了基本的了解。您可能已经意识到 MapReduce 框架如何帮助我们编写代码来处理 HDFS 中存在的大量数据。与 Hadoop 1.x 相比，Hadoop 2.x 中的 MapReduce 框架发生了重大变化。这些更改将在本 MapReduce 教程系列的下一篇博客中讨论。我将在那个博客中分享一个可下载的综合指南，它解释了 MapReduce 程序的每个部
- HDFS是MapReduce服务中的基础文件系统，全称为Hadoop的分布式文件系统（Hadoop Distributed File System），可支持实现大规模数据可靠的分布式读写。 HDFS是MapReduce服务中的基础文件系统，全称为Hadoop的分布式文件系统（Hadoop Distributed File System），可支持实现大规模数据可靠的分布式读写。
- 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用BulkLoad方式向HBase中批量导入本地数据，在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用BulkLoad方式向HBase中批量导入本地数据，在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。
- 本期精彩看点：关于盘古大模型你想问的，两位核心研发员现身答疑；五一假期回程的车票好买吗？技术揭秘12306如何保证车票不超卖；带你抽丝剥茧，完成复杂Gremlin查询的调试… 本期精彩看点：关于盘古大模型你想问的，两位核心研发员现身答疑；五一假期回程的车票好买吗？技术揭秘12306如何保证车票不超卖；带你抽丝剥茧，完成复杂Gremlin查询的调试…
- 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现 本文主要研究了hdfs文件系统的读写流程以及基于MRS在windows客户端下读写hdfs文件的实现
- Spark01 —— Spark基础 一、为什么选择Spark？ 1.1 MapReduce编程模型的局限性1、繁杂：只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码2、处理效率低：2.1、Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据2.2、任务调度与启动开销大3、不适合迭代处理、交互式处理和流式处理 1.2 Spark与MR的区别Spark是... Spark01 —— Spark基础 一、为什么选择Spark？ 1.1 MapReduce编程模型的局限性1、繁杂：只有Map和Reduce两个操作，复杂的逻辑需要大量的样板代码2、处理效率低：2.1、Map中间结果写磁盘，Reduce写HDFS，多个Map通过HDFS交换数据2.2、任务调度与启动开销大3、不适合迭代处理、交互式处理和流式处理 1.2 Spark与MR的区别Spark是...
- GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通... GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通...
- 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。
上滑加载中
推荐直播
-
物联网资深专家带你轻松构建AIoT智能场景应用2024/11/21 周四 16:30-18:00
管老师 华为云IoT DTSE技术布道师
如何轻松构建AIoT智能场景应用？本期直播将聚焦华为云设备接入平台，结合AI、鸿蒙（OpenHarmony）、大数据等技术，实现物联网端云协同创新场景，教您如何打造更有实用性及创新性的AIoT行业标杆应用。
回顾中 -
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
即将直播 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
去报名
热门标签