• [问题求助] MRS服务应用场景有哪些?
    MRS适用于各行业的海量数据处理分析和存储场景。[*]海量数据分析处理场景应用:海量数据分析处理,离线分析,在线分析,商业智能。场景特点:海量数据,计算量大,分析时间久,需要大量的机器同时进行分析处理。适用场景:日志分析,离线分析,在线分析,科学模拟计算,生物特征分析和时空轨迹分析。[*]海量数据存储场景应用:海量数据存储和检索,数据仓库。场景特点:海量数据存储,海量数据检索,海量数据容灾备份,数据不能丢失。适用场景:日志存储,文件存储,科学模拟数据存储,生物特征信息存储,基因工程数据存储和时空轨迹数据存储。[*]海量数据流式处理场景应用:海量数据实时分析、持续计算、离线和在线消息消费。场景特点:海量数据,高吞吐,高可靠性,易于扩展,分布式实时计算框架。适用场景:流式数据收集,网站主动跟踪,数据监控,分布式ETL,风险控制等。
  • [问题求助] 能否详细说明:MRS服务/“查询集群列表”接口/“clusterState”请求字段的详细含义以及概....
    问题1:使用"查询集群列表”接口的时候,难道会用到这么多clusterState?问题2:能否详细说明如下这么多clusterState的具体含义,以及实际场景?---->附:http://support.huaweicloud.com/api-mrs/mrs_02_0030.html-----根据集群状态查询集群列表。l existingl historyl startingl runningl terminatedl failedl abnormall terminatingl rebootingl shutdownl frozenl scaling-outl scaling-inl scaling-error
  • [问题求助] MRS有哪些特点和优势?
    MRS有哪些特点和优势?
  • [公告] 云MapReduce邀你来挑战
    华为云大数据服务全新升级,诚邀您体验 大数据平台使用的开源软件种类多,技术复杂,对人员的技能要求高,使用和运维门槛高。这种高门槛让很多企业很难享受到大数据技术带来的实惠,为了降低使用门槛,华为云将大数据服务化,以云服务的形式,帮助企业大幅降低使用大数据的门槛,实现大数据组件的自动化部署和运维,大幅降低大数据的使用和运维成本。 华为云大数据服务,愿意共享行业经验,和企业一起,利用大数据技术,快速发掘数据价值,提升产品竞争力和商业价值,用户满意度。华为云大数据服务,希望在未来和企业一起让数据“慧”说话。 近期,华为云大数据服务(包含MapReduce服务、数据接入服务和数据调度服务)全新升级,为了感谢您对华为云一直以来的关注和使用,诚邀您体验使用。大数据服务全新升级MapReduce服务华为云MapReduce服务提供租户完全可控的企业级大数据集群云服务,可以轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。MapReduce具备丰富应用场景:l 海量数据分析处理利用MapReduce、Spark、Hive等组件,实现海量数据关联分析处理。l 海量数据存储和准实时查询利用HBase(一个基于列的分布式存储系统,具有很高的可靠性,性能和可扩展性)搭建自己的准实时数据库,可以打破关系数据库在处理海量数据方面的局限性,并确保对海量数据的准实时数据高效访问。l 海量数据流式处理可以通过流式集群中的Kafka组件(一种高吞吐量的分布式发布订阅消息系统)、Storm组件(一种实时计算框架)快速搭建一套企业级实时数据采集、存储、分析系统。 MapReduce服务具备如下优势:l 支持企业内部单集群多用户同时使用,可按需扩展至 PB 级别,自动完成系统调优,降低运维投入,让您更聚焦业务。l 按需付费,您可完全掌控自己的虚拟机集群。 数据接入服务数据接入服务(DataIngestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。数据接入服务具备丰富应用场景:l 加速日志和数据传送获取数据生产者在生成数据后立即输入数据接入服务数据流,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据流并可在数秒内进行处理。 l 实时指标和报告实时从数据接入服务数据流提取指标并生成报告。例如,数据接入服务应用程序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 l 实时数据分析通过数据接入服务,可以运行实时流数据分析。例如,可以将点击流添加到数据接入服务数据流,并让数据接入服务应用程序实时运行分析,从而在数分钟内从数据中获得重要见解,而无需数小时或数天时间。 l 复杂的数据流处理可以创建数据接入服务应用程序和数据流的Directed Acyclic Graphs(DAG)。一个或多个数据接入服务应用程序可将数据添加到一个数据流进行进一步处理,以便于进行流处理器的后续阶段。 数据接入服务具备如下优势:l 永久在线,可以进行实时数据处理。利用数据接入服务,可以在数据生成时连续收集数据,并对业务和运营关键信息及时作出反应。l 无限扩展。数据接入服务可以随时根据输入数据量动态调节数据流的吞吐量,每小时可从数MB扩展到数TB,传输记录每秒钟可从数千次扩展到数百万。l 高并发,低时延。最高支持百万级并发,延时低至20毫秒,保证大规模客户同时快速接入数据。l 易于使用。可以在几秒钟内创建数据接入服务数据流,轻松的将数据放入流中,并构建用于数据处理的应用程序。l 安全可靠。数据接入服务可在多个可用区域间同步复制流数据,并将数据保留多达7天,以防数据在应用程序故障、个别机器故障或设施故障时丢失。 数据调度服务数据调度服务(DataPipeline Service,简称DPS)是公有云上的一种云服务,可轻松实现数据在各服务间移动和转换的自动化。根据业务数据处理的需要,用户使用DPS定义数据管道以描述数据处理任务、执行顺序和调度计划,DPS则依据预设的计划和关系调度和控制各任务有序地执行,实现数据在各服务间加工流转。数据调度服务具备丰富应用场景:l 云产品间统一操作和视图通过集成常见的大数据处理组件以及统一的界面,实现快速的跳转和交互式配置,各个组件操作、任务和数据状态监控和反馈。l 批量定期任务执行业务上需要定制批量的、复杂的任务流来实现数据分析。DPS可以快速帮助您通过简单友好界面配置的方式实现任务的配置和调度,并且帮助你自动监控,以及复杂的异常处理和恢复。l 云产品间数据流动已经购买一些云产品并在云产品上积累了一定量的数据,想实现云产品之间的数据互通。DPS提供数据传输通道,可快速助您实现数据互通。数据调度服务具备如下优势:l 图形界面和多种数据处理组件的提供使得数据流编制、调度和运行变得轻松、简单。l 支持按时间、按频率调度数据流,定制数据流被调度条件,使得数据流的执行变得灵活、可控。l 自动运行数据流,监控事件,当符合条件的时候自动报警。 体验方式MapReduce服务体验请访问:http://www.hwclouds.com/product/mrs.htmlDIS服务体验请访问:http://www.hwclouds.com/product/dis.htmlDPS服务体验请访问:http://www.hwclouds.com/product/dps.html请联系华为运营代表(邮箱:zhengzhiwei@huawei.com电话:18576698123),参加华为云大数据服务的体验,有更多优惠。
  • [教程指导] 【云知易】MapReduce服务 入门 01 创建MRS集群
    使用MRS的首要操作就是创建集群,本章节为您介绍如何在MRS管理控制台创建一个新的集群。操作步骤[*]登录MRS管理控制台。[*]单击“申请集群”,进入“集群配置”页面。 说明: [/backcolor]创建集群时需要注意配额提醒。当资源配额不足时,建议按照提示申请足够的资源,再创建集群。[/backcolor]集群配置样例如下图所示:[*]计费方式:默认即可。也可以设置为“按需付费”。[*]集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上工号、姓名拼音缩写或者日期等。例如:“mrs_20160907”[*]可用区域:默认即可。如果该可用区域下已有集群,建议您选择不同的可用区域进行创建。[*]虚拟私有云:默认即可。如果没有VPC,请单击“查看VPC”进入虚拟私有云,创建一个新的VPC。[*]子网:默认即可。如果VPC下未创建子网,请单击“创建子网”,在对应VPC下创建一个新的子网。[*]集群版本:默认MRS 1.5.0即可。[*]集群类型:默认即可。也可选择“流式集群”。[*]实例规格:Master和Core节点都选择“s1.8xlarge.linux.bigdata -- 32 vCPU,128 GB”。[*]节点数量:Master节点数量目前固定为2,Core节点数量配置为3。[*]存储空间:选择“普通I/O”,大小为100GB。[*]密钥对:从下拉框中选择密钥对,如果已获取私钥文件,请勾选“我确认已获取该密钥对中的私钥文件SSHkey-bba1.pem,否则无法登录弹性云服务器”。如果没有创建密钥对,请单击“查看密钥对”创建或导入密钥,然后再获取私钥文件。[*]日志记录:设置为“关闭”: ,也可以选择默认值“开启”:。[*]Kerberos认证:默认为“关闭”:。[*]组件选择:分析集群勾选Spark、HBase和Hive等组件。流式集群勾选Kafka和Storm等组件。[*]添加作业:此处不添加作业,也不需要勾选“作业运行完毕后自动终止集群”参数。 说明: [/backcolor]MRS流式集群不支持“作业管理”和“文件管理”功能。当集群类型为流式集群时,“添加作业”区域将不在创建集群页面展现。[/backcolor][*]当创建包年包月集群,单击“立即购买”,当创建按需集群,单击“立即申请”。[*]确认集群规格信息,勾选“我已阅读并同意《MapReduce服务协议》”,单击“提交订单”,完成集群的创建。集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。操作视频创建MRS集群的操作视频请参见https://portal.huaweicloud.com/videos/b4ca9206b8a111e7b8317ca23e93a891。
  • [技术干货] MRS中的存储选择分析
    MRS是大数据全栈的一个集合体,本身包括存储和计算。那么MRS支持哪些存储,又各有什么特点呢?用户又应该怎么选择呢?下面表格中,大体整理了几种存储的区别,仅供参考。一般来讲,对于性能要求不高,更多是在做离线分析的,建议使用OBS。这样计算和存储分离,集群创建完毕之后即可释放。对于性能要求高的场景,建议选择EVS+SSD,EVS的性能也较好。对于有大量数据存储,且性能要求较高的的场景,建议选择本地盘D1.8xlarge.
  • [问题求助] MRS可以做什么?
    MRS可以做什么?
  • [技术干货] 华为云上使用MRS和其他华为大数据云服务的差别
    MRS服务,实际上是大数据技术栈,包罗大量的大数据体系组件,可以做存储海量数据(HDFS/HBase),可以做离线分析(Hive/Spark/MapReduce),可以做流式业务处理(Storm/SparkStreaming),SQL查询引擎和数仓(Hive/SparkSQL),消息队列(Kafka),可以做数据的采集导入导出(Flume/Loader即Sqoop),可以让用户通过UI访问集群(Hue),可以让用户自己管理集群(MRS Manager)。上述组件,都是MRS内部提供的。而在华为云上,本身也提供了类似场景的大数据服务,例如海量存储,有CloudTable/OBS服务,离线分析有UQuery服务,消息队列有DIS/DMS,数据导入导出有CDM服务等。那么,华为云上的服务,和MRS中的组件,主要有什么差别呢?MRS相比其他华为云服务的优势:优势1:MRS由于提供的是开源软件的能力,因此,在接口上是完全和开源软件兼容的,而云服务化之后,则或多或少,接口和开源是不兼容的。对于已经习惯使用开源软件的客户,直接使用MRS,不用担心接口兼容性的问题,还能享受到MRS服务的快速创建/按需使用/运维管理/技术支持等各种益处。优势2:由于接口是和开源兼容,实际上也是和其他公有云提供商提供的大数据服务的接口兼容,对于需要在不同的云服务提供商中都部署应用,以分担宕机风险或者在做全球化支持的,业务迁移成本很低。优势3:安全性,MRS由于创建出来的集群完全属于用户自己(虚拟机都完全数据用户,虚拟机登录,需要使用用户的密钥或者用户名和密码),MRS服务是无权操控集群的,数据只能通过用户操作,MRS没有任何手段可以接触到用户的数据,因此在数据安全性上讲,是非常高的。优势4:资源隔离性,由于一个集群完全属于租户自己,租户可做那个高规格的虚拟机,因此,可以达到最优的资源隔离性,避免不同用户直接的业务争抢而导致业务不可用。优势5:性能,由于开源的SDK调用是基于TCP消息的,相比于公有云云服务提供的HTTP消息,在响应时间和吞吐量上有天然的优势。优势6:可定制性,因为集群属于租户自己,开源支持的很多接口注入方式,是很容易支持的,而云服务很难,典型的就是Hive的UDF函数,HBase的coprocessor等。MRS相比其他华为云服务的劣势:劣势1:各云服务,或多或少,都有些开源软件所不具备的差异场景优势,或者在成本,或者在性能上等等,而MRS的此类能力,由于和开源保持一致,需要修改内核代码的,不会做,因此,这类差异化的优势较少。MRS主要是围绕在开源软件的内核稳定性和易用性上做改进。劣势2:各云服务,提供的都是公有云的互联网接口,可以通过互联网直接访问,而MRS则只能在用户的VPC内访问,就访问易用性上来讲,是不如其他公有云服务的。劣势3:可运维能力,MRS的集群,比较完全属于用户自己,集群出了故障,MRS的运维人员,难以介入。在安全上非常好,但是在运维上,就需要客户自己投入更多的运维经历了。综上,对于开源软件情有独钟,希望在不同公有云上部署的以规避风险和全球化部署的,建议选择MRS。对于易用性和不希望介入任何运维的,建议选择华为云上的其他的大数据云服务,例如DIS/DPS/CDM/CloudTable等。
  • MRS-Manager "启动集群健康检查" 发现OMS很多异常,这是为啥?
  • [问题求助] 如何使用MRS?
    如题所示。
  • [问题求助] MRS如何收费?
    如题所示。
  • [问题求助] 如何准备MRS的数据源?
    如题。
  • [问题求助] MRS支持哪些作业类型?
    MRS支持哪些作业类型?
  • [问题求助] 如何将用户程序提交到MRS中?
    怎么将用户的程序提交到MRS中?
  • [问题求助] MRS当前支持哪些规格主机?
    MRS当前支持哪些规格主机?[/backcolor]
总条数:215 到第
上滑加载中