• [生态对接] spark 读取卡夫卡数据 提交到yarn一直报错连接异常失败 代码和参数都配置正确
    【功能模块】spark 读取kafka提交到yarn之后异常,一直报连接错误 【截图信息】 
  • [生态对接] spark提交yarn idea执行正常,提交yarn报错找不到主类
    【功能模块】spark 代码,rdd提交时报错【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [生态对接] 【FI8.1.2】【flink】yarn-session看不到submit new job
    【功能模块】flink 1.12.2 session模式【操作步骤&问题现象】1、客户端认证之后执行yarn-session.sh -jm 1024 -tm 4096 -d2、提示submit成功,application_id写入/tmp/.yarn-properties-xxx成功【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [其他问题] Flink 1.12 yarn-per-job不报错但是也没提交任务到yarn
    环境:FusionInsight8.1.2,flink 1.12windows本地运行okMRS客户端执行 flink run -t yarn-per-job --detached xxx.jar 不报错也不提示提交情况
  • [技术干货] Flink on Yarn三部曲之三:提交Flink任务[转载]
    欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos本文是《Flink on Yarn三部曲》系列的终篇,先简单回顾前面的内容:《Flink on Yarn三部曲之一:准备工作》:准备好机器、脚本、安装包;《Flink on Yarn三部曲之二:部署和设置》:完成CDH和Flink部署,并在管理页面做好相关的设置;现在Flink、Yarn、HDFS都就绪了,接下来实践提交Flink任务到Yarn执行;两种Flink on YARN模式实践之前,对Flink on YARN先简单了解一下,如下图所示,Flink on Yarn在使用的时候分为两种模式,Job Mode和Session Mode:Session Mode:在YARN中提前初始化一个Flink集群,以后所有Flink任务都提交到这个集群,如下图:Job Mode:每次提交Flink任务都会创建一个专用的Flink集群,任务完成后资源释放,如下图:接下来分别实战这两种模式;准备实战用的数据(CDH服务器)接下来提交的Flink任务是经典的WordCount,先在HDFS中准备一份文本文件,后面提交的Flink任务都会读取这个文件,统计里面每个单词的数字,准备文本的步骤如下:SSH登录CDH服务器;切换到hdfs账号:su - hdfs下载实战用的txt文件:创建hdfs文件夹:hdfs dfs -mkdir /input将文本文件上传到/input目录:hdfs dfs -put ./GoneWiththeWind.txt /input准备工作完成,可以提交任务试试了。Session Mode实战SSH登录CDH服务器;切换到hdfs账号:su - hdfs进入目录:/opt/flink-1.7.2/执行如下命令创建Flink集群,-n参数表示TaskManager的数量,-jm表示JobManager的内存大小,-tm表示每个TaskManager的内存大小:创建成功后,控制台输出如下图,注意红框中的提示,表明可以通过38301端口访问Flink:浏览器访问CDH服务器的38301端口,可见Flink服务已经启动:浏览器访问CDH服务器的8088端口,可见YARN的Application(即Flink集群)创建成功,如下图,红框中是任务ID,稍后结束Application的时候会用到此ID:再开启一个终端,SSH登录CDH服务器,切换到hdfs账号,进入目录:/opt/flink-1.7.2执行以下命令,就会提交一个Flink任务(安装包自带的WordCount例子),并指明将结果输出到HDFS的wordcount-result.txt文件中:执行完毕后,控制台输出如下:flink的WordCount任务结果保存在hdfs,我们将结果取出来看看:hdfs dfs -get /wordcount-result.txtvi打开wordcount-result.txt文件,如下图,可见任务执行成功,指定文本中的每个单词数量都统计出来了:浏览器访问Flink页面(CDH服务器的38301端口),也能看到任务的详细情况:销毁这个Flink集群的方法是在控制台执行命令:yarn application -kill application_1580173588985_0002Session Mode的实战就完成了,接下来我们来尝试Job Mode;Job Mode执行以下命令,创建一个Flink集群,该集群只用于执行参数中指定的任务(wordCount.jar),结果输出到hdfs的wordcount-result-1.txt文件:控制台输出如下,表明任务执行完成:如果您的内存和CPU核数充裕,可以立即执行以下命令再创建一个Flink集群,该集群只用于执行参数中指定的任务(wordCount.jar),结果输出到hdfs的wordcount-result-2.txt文件:在YARN管理页面可见任务已经结束:执行命令hdfs dfs -ls /查看结果文件,已经成功生成:执行命令hdfs dfs -get /wordcount-result-1.txt下载结果文件到本地,检查数据正常;至此,Flink on Yarn的部署、设置、提交都实践完成,《Flink on Yarn三部曲》系列也结束了,如果您也在学习Flink,希望本文能够给您一些参考,也建议您根据自身情况和需求,修改ansible脚本,搭建更适合自己的环境;欢迎关注华为云博客:程序员欣宸学习路上,你不孤单,欣宸原创一路相伴…
  • [问题求助] 创建Flink集群时执行yarn-session.sh命令失败
    执行命令:bin/yarn-session.sh -n 3 -jm 1024 -tm 1024报错图片:
  • [二次开发] 【MRS】【YARN java api】调用yarnclient的接口提交应用到RM的java样例demo
    【功能模块】【操作步骤&问题现象】1、能否提供一个调用yarnclient的接口提交应用到RM的java样例demo,感谢【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [二次开发] 【大数据Spark2X】sparkstreaming对接kafka程序yarn-cluster提交到华为集群后运行失败,提示入口
    【功能模块】【操作步骤&问题现象】1、sparkstreaming对接kafka程序,本地环境测试正常2、程序打包后通过如下命令提交到yarn上3、提交成功,运行失败,报错:找不到主类【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [环境搭建] HD 6.5.1.3 版本集群扩容 hdfs和yarn 节点,原集群内存256 新扩容节点512,扩容后是否会存在木桶效应?
    【操作步骤&问题现象】HD 6.5.1.3 版本集群扩容 hdfs和yarn 节点,原集群内存256 新扩容节点512,扩容后是否会存在木桶效应?怎么规避?
  • [技术干货] YARN设计的架构提供了良好的容错机制
    YARN容错机制YARN设计的架构提供了良好的容错机制,对ResourceManager运行失败、NodeManager运行失败等问题,都提供了不同的方案。 ResourceManager高可用性方案Yarn中的ResourceManager负责整个集群的资源管理和任务调度,Yarn高可用性方案通过引入冗余的ResourceManager节点的方式,解决了ResourceManager 单点故障问题。ResourceManager的高可用性方案是通过设置一组Active/Standby的ResourceManager节点来实现的。与HDFS的高可用性方案类似,任何时间点上都只能有一个ResourceManager处于Active状态。当Active状态的ResourceManager发生故障时,可通过自动或手动的方式触发故障转移,进行Active/Standby状态切换。在未开启自动故障转移时,Yarn集群启动后,管理员需要在命令行中使用yarn rmadmin命令手动将其中一个ResourceManager切换为Active状态。当需要执行计划性维护或故障发生时,则需要先手动将Active状态的ResourceManager切换为Standby状态,再将另一个ResourceManager切换为Active状态。开启自动故障转移后,ResourceManager会通过内置的基于ZooKeeper实现的ActiveStandbyElector来决定哪一个ResouceManager应该成为Active节点。当Active状态的ResourceManager发生故障时,另一个ResourceManager将自动被选举为Active状态以接替故障节点。Yarn AppMaster容错机制当集群的ResourceManager以HA方式部署时,客户端使用的“yarn-site.xml”需要配置所有ResourceManager地址。客户端(包括ApplicationMaster和NodeManager)会以轮询的方式寻找Active状态的ResourceManager。如果当前Active状态的ResourceManager无法连接,那么会继续使用轮询的方式找到新的ResourceManager。在YARN中,ApplicationMaster(AM)与其他Container类似也运行在NodeManager上(忽略未管理的AM)。AM可能会由于多种原因崩溃、退出或关闭。如果AM停止运行,ResourceManager(RM)会关闭ApplicationAttempt中管理的所有Container,包括当前任务在NodeManager(NM)上正在运行的所有Container。RM会在另一计算节点上启动新的ApplicationAttempt。不同类型的应用希望以多种方式处理AM重新启动的事件。MapReduce类应用目标是不丢失任务状态,但也能允许一部分的状态损失。但是对于长周期的服务而言,用户并不希望仅仅由于AM的故障而导致整个服务停止运行。YARN支持在新的ApplicationAttempt启动时,保留之前Container的状态,因此运行中的作业可以继续无故障的运行。
  • [基础组件] 调用yarn的接口(根据appId状态查询任务)无返回结果,怀疑地址有问题
    【功能模块】yarn【操作步骤&问题现象】1、编写java程序,大概逻辑:用户登录,然后调用yarn的接口,这里我们调用的是查询所有任务的接口https://ip:port/web/ws/v1/cluster/apps调用该接口后没能打印出任务信息,运行的结果如下:如图所示,只打印出了<!DOCTYPE html>这一信息,但是调用api/v2/permission/users这一接口查询用户的时候能返回正常的json串,所以这里怀疑是接口的地址写错,麻烦指导一下正确的地址怎么填写2、共需要如下六个接口:【1】根据appId状态查询 http://master129:9999/ws/v1/cluster/apps/application_1627465026527_0590 【2】根据appId+jobId查询状态 http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983 【3】根据jobId取消job http://master129:9999/proxy/application_1627465026527_0042/jobs/d2216cf9be5d71877f88611c2593b567/yarn-cancel 【4】根据appId查询taskManagers http://master129:9999/proxy/application_1627465026527_0590/taskmanagers 【5】根据container查询日志 http://master129:9999/proxy/application_1627465026527_0563/taskmanagers/container_1627465026527_0563_01_000002/log 【6】根据jobId查询 checkpoints 信息 http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983/checkpoints【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [基础组件] 【MRS产品】【通过curl命令返回302功能】根据appid+jobid查询yarn接口,返回302
    【功能模块】前提是基于:访问yarn接口和调用开源接口是一样的。执行命令:curl -k -i --negotiate -u: "https://192.168.1.80:26001/proxy/application_1623832322072_0293/jobs/adf00738e092fc8240f8c503e607e199/"返回302【操作步骤&问题现象】1、用户认证成功后执行:curl -k -i --negotiate -u: "https://192.168.1.80:26001/proxy/application_1623832322072_0293/jobs/adf00738e092fc8240f8c503e607e199/"正常应该是返回200 OK 下面是json串结果返回:【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [环境搭建] 【MRS产品】【样例demo开发功能】可以访问yarn接口的样例demo
    【功能模块】MRS中实现访问yarn接口的样例demo的开发【操作步骤&问题现象】1、需要实现访问yarn接口的样例demo,产品文档中的样例代码不能满足需求,实现的接口为:需要的接口:【1】根据appId状态查询http://master129:9999/ws/v1/cluster/apps/application_1627465026527_0590【2】根据appId+jobId查询状态http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983【3】根据jobId取消jobhttp://master129:9999/proxy/application_1627465026527_0042/jobs/d2216cf9be5d71877f88611c2593b567/yarn-cancel【4】根据appId查询taskManagershttp://master129:9999/proxy/application_1627465026527_0590/taskmanagers【5】根据container查询日志http://master129:9999/proxy/application_1627465026527_0563/taskmanagers/container_1627465026527_0563_01_000002/log【6】根据jobId查询 checkpoints 信息http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983/checkpoints【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [基础组件] flink yarnsession起不来,报错:Couldn&apos;t deploy Yarn session cluster
    【功能模块】flink执行yarn-session报错【操作步骤&问题现象】1、MRS版本为8.1.0.1flink版本为1.12.0根据上个版本的flink组件配置进行配置之后,执行命令yarn-session报错,具体报错信息如下:2、完整信息如文档所示【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [问题求助] 【MRS】【Yarn ResourceManager Web UI里看不到MR任务】
    通过Yarn Top里能看到mapreduce的任务,在Yarn ResourceManager Web UI却看不到,是怎么回是呢? 
总条数:32 到第
上滑加载中