-
【功能模块】yarn【操作步骤&问题现象】1、编写java程序，大概逻辑:用户登录，然后调用yarn的接口，这里我们调用的是查询所有任务的接口https://ip:port/web/ws/v1/cluster/apps调用该接口后没能打印出任务信息，运行的结果如下：如图所示，只打印出了<!DOCTYPE html>这一信息，但是调用api/v2/permission/users这一接口查询用户的时候能返回正常的json串，所以这里怀疑是接口的地址写错，麻烦指导一下正确的地址怎么填写2、共需要如下六个接口：【1】根据appId状态查询 http://master129:9999/ws/v1/cluster/apps/application_1627465026527_0590 【2】根据appId+jobId查询状态 http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983 【3】根据jobId取消job http://master129:9999/proxy/application_1627465026527_0042/jobs/d2216cf9be5d71877f88611c2593b567/yarn-cancel 【4】根据appId查询taskManagers http://master129:9999/proxy/application_1627465026527_0590/taskmanagers 【5】根据container查询日志 http://master129:9999/proxy/application_1627465026527_0563/taskmanagers/container_1627465026527_0563_01_000002/log 【6】根据jobId查询 checkpoints 信息 http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983/checkpoints【截图信息】【日志信息】（可选，上传日志内容或者附件） -
【功能模块】前提是基于：访问yarn接口和调用开源接口是一样的。执行命令：curl -k -i --negotiate -u: "https://192.168.1.80:26001/proxy/application_1623832322072_0293/jobs/adf00738e092fc8240f8c503e607e199/"返回302【操作步骤&问题现象】1、用户认证成功后执行：curl -k -i --negotiate -u: "https://192.168.1.80:26001/proxy/application_1623832322072_0293/jobs/adf00738e092fc8240f8c503e607e199/"正常应该是返回200 OK 下面是json串结果返回：【截图信息】【日志信息】（可选，上传日志内容或者附件）
-
【功能模块】MRS中实现访问yarn接口的样例demo的开发【操作步骤&问题现象】1、需要实现访问yarn接口的样例demo，产品文档中的样例代码不能满足需求，实现的接口为：需要的接口：【1】根据appId状态查询http://master129:9999/ws/v1/cluster/apps/application_1627465026527_0590【2】根据appId+jobId查询状态http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983【3】根据jobId取消jobhttp://master129:9999/proxy/application_1627465026527_0042/jobs/d2216cf9be5d71877f88611c2593b567/yarn-cancel【4】根据appId查询taskManagershttp://master129:9999/proxy/application_1627465026527_0590/taskmanagers【5】根据container查询日志http://master129:9999/proxy/application_1627465026527_0563/taskmanagers/container_1627465026527_0563_01_000002/log【6】根据jobId查询 checkpoints 信息http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983/checkpoints【截图信息】【日志信息】（可选，上传日志内容或者附件）
-
【功能模块】flink执行yarn-session报错【操作步骤&问题现象】1、MRS版本为8.1.0.1flink版本为1.12.0根据上个版本的flink组件配置进行配置之后，执行命令yarn-session报错，具体报错信息如下：2、完整信息如文档所示【截图信息】【日志信息】（可选，上传日志内容或者附件）
beautiful idea
发表于2021-05-31 15:19:30
2021-05-31 15:19:30
最后回复
yd_71702039
2023-10-25 10:58:32
5655 6
-
-
【功能模块】MapReduce访问多组件功能【操作步骤&问题现象】1、使用idea的bulid,把依赖和代码一起打包提交代码运行正常。2、使用install生成的不带依赖的jar包再导入环境变量export YARN_USER_CLASSPATH=/opt/hadoopclient/conf:/opt/hadoopclient/HBase/hbase/lib/*:/opt/hadoopclient/Hive/Beeline/lib/*:/opt/hadoopclient/Hive/HCatalog/lib/*然后提交代码yarn jar MRTest-8.0.0-SNAPSHOT.jar com.huawei.bigdata.mapreduce.examples.rcfile2hfile /user/hive/warehouse/testa /testl/b8提示失败【截图信息】【日志信息】（可选，上传日志内容或者附件）代码见附件 -
【功能模块】在dayu上通过yarn-cluster集群方式进行kerberos认证【操作步骤&问题现象】1、管理员给我一个账户可以将作业提交至mrs上运行，我这边想通过user.keytab，krb5.conf进行kerberos认证。2、我目前没有任何主机权限，管理员给出的建议是将认证文件放在obs上，通过obs进行，认证。3、然后发现UserGroupInformation用的好像是linux路径，写obs路径无法访问。【截图信息】【日志信息】（可选，上传日志内容或者附件）
-
因公司需要，需要在华为FIC80环境下执行Flink作业，但是目前遇到了问题，过程如下：1、先将Flink 1.12.0 版本解压后配置conf/flink-conf.yml 的安全认证，如下：security.kerberos.login.use-ticket-cache: truesecurity.kerberos.login.keytab: /home/kgp/user.keytabsecurity.kerberos.login.principal: kgp@HADOOP.COMsecurity.kerberos.login.contexts: Client,KafkaClient环境变量中的hadoop_home 和 hadoop_classpath都配置了，flink是可以找到yarn的2、然后尝试执行官网的demo案例：先执行了kinit命令：kinit -kt user.keytab kgp然后提交作业./bin/flink run -t yarn-per-job --detached ./examples/streaming/TopSpeedWindowing.jar3、结果出现异常：此时yarn UI 界面没有此任务，按照提示执行yarn命令来查看日志命令：yarn logs -applicationId application_1616467846343_00314、执行后得到的日志为：所用到的票据皆是从FI管理界面上下载的，可以保证正确求助 -
-
Yarn组件在3.1.0版本合入的新特性支持，支持Yarn组件在启动Container时使能numa感知功能，原理是读取系统物理节点上每个Numa节点的CPU核、内存容量，使用Numactl命令指定启动container的CPU范围和membind范围，减少跨片访问。1、安装numactl。yum install numactl.aarch64 -y2、开启numa感知（在组件参数配置中已经做过的可以不做）。通过Yarn组件下的NodeManager组件添加以下两个参数：yarn.nodemanager.numa-awareness.enabled true yarn.nodemanager.numa-awareness.read-topology true -
-
yarn还有资源，为什么我任务启动更多的container； yarn队列资源为什么能使用到200%，超过限制使用值； yarn还有资源，但是提交任务一直处于Pending状态详情请点击博文链接：https://bbs.huaweicloud.com/blogs/173998 -
参照https://bbs.huaweicloud.com/forum/thread-48100-1-1.html
-
配置Widget本地开发环境Scaffolding是系统提供的一个脚手架工程，方便创建本地资产工程，用于本地开发Widget、本地调测后上传至资产库，也可以通过该工具下载Widget至本地。操作步骤安装Scaffolding。在本地依次安装nodejs、yarn以及2.7.16版本的python，具体安装过程及环境变量的设置可参考相应官网。nodejs建议安装在默认路径C盘下，如果安装在其他自定义路径中，需要参考nodejs官网更改您系统中的环境变量。将工具压缩包assets_starter.zip下载到本地，进行解压。打开cmd命令窗口，进入解压后的assets_starter文件夹（例如“D:\assets_starter”）。执行yarn命令安装Scaffolding。执行该命令之前，必须确保您的本地环境能够访问互联网。执行命令后，显示如下类似信息且没有报错，表示安装成功。D:\assets_starter> yarn run bootstrapyarn run v1.16.0 $ yarn install && yarn link ... [1/4] Resolving packages... ... [2/4] Fetching packages... ... [3/4] Linking dependencies... ... [4/4] Building fresh packages... ... Done in 665.45s.2.创建资产工程。在本地新建一个文件夹，例如“D:\temp”，用于存放创建的资产工程。在cmd命令窗口，进入该文件夹，执行“magno create AppName”创建资产工程，其中“AppName”为资产工程名称。示例如下，创建一个“ioc-ui”资产工程：D:\temp> magno create ioc-ui ioc-ui has been created succesfully生成的资产工程的目录结构如图1所示。图1 资产工程目录结构demos目录：预置的Widget demo示例。packages目录：用来存放创建的组件工程，每个组件都是一个package工程。READMD.md：帮助文档，包含资产工程的初始化以及创建、预览、上传、及下载Widget的命令。3.为使用vue cli 2的模板功能，需要在cmd命令窗口，“ioc-ui”工程文件夹下执行如下命令安装vue/cli和vue/cli-init。安装完成，出现类似提示内容，则表示命令运行成功。D:\temp> cd ioc-uiD:\temp\ioc-ui> yarn global add @vue/cli yarn global v1.16.0 [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... success Installed "@vue/cli@3.11.0" with binaries: - vue Done in 407.73s. D:\temp\ioc-ui> yarn global add @vue/cli-inityarn global v1.16.0 [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... Done in 17.78s.4.执行如下命令，使用yarn自身的workspace能力来管理多个package的依赖。D:\temp\ioc-ui> yarn config set workspaces-experimental truesuccess Set "workspaces-experimental" to "true". Done in 0.07s.配合完成，出现类似提示内容，则表示命令运行成功。5.复制“ioc-ui”工程文件夹下的“config.json.sample”，重命名为“config.json”，并编辑修改其内容。url：ABC开发环境地址。username：登录ABC开发环境的账号。password：账号密码。{ "url": "https://qa3-dev.besclouds.com", "username": "HWGTM199", "password": "********" }6.初始化工程。D:\temp\ioc-ui> yarn run bootstrapyarn run v1.16.0 $ yarn install && yarn link magno ... [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... Done in 265.57s.7.增加组件工程到“D:\temp\ioc-ui\packages”目录下。目前支持三种类型的组件工程。widget：表示生成的组件工程可打包为传统的Widget资产包，用于拼装高级页面。widget(single file component)：可通过开发vue单文件组件，打包成传统的Widget包，用于拼装高级页面。component：表示生成的组件工程可打包为用于标准页面开发的组件资产。D:\temp\ioc-ui> yarn run addyarn run v1.16.0 $ magno add magno_assets_starter info adding a package ? Select package type: (Use arrow keys) > widget widget(single file component) component8.选择一种组件工程类型，例如选择“widget”敲入回车键。9.按照提示依次输入工程名称、Widget名称、Widget描述信息、开发者并按回车键。后续开发任务中我们将创建一个名为“AlarmController”的Widget，因此本例中将包名和工程名设置为“hw”，widget名设置为“AlarmController”。Input package name: hwWidget project name hwWidget name AlarmControllerWidget description Widget Author vue-cli · Generated "AlarmController". magno_assets_starter info hw added successfully Done in 41.01s.此时，进入“D:\temp\ioc-ui\packages\advancedPageAssets\hw\widget”文件夹，可以看到生成如下7个文件：AlarmController.css AlarmController.editor.js AlarmController.ftl AlarmController.js messages-en.json messages-zh.json packageinfo.json -
MRS :依赖第三库的Pyspark程序 的yarn模式运行关键词:MRS Pyspark python3.6 yarn 第三方依赖库摘要:依赖第三方库的Pysaprk程序在MRS集群以--master yarn模式运行主要有两种方案:1.在mrs集群的所有core节点，以及提交任务的节点(通常为mrs的master节点)，均安装python3.6以及相关的第三方依赖并且指定pyspark使用的python路径;2.在任务提交节点(通常为mrs的master节点)安装Anaconda3,并在Anaconda3中安装python3.6以及第三方依赖库,在--master yarn-cluster模式下,通过--archives选项指定zip包路径 前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/root/data/fly.py代码如下:import addimport numpy as npfrom pyspark import SparkContextfrom pyspark import SparkConfconf=SparkConf().setAppName("Bird")sc=SparkContext.getOrCreate(conf)a=np.array([1,2,3,4,5,6,7,8,9,10])da=sc.parallelize(a)rep=da.repartition(3)reduce=rep.reduce(lambda a,b :add.add_fun(a,b))print(reduce)sc.stop()add.py代码如下:def add_fun(a,b): return a+b 方案一(参考自https://bbs.huaweicloud.com/blogs/115742):1. 安装python以及第三方依赖库MRS使用的操作系统是EulerOS，目前EulerOS无法直接通过yum安装python3，需要自行编译。1.1 编译安装在master1节点编译python# 配置华为云欧拉镜像源wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh && sh mirrors_source.sh# 安装必要的工具，用来编译python3yum groupinstall "Development tools" -yyum -y install zlib zlib-develyum -y install bzip2 bzip2-develyum -y install ncurses ncurses-develyum -y install readline readline-develyum -y install openssl openssl-develyum -y install openssl-staticyum -y install xz lzma xz-develyum -y install sqlite sqlite-develyum -y install gdbm gdbm-develyum -y install tk tk-develyum -y install libffi libffi-devel# 下载，解压python3的tgz包，也可以自行去python官网下一个wget https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgztar -zxvf Python-3.6.7.tgzcd Python-3.6.7# 配置信息及编译安装，安装到/opt/Bigdata/python3目录下，也可以自行指定./configure --prefix=/opt/Bigdata/python3 --enable-shared CFLAGS=-fPICmake && make install# 改下安装目录的权限，便于后面打包分发chmod -R 777 /opt/Bigdata/python31.2 配置变量echo "/opt/Bigdata/python3/lib" >> /etc/ld.so.confldconfigrm -rf /usr/bin/pythonrm -rf /usr/bin/python3rm -rf /usr/bin/piprm -rf /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/python3ln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/pythonln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip# 切换到omm用户su omm;1.3 添加第三方依赖库pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy1.4分发编译好的python到集群上所有节点执行下面命令，获取scp命令，用于分发python包。# 打包cd /opt/Bigdata/ && tar -zcf /tmp/python3.tar.gz python3 && chmod 777 /tmp/python3.tar.gz# 获取将要运行的命令,cat /etc/hosts | grep node | awk '{print $1}'| sed 's|$|:/tmp/|' | sed 's|^|scp /tmp/python3.tar.gz |'将上一操作获取的命令,复制粘贴运行分发完毕后，需要在所有节点解压。可以在master节点用omm用户使用执行命令得到所有解压命令。 cat /etc/hosts | grep node | awk '{print $1}'| sed 's|$| "tar -zxf /tmp/python3.tar.gz -C /opt/Bigdata ;chmod -R 777 /opt/Bigdata/python3"|' | sed 's|^|ssh |'将上一操作获取的命令,复制粘贴运行1.5 配置集群其他节点变量用root用户逐个登录到集群上所有安装python3的节点，执行下面的命令：su root;echo "/opt/Bigdata/python3/lib" >> /etc/ld.so.confldconfigrm -rf /usr/bin/pythonrm -rf /usr/bin/python3rm -rf /usr/bin/piprm -rf /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/python3ln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/pythonln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip1.6 测试挑选几个节点，执行python3,python,pip3,pip，正常运行则安装成功。2. 配置pyspark使用的python3.62.1 配置PYSPARK环境变量在提交任务的节点（比如master1），提交前执行export PYSPARK_PYTHON=/opt/Bigdata/python3/bin/python3或将上面这一样配置在客户端客户端目录下spark-env.sh文件中(默认路径：/opt/client/Spark/spark/conf)echo "export PYSPARK_PYTHON=/opt/Bigdata/python3/bin/python3" >> /opt/client/Spark/spark/conf/spark-env.sh3. 运行fly.py进行测试source /opt/client/bigdata_env;/opt/client/Spark/spark/bin/spark-submit --master yarn-client(或yarn-cluster) --py-files /root/data/add.py /root/data/fly.py 注: --py-files也可以添加压缩文件 方案二(参考自https://www.cnblogs.com/nucdy/p/8569606.html):1.安装Anaconda3、python以及程序依赖的第三方库1.1安装Anaconda3cd /opt/Bigdata#通过wget下载anconda安装包wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2019.07-Linux-x86_64.sh#利用bash命令安装到anconda文件夹下：.bash Anaconda3-2019.07-Linux-x86_64.sh -p anaconda/ -u一直按yes，包括添加到环境如果运行conda --version 显示没有此指令的话，需要把anaconda添加到变量中去，运行两步(也可以根据自己的情况添加环境变量)：echo 'export PATH="/opt/Bigdata/anaconda/bin:$PATH"' >> ~/.bashrcsource ~/.bashrc#添加清华的镜像源：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/#并且在搜索时显示搜索地址conda config --set show_channel_urls yes1.2创建运行环境,包括安装python3.6和第三方依赖库conda create -n mlpy_env --copy -y -q python=3.6 numpy scipy1.3 打包运行环境和上传运行环境chmod -R 777 /opt/Bigdata/anacondacd /opt/Bigdata/anaconda/envs/zip -r mlpy_env.zip ./mlpy_envsource /opt/client/bigdata_env;hadoop fs -mkdir /wanghadoop fs -put ./mlpy_env.zip /wang2. 运行fly.py进行测试/opt/client/Spark/spark/bin/spark-submit --conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=./mlpy_env.zip/mlpy_env/bin/python --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./mlpy_env.zip/mlpy_env/bin/python --py-files /root/data/add.py --master yarn-cluster --archives hdfs:///wang/mlpy_env.zip /root/data/fly.py
上滑加载中
推荐直播
-
-
华为AI技术发展与挑战：集成需求分析的实战指南2024/11/26 周二 18:20-20:20
Alex 华为云学堂技术讲师
本期直播将综合讨论华为AI技术的发展现状，技术挑战，并深入探讨华为AI应用开发过程中的需求分析过程，从理论到实践帮助开发者快速掌握华为AI应用集成需求的框架和方法。
去报名 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签