-
【功能模块】yarn【操作步骤&问题现象】1、编写java程序，大概逻辑:用户登录，然后调用yarn的接口，这里我们调用的是查询所有任务的接口https://ip:port/web/ws/v1/cluster/apps调用该接口后没能打印出任务信息，运行的结果如下：如图所示，只打印出了<!DOCTYPE html>这一信息，但是调用api/v2/permission/users这一接口查询用户的时候能返回正常的json串，所以这里怀疑是接口的地址写错，麻烦指导一下正确的地址怎么填写2、共需要如下六个接口：【1】根据appId状态查询 http://master129:9999/ws/v1/cluster/apps/application_1627465026527_0590 【2】根据appId+jobId查询状态 http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983 【3】根据jobId取消job http://master129:9999/proxy/application_1627465026527_0042/jobs/d2216cf9be5d71877f88611c2593b567/yarn-cancel 【4】根据appId查询taskManagers http://master129:9999/proxy/application_1627465026527_0590/taskmanagers 【5】根据container查询日志 http://master129:9999/proxy/application_1627465026527_0563/taskmanagers/container_1627465026527_0563_01_000002/log 【6】根据jobId查询 checkpoints 信息 http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983/checkpoints【截图信息】【日志信息】（可选，上传日志内容或者附件） -
【功能模块】前提是基于：访问yarn接口和调用开源接口是一样的。执行命令：curl -k -i --negotiate -u: "https://192.168.1.80:26001/proxy/application_1623832322072_0293/jobs/adf00738e092fc8240f8c503e607e199/"返回302【操作步骤&问题现象】1、用户认证成功后执行：curl -k -i --negotiate -u: "https://192.168.1.80:26001/proxy/application_1623832322072_0293/jobs/adf00738e092fc8240f8c503e607e199/"正常应该是返回200 OK 下面是json串结果返回：【截图信息】【日志信息】（可选，上传日志内容或者附件）
-
【功能模块】MRS中实现访问yarn接口的样例demo的开发【操作步骤&问题现象】1、需要实现访问yarn接口的样例demo，产品文档中的样例代码不能满足需求，实现的接口为：需要的接口：【1】根据appId状态查询http://master129:9999/ws/v1/cluster/apps/application_1627465026527_0590【2】根据appId+jobId查询状态http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983【3】根据jobId取消jobhttp://master129:9999/proxy/application_1627465026527_0042/jobs/d2216cf9be5d71877f88611c2593b567/yarn-cancel【4】根据appId查询taskManagershttp://master129:9999/proxy/application_1627465026527_0590/taskmanagers【5】根据container查询日志http://master129:9999/proxy/application_1627465026527_0563/taskmanagers/container_1627465026527_0563_01_000002/log【6】根据jobId查询 checkpoints 信息http://master129:9999/proxy/application_1627465026527_0590/jobs/3f484626156561942d162c8d25332983/checkpoints【截图信息】【日志信息】（可选，上传日志内容或者附件）
-
【功能模块】flink执行yarn-session报错【操作步骤&问题现象】1、MRS版本为8.1.0.1flink版本为1.12.0根据上个版本的flink组件配置进行配置之后，执行命令yarn-session报错，具体报错信息如下：2、完整信息如文档所示【截图信息】【日志信息】（可选，上传日志内容或者附件）
beautiful idea
发表于2021-05-31 15:19:30
2021-05-31 15:19:30
最后回复
yd_71702039
2023-10-25 10:58:32
5644 6
-
-
【功能模块】MapReduce访问多组件功能【操作步骤&问题现象】1、使用idea的bulid,把依赖和代码一起打包提交代码运行正常。2、使用install生成的不带依赖的jar包再导入环境变量export YARN_USER_CLASSPATH=/opt/hadoopclient/conf:/opt/hadoopclient/HBase/hbase/lib/*:/opt/hadoopclient/Hive/Beeline/lib/*:/opt/hadoopclient/Hive/HCatalog/lib/*然后提交代码yarn jar MRTest-8.0.0-SNAPSHOT.jar com.huawei.bigdata.mapreduce.examples.rcfile2hfile /user/hive/warehouse/testa /testl/b8提示失败【截图信息】【日志信息】（可选，上传日志内容或者附件）代码见附件 -
【功能模块】在dayu上通过yarn-cluster集群方式进行kerberos认证【操作步骤&问题现象】1、管理员给我一个账户可以将作业提交至mrs上运行，我这边想通过user.keytab，krb5.conf进行kerberos认证。2、我目前没有任何主机权限，管理员给出的建议是将认证文件放在obs上，通过obs进行，认证。3、然后发现UserGroupInformation用的好像是linux路径，写obs路径无法访问。【截图信息】【日志信息】（可选，上传日志内容或者附件）
-
因公司需要，需要在华为FIC80环境下执行Flink作业，但是目前遇到了问题，过程如下：1、先将Flink 1.12.0 版本解压后配置conf/flink-conf.yml 的安全认证，如下：security.kerberos.login.use-ticket-cache: truesecurity.kerberos.login.keytab: /home/kgp/user.keytabsecurity.kerberos.login.principal: kgp@HADOOP.COMsecurity.kerberos.login.contexts: Client,KafkaClient环境变量中的hadoop_home 和 hadoop_classpath都配置了，flink是可以找到yarn的2、然后尝试执行官网的demo案例：先执行了kinit命令：kinit -kt user.keytab kgp然后提交作业./bin/flink run -t yarn-per-job --detached ./examples/streaming/TopSpeedWindowing.jar3、结果出现异常：此时yarn UI 界面没有此任务，按照提示执行yarn命令来查看日志命令：yarn logs -applicationId application_1616467846343_00314、执行后得到的日志为：所用到的票据皆是从FI管理界面上下载的，可以保证正确求助 -
-
Yarn组件在3.1.0版本合入的新特性支持，支持Yarn组件在启动Container时使能numa感知功能，原理是读取系统物理节点上每个Numa节点的CPU核、内存容量，使用Numactl命令指定启动container的CPU范围和membind范围，减少跨片访问。1、安装numactl。yum install numactl.aarch64 -y2、开启numa感知（在组件参数配置中已经做过的可以不做）。通过Yarn组件下的NodeManager组件添加以下两个参数：yarn.nodemanager.numa-awareness.enabled true yarn.nodemanager.numa-awareness.read-topology true -
-
yarn还有资源，为什么我任务启动更多的container； yarn队列资源为什么能使用到200%，超过限制使用值； yarn还有资源，但是提交任务一直处于Pending状态详情请点击博文链接：https://bbs.huaweicloud.com/blogs/173998 -
参照https://bbs.huaweicloud.com/forum/thread-48100-1-1.html
-
配置Widget本地开发环境Scaffolding是系统提供的一个脚手架工程，方便创建本地资产工程，用于本地开发Widget、本地调测后上传至资产库，也可以通过该工具下载Widget至本地。操作步骤安装Scaffolding。在本地依次安装nodejs、yarn以及2.7.16版本的python，具体安装过程及环境变量的设置可参考相应官网。nodejs建议安装在默认路径C盘下，如果安装在其他自定义路径中，需要参考nodejs官网更改您系统中的环境变量。将工具压缩包assets_starter.zip下载到本地，进行解压。打开cmd命令窗口，进入解压后的assets_starter文件夹（例如“D:\assets_starter”）。执行yarn命令安装Scaffolding。执行该命令之前，必须确保您的本地环境能够访问互联网。执行命令后，显示如下类似信息且没有报错，表示安装成功。D:\assets_starter> yarn run bootstrapyarn run v1.16.0 $ yarn install && yarn link ... [1/4] Resolving packages... ... [2/4] Fetching packages... ... [3/4] Linking dependencies... ... [4/4] Building fresh packages... ... Done in 665.45s.2.创建资产工程。在本地新建一个文件夹，例如“D:\temp”，用于存放创建的资产工程。在cmd命令窗口，进入该文件夹，执行“magno create AppName”创建资产工程，其中“AppName”为资产工程名称。示例如下，创建一个“ioc-ui”资产工程：D:\temp> magno create ioc-ui ioc-ui has been created succesfully生成的资产工程的目录结构如图1所示。图1 资产工程目录结构demos目录：预置的Widget demo示例。packages目录：用来存放创建的组件工程，每个组件都是一个package工程。READMD.md：帮助文档，包含资产工程的初始化以及创建、预览、上传、及下载Widget的命令。3.为使用vue cli 2的模板功能，需要在cmd命令窗口，“ioc-ui”工程文件夹下执行如下命令安装vue/cli和vue/cli-init。安装完成，出现类似提示内容，则表示命令运行成功。D:\temp> cd ioc-uiD:\temp\ioc-ui> yarn global add @vue/cli yarn global v1.16.0 [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... success Installed "@vue/cli@3.11.0" with binaries: - vue Done in 407.73s. D:\temp\ioc-ui> yarn global add @vue/cli-inityarn global v1.16.0 [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... Done in 17.78s.4.执行如下命令，使用yarn自身的workspace能力来管理多个package的依赖。D:\temp\ioc-ui> yarn config set workspaces-experimental truesuccess Set "workspaces-experimental" to "true". Done in 0.07s.配合完成，出现类似提示内容，则表示命令运行成功。5.复制“ioc-ui”工程文件夹下的“config.json.sample”，重命名为“config.json”，并编辑修改其内容。url：ABC开发环境地址。username：登录ABC开发环境的账号。password：账号密码。{ "url": "https://qa3-dev.besclouds.com", "username": "HWGTM199", "password": "********" }6.初始化工程。D:\temp\ioc-ui> yarn run bootstrapyarn run v1.16.0 $ yarn install && yarn link magno ... [1/4] Resolving packages... [2/4] Fetching packages... [3/4] Linking dependencies... [4/4] Building fresh packages... Done in 265.57s.7.增加组件工程到“D:\temp\ioc-ui\packages”目录下。目前支持三种类型的组件工程。widget：表示生成的组件工程可打包为传统的Widget资产包，用于拼装高级页面。widget(single file component)：可通过开发vue单文件组件，打包成传统的Widget包，用于拼装高级页面。component：表示生成的组件工程可打包为用于标准页面开发的组件资产。D:\temp\ioc-ui> yarn run addyarn run v1.16.0 $ magno add magno_assets_starter info adding a package ? Select package type: (Use arrow keys) > widget widget(single file component) component8.选择一种组件工程类型，例如选择“widget”敲入回车键。9.按照提示依次输入工程名称、Widget名称、Widget描述信息、开发者并按回车键。后续开发任务中我们将创建一个名为“AlarmController”的Widget，因此本例中将包名和工程名设置为“hw”，widget名设置为“AlarmController”。Input package name: hwWidget project name hwWidget name AlarmControllerWidget description Widget Author vue-cli · Generated "AlarmController". magno_assets_starter info hw added successfully Done in 41.01s.此时，进入“D:\temp\ioc-ui\packages\advancedPageAssets\hw\widget”文件夹，可以看到生成如下7个文件：AlarmController.css AlarmController.editor.js AlarmController.ftl AlarmController.js messages-en.json messages-zh.json packageinfo.json -
MRS :依赖第三库的Pyspark程序 的yarn模式运行关键词:MRS Pyspark python3.6 yarn 第三方依赖库摘要:依赖第三方库的Pysaprk程序在MRS集群以--master yarn模式运行主要有两种方案:1.在mrs集群的所有core节点，以及提交任务的节点(通常为mrs的master节点)，均安装python3.6以及相关的第三方依赖并且指定pyspark使用的python路径;2.在任务提交节点(通常为mrs的master节点)安装Anaconda3,并在Anaconda3中安装python3.6以及第三方依赖库,在--master yarn-cluster模式下,通过--archives选项指定zip包路径 前期准备1. MRS2.1.0、Spark2.3.22. 样例代码在提交任务的节点（比如master1）,代码路径为/root/data/fly.py代码如下:import addimport numpy as npfrom pyspark import SparkContextfrom pyspark import SparkConfconf=SparkConf().setAppName("Bird")sc=SparkContext.getOrCreate(conf)a=np.array([1,2,3,4,5,6,7,8,9,10])da=sc.parallelize(a)rep=da.repartition(3)reduce=rep.reduce(lambda a,b :add.add_fun(a,b))print(reduce)sc.stop()add.py代码如下:def add_fun(a,b): return a+b 方案一(参考自https://bbs.huaweicloud.com/blogs/115742):1. 安装python以及第三方依赖库MRS使用的操作系统是EulerOS，目前EulerOS无法直接通过yum安装python3，需要自行编译。1.1 编译安装在master1节点编译python# 配置华为云欧拉镜像源wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh && sh mirrors_source.sh# 安装必要的工具，用来编译python3yum groupinstall "Development tools" -yyum -y install zlib zlib-develyum -y install bzip2 bzip2-develyum -y install ncurses ncurses-develyum -y install readline readline-develyum -y install openssl openssl-develyum -y install openssl-staticyum -y install xz lzma xz-develyum -y install sqlite sqlite-develyum -y install gdbm gdbm-develyum -y install tk tk-develyum -y install libffi libffi-devel# 下载，解压python3的tgz包，也可以自行去python官网下一个wget https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgztar -zxvf Python-3.6.7.tgzcd Python-3.6.7# 配置信息及编译安装，安装到/opt/Bigdata/python3目录下，也可以自行指定./configure --prefix=/opt/Bigdata/python3 --enable-shared CFLAGS=-fPICmake && make install# 改下安装目录的权限，便于后面打包分发chmod -R 777 /opt/Bigdata/python31.2 配置变量echo "/opt/Bigdata/python3/lib" >> /etc/ld.so.confldconfigrm -rf /usr/bin/pythonrm -rf /usr/bin/python3rm -rf /usr/bin/piprm -rf /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/python3ln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/pythonln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip# 切换到omm用户su omm;1.3 添加第三方依赖库pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy1.4分发编译好的python到集群上所有节点执行下面命令，获取scp命令，用于分发python包。# 打包cd /opt/Bigdata/ && tar -zcf /tmp/python3.tar.gz python3 && chmod 777 /tmp/python3.tar.gz# 获取将要运行的命令,cat /etc/hosts | grep node | awk '{print $1}'| sed 's|$|:/tmp/|' | sed 's|^|scp /tmp/python3.tar.gz |'将上一操作获取的命令,复制粘贴运行分发完毕后，需要在所有节点解压。可以在master节点用omm用户使用执行命令得到所有解压命令。 cat /etc/hosts | grep node | awk '{print $1}'| sed 's|$| "tar -zxf /tmp/python3.tar.gz -C /opt/Bigdata ;chmod -R 777 /opt/Bigdata/python3"|' | sed 's|^|ssh |'将上一操作获取的命令,复制粘贴运行1.5 配置集群其他节点变量用root用户逐个登录到集群上所有安装python3的节点，执行下面的命令：su root;echo "/opt/Bigdata/python3/lib" >> /etc/ld.so.confldconfigrm -rf /usr/bin/pythonrm -rf /usr/bin/python3rm -rf /usr/bin/piprm -rf /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/python3ln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip3ln -s /opt/Bigdata/python3/bin/python3 /usr/bin/pythonln -s /opt/Bigdata/python3/bin/pip3 /usr/bin/pip1.6 测试挑选几个节点，执行python3,python,pip3,pip，正常运行则安装成功。2. 配置pyspark使用的python3.62.1 配置PYSPARK环境变量在提交任务的节点（比如master1），提交前执行export PYSPARK_PYTHON=/opt/Bigdata/python3/bin/python3或将上面这一样配置在客户端客户端目录下spark-env.sh文件中(默认路径：/opt/client/Spark/spark/conf)echo "export PYSPARK_PYTHON=/opt/Bigdata/python3/bin/python3" >> /opt/client/Spark/spark/conf/spark-env.sh3. 运行fly.py进行测试source /opt/client/bigdata_env;/opt/client/Spark/spark/bin/spark-submit --master yarn-client(或yarn-cluster) --py-files /root/data/add.py /root/data/fly.py 注: --py-files也可以添加压缩文件 方案二(参考自https://www.cnblogs.com/nucdy/p/8569606.html):1.安装Anaconda3、python以及程序依赖的第三方库1.1安装Anaconda3cd /opt/Bigdata#通过wget下载anconda安装包wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2019.07-Linux-x86_64.sh#利用bash命令安装到anconda文件夹下：.bash Anaconda3-2019.07-Linux-x86_64.sh -p anaconda/ -u一直按yes，包括添加到环境如果运行conda --version 显示没有此指令的话，需要把anaconda添加到变量中去，运行两步(也可以根据自己的情况添加环境变量)：echo 'export PATH="/opt/Bigdata/anaconda/bin:$PATH"' >> ~/.bashrcsource ~/.bashrc#添加清华的镜像源：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/#并且在搜索时显示搜索地址conda config --set show_channel_urls yes1.2创建运行环境,包括安装python3.6和第三方依赖库conda create -n mlpy_env --copy -y -q python=3.6 numpy scipy1.3 打包运行环境和上传运行环境chmod -R 777 /opt/Bigdata/anacondacd /opt/Bigdata/anaconda/envs/zip -r mlpy_env.zip ./mlpy_envsource /opt/client/bigdata_env;hadoop fs -mkdir /wanghadoop fs -put ./mlpy_env.zip /wang2. 运行fly.py进行测试/opt/client/Spark/spark/bin/spark-submit --conf spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON=./mlpy_env.zip/mlpy_env/bin/python --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./mlpy_env.zip/mlpy_env/bin/python --py-files /root/data/add.py --master yarn-cluster --archives hdfs:///wang/mlpy_env.zip /root/data/fly.py
上滑加载中
推荐直播
-
华为云云原生FinOps解决方案，为您释放云原生最大价值2024/04/24 周三 16:30-18:00
Roc 华为云云原生DTSE技术布道师
还在对CCE集群成本评估感到束手无策？还在担心不合理的K8s集群资源申请和过度浪费？华为云容器服务CCE全新上线云原生FinOps中心，为用户提供多维度集群成本可视化，结合智能规格推荐、混部、超卖等成本优化手段，助力客户降本增效，释放云原生最大价值。
回顾中 -
鲲鹏开发者创享日·江苏站暨数字技术创新应用峰会2024/04/25 周四 09:30-16:00
鲲鹏专家团
这是华为推出的旨在和众多技术大牛、行业大咖一同探讨最前沿的技术思考，分享最纯粹的技术经验，进行最真实的动手体验，为开发者提供一个深度探讨与交流的平台。
回顾中
热门标签