# 华为FusionInsight MRS实战 - Manager rest接口进阶学习 ## 典型场景说明 1. 想通过rest接口，获取yarn resource manager原生界面的信息  2. 想通过rest接口，获取Mapreduce jobhistory原生界面的信息  说明： 有上图可知，正常情况会通过manager界面点击，并且进行跳转，所以直接通过curl命令获取跳转地址会失败 ## 操作步骤 1. 获取对应实例对应的直接ip以及端口，登录集群oms节点后台查看whitelist.txt文件，样例路径为：`/opt/huawei/Bigdata/om-server/Apache-httpd-2.4.48/conf/whitelist.txt` yarn resource manager实例直连信息：  Mapreduce jobhistory实例直连信息：  2. 根据获取到的连接信息可以使用curl命令获取页面内容 yarn resource manager获取参考命令 `curl -v --negotiate -u:-X GET https://xxx.xx.xxx.xx:26001/ws/v1/cluster/info -k`  Mapreduce jobhistory 获取参考命令 `curl -v --negotiate -u:-X GET https://xxx.xx.xx.xx:26014/ws/v1/history/mapreduce/jobs -k` 

# 华为FusionInsight MRS实战 - Manager rest接口基础学习 ## Manager简介 FusionInsight Manager是集群的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的安装部署性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 ## 典型场景说明 通过典型场景，可以快速学习和掌握Manage REST API的开发过程，并且对关键的函数有所了解。 场景说明 假定用户需要以非界面方式实现操作FusionInsight Manager系统，要求开发基于HTTP Basic认证的应用程序实现如下功能： - 登录FusionInsight Manager系统。 - 访问FusionInsight Manager系统，进行查询、添加、删除等操作。 下面对比介绍使用样例代码和curl命令完成上述rest接口验证 ## 环境准备 - （样例代码）下载并准备MRS对应版本的manager样例代码，比如：https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.1.2/src/manager-examples  注意：分别将工程的conf，src路径标注为Resouces Root和Source Root - （样例代码）修改UserInfo.properties文件，分别填入对应的manager登录用户名，密码以及Manager IP  - （Curl命令）准备linux客户端，使用命令`curl -V`检查是否支持认证  下面根据UserManager.java对比验证 ## Manager 功能验证 1. （样例代码）登录核心参考如下样例代码 ``` // 调用firstAccess接口完成登录认证 LOG.info("Begin to get httpclient and first access."); BasicAuthAccess authAccess = new BasicAuthAccess(); HttpClient httpClient = authAccess.loginAndAccess(webUrl, userName, password, userTLSVersion); LOG.info("Start to access REST API."); ``` 对应curl 请求命令 -u 参数 2. （样例代码）访问Manager接口完成添加用户，参考如下样例代码 ``` // 访问Manager接口完成添加用户 operationName = "AddUser"; operationUrl = webUrl + ADD_USER_URL; jsonFilePath = "./conf/addUser.json"; httpManager.sendHttpPostRequest(httpClient, operationUrl, jsonFilePath, operationName); ``` 对应curl 命令请求 `curl -s -w %{http_code} -k -u '对应用户':'对应密码' -X POST 'https://xxx.xx.xx.xxx:28443/web/api/v2/permission/users' -HContent-type:application/json -d '{"userName":"user888","userType":"HM","password":"Admin12!","confirmPassword":"Admin12!","userGroups":["supergroup"],"userRoles":[],"primaryGroup":"supergroup","description":"Add user"}' `  3. （样例代码）访问Manager接口完成查找用户列表，参考如下样例代码 ``` // 访问Manager接口完成查找用户列表 operationName = "QueryUserList"; operationUrl = webUrl + QUERY_USER_LIST_URL; String responseLineContent = httpManager.sendHttpGetRequest(httpClient, operationUrl, operationName); LOG.info("The {} response is {}.", operationName, responseLineContent); ``` 对应curl 命令请求 `curl -s -w %{http_code} -k -u '对应用户':'对应密码' -X GET 'https://xxx.xx.xx.xxx:28443/web/api/v2/permission/users?limit=10&offset=0&filter=&order=ASC' -HContent-type:application/json `  3. （样例代码）访问Manager接口完成修改用户，参考如下样例代码 ``` // 访问Manager接口完成修改用户 operationName = "ModifyUser"; String modifyUserName = "user888"; operationUrl = webUrl + MODIFY_USER_URL + modifyUserName; jsonFilePath = "./conf/modifyUser.json"; httpManager.sendHttpPutRequest(httpClient, operationUrl, jsonFilePath, operationName); ``` 对应curl 命令请求 `curl -s -w %{http_code} -k -u '对应用户':'对应密码' -X PUT 'https://xxx.xx.xx.xxx:28443/web/api/v2/permission/users/user888' -HContent-type:application/json -d '{"userName":"user888","userType":"HM","password":"","confirmPassword":"","userGroups":["supergroup"],"primaryGroup":"supergroup","userRoles":["Manager_administrator"],"description":"Modify user"}'`  4. （样例代码）访问Manager接口完成删除用户，参考如下样例代码 ``` // 访问Manager接口完成删除用户 operationName = "DeleteUser"; String deleteJsonStr = "{\"userNames\":[\"user888\"]}"; operationUrl = webUrl + DELETE_USER_URL; httpManager.sendHttpDeleteRequest(httpClient, operationUrl, deleteJsonStr, operationName); ``` 对应curl 命令请求 `curl -s -w %{http_code} -k -u '对应用户':'对应密码' -X DELETE 'https://xxx.xx.xx.xxx:28443/web/api/v2/permission/users' -HContent-type:application/json -d '{"userNames":["user888"]}'` 

进行线下版本的HD集群搭建，当前有一批X86的CPU型号为海光C86的中科可控R6237H型号的服务器，想知道是否支持JD集群的部署搭建？

以下为FusionInsight HD&MapReduce Service HCS场景下历史版本所支持的升级路径对应软件包及升级指导书说明。MRS各版本升级包在线查询工具MRS各版本补丁包在线查询工具升级前基线版本升级前补丁版本可升级目标版本升级包下载路径升级指导书下载路径V100R002C60SPC200V100R002C60SPC2XXV100R002C70SPC200企业用户运营商用户企业用户运营商用户V100R002C60U10V100R002C60U10SPCXXXV100R002C70SPC200企业用户运营商用户企业用户运营商用户V100R002C70SPC100　V100R002C70SPC200企业用户运营商用户企业用户运营商用户V100R002C70SPC200V100R002C70SPC2XX6.5.1企业用户运营商用户企业用户运营商用户V100R002C70SPC200V100R002C70SPC2XX6.5.1.x（FusionInsight HD支持静默补丁，可直接升级至补丁版本）企业用户_升级包运营商用户_升级包企业用户运营商用户企业用户_补丁包运营商用户_补丁包V100R002C80SPC200V100R002C80SPC20X6.5.1企业用户运营商用户企业用户运营商用户V100R002C80SPC200V100R002C80SPC20X6.5.1.x（FusionInsight HD支持静默补丁，可直接升级至补丁版本）企业用户_升级包运营商用户_升级包企业用户运营商用户企业用户_补丁包运营商用户_补丁包6.5.16.5.1.X8.0.2.1（MRS 3.0.2-LTS.2）企业用户-升级包运营商用户-升级包企业用户运营商用户企业用户-工具包运营商用户-工具包8.0.2（MRS 3.0.2-LTS）-8.0.2.1（MRS 3.0.2-LTS.2）企业用户-升级包运营商用户-升级包企业用户运营商用户企业用户-工具包运营商用户-工具包6.5.16.5.1.X8.0.2.2（MRS 3.0.2-LTS.6）企业用户运营商用户企业用户运营商用户8.0.2（MRS 3.0.2-LTS）8.0.2.1（MRS 3.0.2-LTS.2）8.0.2.2（MRS 3.0.2-LTS.6）企业用户运营商用户企业用户运营商用户6.5.16.5.1.X8.0.2.3（MRS 3.0.2-LTS.7）企业用户运营商用户企业用户运营商用户8.0.2（MRS 3.0.2-LTS）8.0.2.1（MRS 3.0.2-LTS.2）8.0.2.2（MRS 3.0.2-LTS.6）8.0.2.3（MRS 3.0.2-LTS.7）企业用户运营商用户企业用户运营商用户6.5.16.5.1.X8.1.2.2（MRS 3.1.2-LTS.3）企业用户运营商用户企业用户运营商用户8.0.2（MRS 3.0.2-LTS）8.0.2.1（MRS 3.0.2-LTS.2）8.0.2.2（MRS 3.0.2-LTS.6）8.0.2.3（MRS 3.0.2-LTS.7）8.1.2.2（MRS 3.1.2-LTS.3）企业用户运营商用户企业用户运营商用户8.1.2（MRS 3.1.2-LTS）-8.1.2.2（MRS 3.1.2-LTS.3）企业用户运营商用户企业用户运营商用户以下为FusionInsight HD&MapReduce Service HCS场景下各版本已发布的通用补丁版本号及对应链接地址。基线版本补丁版本补丁包下载路径补丁安装指导书下载路径发布版本号V100R002C70SPC200V100R002C70SPC205企业用户运营商用户企业用户运营商用户FusionInsight HD V100R002C70SPC205V100R002C70SPC208企业用户运营商用户企业用户运营商用户FusionInsight HD V100R002C70SPC208V100R002C70SPC209企业用户运营商用户企业用户运营商用户FusionInsight HD V100R002C70SPC209V100R002C70SPC210企业用户运营商用户企业用户运营商用户FusionInsight HD V100R002C70SPC210V100R002C70SPC211企业用户运营商用户企业用户运营商用户FusionInsight HD V100R002C70SPC211V100R002C80SPC200V100R002C80SPC203企业用户运营商用户企业用户运营商用户FusionInsight HD V100R002C80SPC203FusionInsight HD 6.5.16.5.1.1企业用户运营商用户企业用户运营商用户FusionInsight HD 6.5.1.SPC16.5.1.3企业用户运营商用户企业用户运营商用户FusionInsight HD 6.5.1.36.5.1.5企业用户运营商用户企业用户运营商用户FusionInsight HD 6.5.1.56.5.1.6企业用户运营商用户企业用户运营商用户FusionInsight HD 6.5.1.66.5.1.7企业用户运营商用户企业用户运营商用户FusionInsight HD 6.5.1.76.5.1.8企业用户运营商用户企业用户运营商用户FusionInsight HD 6.5.1.86.5.1.9（荐）企业用户运营商用户企业用户运营商用户FusionInsight HD 6.5.1.98.0.2（MRS 3.0.2-LTS）8.0.2.1企业用户运营商用户企业用户运营商用户MapReduce Service 3.0.2-LTS.28.0.2.2企业用户运营商用户企业用户运营商用户MapReduce Service 3.0.2-LTS.68.0.2.3（荐）企业用户运营商用户企业用户运营商用户MapReduce Service 3.0.2-LTS.78.1.2（MRS 3.1.2-LTS）8.1.2.2企业用户运营商用户企业用户运营商用户MapReduce Service 3.1.2-LTS.3

转载来源：中华网https://tech.china.com/article/20211105/112021_917283.html中小微企业为申请银行贷款跑断腿？税务、人社、住建、水、电……为了给企业有更好的信用建模，需要向不同的机构申请不同维度的数据，流程冗长复杂，让人望而生畏。探索和发现新的药物，需要结合多家医疗和科研机构的基因、临床、药物数据，可是这些样本数据散落在不同医疗和科研机构手中，有的数据不能共享，有的不愿意共享。货物运输，由于苏伊士运河堵塞，需要快速为公司梳理出受到影响的货物和客户，以及快速给出备份方案，可是合同、研发、供应链、部件等数据位于企业内外不同的系统中，想要短时间盘点出来简直困难重重。……数据要素的重要性已毋庸置疑，但是如果无法流通起来，就像上面例子所示，就会大大制约经济社会的数字化发展进程，难以充分开发出数据价值。政企数据可信流通存难题当前，在政府和企业的信息化系统中，普遍存在着应用“烟囱”和数据孤岛现象。在政府，委办局之间、甚至委办局内部不同科室都可能存在数据割裂现象；在企业，不同职能部门、分支机构、投资公司，都可能有着自己的应用系统、数据库和大数据平台。究其原因，政企或是出于对数据保护的考虑，亦或是组织管理机制的问题，信息系统设计的限制，导致不同部门之间的数据共享和流通存在巨大障碍。各类机构对于数据流通顾虑重重，就容易造成数据的重复采集、冗余开发和信息不完整，带来决策分析不准确、甚至决策失误等问题。数据即资产，既希望实现数据的高安全可信，也希望通过数据流通创造要素价值，二者要兼得。那么，能否构建可信的数据流通价值链，让各方可以把自己的数据在自己的信任域中进行可信计算，再将结果加密汇聚起来进行整合计算，实现“数据可用不可见，可控可计量”？华为云TICS让“鱼”与“熊掌”兼得在这样的大背景下，华为云在今年推出FusionInsight可信智能计算服务TICS，目标实现数据的可信流通和计算。比如将原始明细数据控制在所属方的信任域，同时又通过互信联盟实现了多方数据的联邦计算，从而将散落在不同机构的数据联合起来，转换成有价值的信息或模型，实现数据流通。华为云FusionInsight可信智能计算服务TICS框架该服务基于华为可信流程打造，通过了信通院和人民银行金标委等权威机构在联邦学习、安全多方计算、可信执行环境等方向的认证，作为中立第三方，旨在为政府、金融、消费、医疗、工业等领域提供可信智能计算平台。华为云FusionInsight可信智能计算服务TICS并不是一项单一的技术，而是一套理论框架和技术体系，是大数据、密码学、人工智能、区块链、可信硬件、安全容器等领域的交叉和融合。在多方数据库联合查询场景中，平台既要做到保护敏感明细数据，又要实现多方数据库的联邦统计分析。在多方样本或特征的联合建模场景中，平台既要对敏感ID和特征进行保护，又要把多方样本或特征联合起来训练出更好的模型。这个过程中华为云FusionInsight可信智能计算服务TICS会为各参与方提供全生命周期的监控和管理，TICS和华为云区块链服务紧密配合，进行数据管理和计算过程的确权和存证，做到整个计算过程可追踪可审计。华为云FusionInsight可信智能计算服务TICS极具开放性。囊括行业主流算法，支持3大任务场景、7大类可信技术、60+原子化算子，根据最佳实践，会为计算任务匹配选择最优协议组合；具有丰富的集成对接能力，开放了80+北向接口，支持与伙伴一起打造联合解决方案；支持丰富的部署形态，包括华为公有云、混合云、智能边缘、华为云金融专区等，满足不同行业和组织的合规需求。华为云FusionInsight可信智能计算服务TICS还提供多种专利技术，保障数据安全，提升计算效率。例如，将联邦SQL与多方安全计算技术深度融合，实现SQL执行前、执行中、执行结果的全流程安全保护；再如，TICS具备多层级自适应的ID求交能力，能够满足数十亿量级ID的求交，从7小时提升到30 分钟。2021年，《数据安全法》和《个人信息保护法》相继生效，为数据的开发利用和安全保护提供了规范和指引。为充分发挥数据价值，实现可持续发展，政企等组织在保护数据安全和个人信息的前提下实现数据要素流通就显得至关重要。尤其是关系到国计民生的重要领域，迫切需要破解数据孤岛难题，实现数据可信流通。华为云FusionInsight可信智能计算服务TICS的推出，让“鱼”和“熊掌”兼得成为可能。

Spark的小文件合并是否走merge，如果不走merge的话，Spark是否有自动合并小文件的方法？

当前通过Rest API端口调用删除GrapHbase的一个边，发现该删除操作提交的是一个MR任务，使用的是default队列，但是default队列没有资源，导致该任务一直处于挂起状态，当前想知道如何在代码中修改调用的这个默认队列为指定队列。删除边代码调用如下：客户用户进行的任务提交打印：yarn原生界面上显示的该任务是graphbase用户提交的，使用的default队列：针对yarn上的提交任务，当前有如下问题：1. 为什么rest调用 登录用户与yarn界面任务提交用户不一样？2. 针对使用的default默认队列在代码中该如何配置为指定队列？

针对当前金融各局点安全扫描排查出来的sudo提取问题，想知道集群上哪些操作涉及到了sudo提权，需要举例说明（涉及的操作场景以及执行命令），可以的话请提供资料支持。

转载来源：凤凰网https://tech.ifeng.com/c/8Au4D82w9la解读华为云FusionInsight可信智能计算服务TICS中小微企业为申请银行贷款跑断腿？税务、人社、住建、水、电……为了给企业有更好的信用建模，需要向不同的机构申请不同维度的数据，流程冗长复杂，让人望而生畏。探索和发现新的药物，需要结合多家医疗和科研机构的基因、临床、药物数据，可是这些样本数据散落在不同医疗和科研机构手中，有的数据不能共享，有的不愿意共享。货物运输，由于苏伊士运河堵塞，需要快速为公司梳理出受到影响的货物和客户，以及快速给出备份方案，可是合同、研发、供应链、部件等数据位于企业内外不同的系统中，想要短时间盘点出来简直困难重重。……数据要素的重要性已毋庸置疑，但是如果无法流通起来，就像上面例子所示，就会大大制约经济社会的数字化发展进程，难以充分开发出数据价值。政企数据可信流通存难题当前，在政府和企业的信息化系统中，普遍存在着应用“烟囱”和数据孤岛现象。在政府，委办局之间、甚至委办局内部不同科室都可能存在数据割裂现象；在企业，不同职能部门、分支机构、投资公司，都可能有着自己的应用系统、数据库和大数据平台。究其原因，政企或是出于对数据保护的考虑，亦或是组织管理机制的问题，信息系统设计的限制，导致不同部门之间的数据共享和流通存在巨大障碍。各类机构对于数据流通顾虑重重，就容易造成数据的重复采集、冗余开发和信息不完整，带来决策分析不准确、甚至决策失误等问题。数据即资产，既希望实现数据的高安全可信，也希望通过数据流通创造要素价值，二者要兼得。那么，能否构建可信的数据流通价值链，让各方可以把自己的数据在自己的信任域中进行可信计算，再将结果加密汇聚起来进行整合计算，实现“数据可用不可见，可控可计量”？华为云TICS让“鱼”与“熊掌”兼得在这样的大背景下，华为云在今年推出FusionInsight可信智能计算服务TICS，目标实现数据的可信流通和计算。比如将原始明细数据控制在所属方的信任域，同时又通过互信联盟实现了多方数据的联邦计算，从而将散落在不同机构的数据联合起来，转换成有价值的信息或模型，实现数据流通。华为云FusionInsight可信智能计算服务TICS框架该服务基于华为可信流程打造，通过了信通院和人民银行金标委等权威机构在联邦学习、安全多方计算、可信执行环境等方向的认证，作为中立第三方，旨在为政府、金融、消费、医疗、工业等领域提供可信智能计算平台。华为云FusionInsight可信智能计算服务TICS并不是一项单一的技术，而是一套理论框架和技术体系，是大数据、密码学、人工智能、区块链、可信硬件、安全容器等领域的交叉和融合。在多方数据库联合查询场景中，平台既要做到保护敏感明细数据，又要实现多方数据库的联邦统计分析。在多方样本或特征的联合建模场景中，平台既要对敏感ID和特征进行保护，又要把多方样本或特征联合起来训练出更好的模型。这个过程中华为云FusionInsight可信智能计算服务TICS会为各参与方提供全生命周期的监控和管理，TICS和华为云区块链服务紧密配合，进行数据管理和计算过程的确权和存证，做到整个计算过程可追踪可审计。华为云FusionInsight可信智能计算服务TICS极具开放性。囊括行业主流算法，支持3大任务场景、7大类可信技术、60+原子化算子，根据最佳实践，会为计算任务匹配选择最优协议组合；具有丰富的集成对接能力，开放了80+北向接口，支持与伙伴一起打造联合解决方案；支持丰富的部署形态，包括华为公有云、混合云、智能边缘、华为云金融专区等，满足不同行业和组织的合规需求。华为云FusionInsight可信智能计算服务TICS还提供多种专利技术，保障数据安全，提升计算效率。例如，将联邦SQL与多方安全计算技术深度融合，实现SQL执行前、执行中、执行结果的全流程安全保护；再如，TICS具备多层级自适应的ID求交能力，能够满足数十亿量级ID的求交，从7小时提升到30 分钟。2021年，《数据安全法》和《个人信息保护法》相继生效，为数据的开发利用和安全保护提供了规范和指引。为充分发挥数据价值，实现可持续发展，政企等组织在保护数据安全和个人信息的前提下实现数据要素流通就显得至关重要。尤其是关系到国计民生的重要领域，迫切需要破解数据孤岛难题，实现数据可信流通。华为云FusionInsight可信智能计算服务TICS的推出，让“鱼”和“熊掌”兼得成为可能。

【功能模块】FusionInsight HD 6.5.1.7 hive【操作步骤&问题现象】1、select from a where id = '123456' ,实际查出来的id为1237892、【截图信息】【日志信息】（可选，上传日志内容或者附件）

【功能模块】FusionInsight C70 集群，使用默认的 Hive 配置（MR引擎）客户有许多hive表，然后在上面创建视图，对外使用的时候通过视图来访问，这样底层改变的话，不影响上层应用。【操作步骤&问题现象】因为使用视图，所以发现一些查询条件无法被利用到做分区过滤，导致 hive 启动大量的 task （可能上万）；而其实很多文件/目录下没有合适的数据，所以许多任务执行时间很短；但是启动这么多 task 的资源浪费是比较严重的，导致许多的调度开销和任务等待。受环境管控，无法提供日志或截图。【问题】FI 是否支持和建议使用 Tez 引擎？什么情况下建议开启？除了使用 Tez 引擎，是否有其它优化手段？是否 view 支持分区列声明和查询条件下压？希望能得到指导，感谢！

我配置了一个24小时更新一次MetaData元数据信息的操作，当前在查看更新成功的元数据信息文件时发现一个问题：更新配置如下：NN原生界面上MetaData元数据更新文件时间：HUE原生界面查看Metadata元数据更新文件时间：想知道这个是更新元数据执行了12个小时，还是说hue上时间显示有问题？