-
华为云性能测试服务CPTS体验报告 体验官-wyxtnbp 很高兴能够再次参加华为云产品的体验评测,这次体验的是华为云性能测试服务CPTS。什么是CPTS呢?CPTS——云性能测试服务(Cloud Performance Test Service)是一项为基于HTTP/HTTPS/TCP等协议构建的云应用提供性能测试的服务。服务支持快速模拟大规模并发用户的业务高峰场景,可以很好的支持报文内容和时序自定义、多事务组合的复杂场景测试,测试完成后会为您提供专业的测试报告呈现您的服务质量。 下面开始体验,进入云性能测试服务控制台:https://console.huaweicloud.com/cpts,根据提示同意授权。在CPTS控制台的总览页面点击“领取免费套餐包”,请您耐心等待几秒钟,红色置灰表示领取成功。 第一步: 领取成功后,我们开始创建测试工程及测试事务1. 在 CPTS 控制台的左侧导航栏中选择“测试工程”,单击“创建测试工程”。 2. 填写工程名称,点击“确定”,测试工程创建完成。3. 点击测试工程名称或编辑事务模型按钮,进行测试工程编辑。4. 在事务模型页签下,单击“添加事务”,输入事务名称,默认常规事务,点击确定。5. 在该事务下单击“添加请求信息”,配置报文数据。选择协议类型:HTTP; 请求方式:GET; 输入响应超时:5000;请求链接: http://114.115.206.64:30336/product/searchAll ; 单击确定。 第二步: 创建测试任务 1. 选择测试任务页签,点击 “添加任务”,输入任务名称,默认时长模式,单击确定。 2. 在该测试任务下,单击 添加事务,选择创建测试工程定义的事务,单击 对勾。 3. 对该事务进行阶段定义。点击“添加阶段”,默认按时长模式,输入并发用户数(< 100)及持续时间,单击确定。 第三步: 启动压测,查看报告。 1. 选择测试任务,单击“启动”。 2. 选择共享资源组(支持 100 并发的免费额度),单击“启动”。 3. 任务启动完成后,单击“查看报告” 这个地方一直没有正常返回过,手打了几次地址,删除重建也不行,不清楚自己哪一步出问题了!后续在研究下。 第四步: 体验特性 1.1 全局变量使用场景:例如需要用户名密码的业务,需要使用不同的用户名以及对应密码模拟多用户设置全局变量1 登录CPTS控制台,在左侧导航栏中选择“测试工程”。单击待编辑测试工程后的“编辑事务模型”。2 在“事务模型”页签中,单击“全局变量”。更加详细的参数设置可以参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0033.html 1.2 域名绑定 使用场景:通过配置DNS地址池,实现域名与地址的映射,在URL定义域名,通过DNS地 址池自动化获取IP。 前提条件当报文请求连接中使用域名时,才可以进行域名绑定操作。1 登录CPTS控制台,在左侧导航栏中选择“测试工程”。单击待编辑测试工程后的“编辑事务模型”。2 在“事务模型”页签中,单击“更多 > 域名绑定”。 前面提到一个前提条件,当报文请求连接中使用域名时,才可以进行域名绑定操作,所以这里暂无需要绑定的域名。更加详细的参数设置可以参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0052.html 1.3 响应提取 使用场景:如果同一事务中存在多个报文,通过正则表达式把前一个报文的输出提取出 来,作后一个报文的输入。 添加请求信息(响应提取)例如,在电商抢购场景中,您搜索对应的商品之后购买该产品,可使用响应提取功能,提取“搜索”报文得到的商品id作为下一个“购买”报文的输入参数。说明:响应提取不支持跨事务提取,即从事务A的报文的响应中提取值作为事务B报文的输入。响应提取的变量为局部变量。1 登录CPTS控制台,在左侧导航栏中选择“测试工程”。单击待编辑事务模型工程后的“编辑事务模型” 2 在“事务模型”页签中,单击待添加请求信息事务下的 3 设置请求类型为“响应提取”。其中带“*”标志的参数为必填参数 响应提取示例例如,前一个报文响应的报文内容如下图所示:如果想要获取token值的,可通过正则表达式"token"\s*:\s*"(.*?)"提取,响应提取的设置如下所示。 更加详细的参数设置可以参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0035.html 1.4 检测点 使用场景:检查点是指通过自定义校验信息来验证服务端的返回内容是否正确。添加请求信息(检查点)说明:请根据被测应用的实际返回值填写。若不设置,默认检查点为响应码2XX。1 登录CPTS控制台,在左侧导航栏中选择“测试工程”。单击待编辑事务模型工程后的“编 辑事务模型”。2 在“事务模型”页签中,单击待添加请求信息事务下的“添加请求信息”3 请求类型设置为“检查点”。参照下图设置基本信息,其中带“*”标志的参数为必填参 数 更加详细的参数设置可以参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0014.html 1.5 抓包 使用场景:在压测过程中抓取的报文内容,初步对压测结果进行判断 使用指南:在启动压测之后,找到对应的抓包分析,选择对应的场景,点击开始分析,查 看对应的结果。 1.6 脚本录制 使用场景:CPTS支持使用基于Chrome浏览器(支持26及以上版本)插件的录制工具,在被压测系统中进行手工操作,捕获请求内容,生成json文件。录制下来的脚本模拟了用户 真实的操作行为,减少手工编写报文的工作量,方便用户使用CPTS系统。导入录制脚本使用限制云性能测试录制工具需要使用版本为26及以上的Chrome浏览器。说明:单击浏览器右上角,选择“帮助>关于chrome”即可查看当前浏览器版本。下载并安装谷歌录制插件1 下载Chrome录制工具插件:注意:使用版本为73及以上的 Chrome浏览器安装第三方扩展程序时可能会出现程序包无效:“CRX_HEADER_INVALID”错误,如下图所示,图1 “CRX_HEADER_INVALID”错误此时请进行以下操作:1 右击下载链接将插件安装包另存,将插件安装包的后缀名由.crx改为.rar或.zip。2 使用解压工具对安装包进行解压。3 打开浏览器的扩展程序,开启开发者模式,单击“加载已解压的扩展程序”,加载上图中 解压得到的文件夹,即可完成安装。 URL框内输入chrome://extensions/,进入扩展程序安装页面。 录制脚本使用CPTS录制工具录制脚本。 筛选录制内容单击“导出”,复选框选择需要导出的请求,单击“确认导出”,弹出“导出内容”对话框。单击“生成json文件”,保存文件到本地。 关闭录制工具所在的页签,即可关闭录制工具。 导入录制的脚本登录CPTS控制台,在左侧导航栏中选择“测试工程”,单击待编辑事务模型工程后的“编辑事务模型”在 “事务模型”页签中,单击“ 导入脚本”。脚本类型选择“手动录制脚本”。选择事务和脚本录制文件。更加详细的指南可以参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0045.html 1.7 调试 使用场景:新增或修改事务后,可通过调试快速发现语法或配置错误。调试事务前提条件确保资源组状态为“运行中”。确保资源组的管理节点上的32001和32002端口在安全组被开启。确保资源组的管理节点和被压测的应用之间网络互通。 1 登录CPTS控制台,在左侧导航栏中选择“测试工程”。单击待调试事务所在工程后的“编辑事务模型”。2 单击待调试事务后的“调试”。3 单击“启动调试”,选择资源组进行调试,如下图所示 更详细的指南请参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0027.html 1.8 启动压测 使用场景:事务可以被多个测试任务复用,针对每个事务可以定义多个测试阶段,并对每 个阶段分别定义持续时间和并发用户数,模拟流量波峰波谷的复杂场景。 前提条件已添加事务。确保资源组状态为“运行中”。确保资源组的管理节点上的32001和32003端口在安全组被开启。确保资源组的执行节点和被压测的应用之间网络互通。1 登录CPTS控制台,在左侧导航栏中选择“测试工程”,单击待操作工程后的“编辑事务模型”2 创建测试任务,具体操作请参见创建测试任务。3 创建完成后,单击任务后的。4 在“启动测试任务”对话框中,选择“资源组类型”,如下图所示 更详细参数设置请参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0016.html 第五步:选择体验特性2.1 websocket 协议 使用场景:支持websocket协议的压力测试使用限制WEBSOCKET协议不能与其他协议请求添加在同一事务下1 登录CPTS控制台,在左侧导航栏中选择“测试工程”,单击待编辑事务模型工程后的“编辑事务模型”。2 在“事务模型”页签中,单击待添加请求信息事务下的“添加请求信息”3 在“添加请求信息”页面下“协议类型”选择“WEBSOCKET”。更详细的指南请参考https://support.huaweicloud.com/usermanual-cpts/cpts_01_0058.html 至此,体验流程过了一遍,总体来说,CPTS使用非常方便,对于常规的应用服务协议能够很方便的运行测试,免去了自己线下构建测试系统的工作,节约了很多时间成本,也减轻了工作人员的工作负担。阿里云的PTS我也看了下,我个人更倾向于华为云的CPTS,主要还是源于我对华为的青睐,其实也有一些可以提升改进的地方,比如压测中的一些可执行操作,调速等等;压测报告,测试分析及调优,希望可以有一些分析工具及调优的策略。总的来说,鉴于平台的稳定可靠,功能强大,流量真实和配套完善我还是会向公司和朋友推荐华为云CPTS,最后再次感谢华为云给予的体验机会,谢谢!
-
尊敬的华为云客户:华为云中国站计划于2019/08/11 00:30-04:30(北京时间)期间对平台进行升级。升级过程中具体影响如下:华为云中国站将无法注册,控制台、账号中心、费用中心、伙伴中心将无法访问,无法执行价格查询、下单、续订、变更、充值、在线支付、账单查看等操作,对应功能的API调用也将无法使用;资源使用(不包括控制台操作)不受影响。请留意您的业务情况,如有操作请避开升级时间进行,相关事宜请提前做好安排。给您带来的不便,敬请谅解!感谢您对华为云的支持!
-
创建设备登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 设备管理”。在“设备管理”界面,单击“创建设备”,进入“创建设备”对话框。配置设备信息,详细参数如下:产品名称:选择该设备对应的产品,必填项。设备名称:长度不超过64个字符,支持英文字母,数字,下划线和中划线,必填项。描述:长度不超过200个字符,非必填项。状态:设置设备是否处于启动状态,默认开启。单击“确认”,完成设备创建。编辑设备登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 设备管理”。选择待操作设备,单击操作栏的“编辑”,弹出“编辑设备”页。修改设备信息,详细参数如下:产品名称:选择该设备对应的产品,必填项。设备名称:长度不超过64个字符,支持英文字母,数字,下划线和中划线,必填项。描述:长度不超过200个字符,非必填项。状态:设置设备是否处于启动状态,默认开启。单击“确认”,完成设备修改。删除设备登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 设备管理”。选择待操作设备,单击操作栏的“更多”,选择“删除”,即弹出“删除设备”页。单击“确认”,完成设备删除。说明:如果设备为在线连接状态,则不允许删除该设备。设备删除后,如果规则引擎的数据源端是此设备,那么数据源端也会被删除。设备证书登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 设备管理”。选择待操作设备,单击该设备的名称,即可弹出设备详情。单击密码右边的图标,即可以查看复制密码。说明:设备证书可以作为链接设备的凭证,可以直接连接物联网平台,实现一台设备一套认证。Topic列表登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 设备管理”。选择待操作设备,单击操作栏的“Topic列表”,进入到设备详情页。查看自动生成的Topic列表信息。设备影子设备影子是一个JSON格式的文档,用于存储设备或者应用的上报状态、应用程序期望状态信息。每个设备在华为云端有且只有一个设备影子,无论该设备是否联网,您都可以使用设备影子通过MQTT协议获取和设置设备的状态。查看设备影子的步骤如下:登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 设备管理”。选择待操作设备,单击操作栏的“更多>设备影子”,进入到设备详情页。查看设备影子信息,可以查看设备影子模板数据和原始数据。
-
产品模板是对设备在云端的功能描述,通过设置一系列属性抽象产品模板,模板属性可以被多个产品继承。产品是一系列设备的集合,产品属性可以被多个设备继承,一组设备可构成具有完整功能的产品。本章节提供创建产品模板、创建产品、创建模板属性、创建产品属性等操作的详细指导。创建产品模板登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。单击“产品模板 > 创建产品模板”。配置模板信息,参数详细信息如下:产品模板名称:长度不超过64个字符,支持中文,英文字母,数字,下划线和中划线,必填项。描述:建议添加关于此模板的简短描述,长度不超过200个字符,非必填。是否启用:默认启用。如果您选择不启用,则该模板不能创建属性,新建产品不能选择该模板。单击“确认”,完成产品模板创建。修改产品模板登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。单击“产品模板 > 编辑”。配置模板信息,参数详细信息如下:产品模板名称:长度不超过64个字符,支持中文,英文字母,数字,下划线和中划线,必填项。描述:建议添加关于此模板的简短描述,长度不超过200个字符,非必填。是否启用:默认启用。如果您选择不启用,则该模板不能创建属性,新建产品不能选择该模板。单击“确认”,完成产品模板修改。创建模板属性登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。单击“产品模板 > 创建属性”。输入属性信息,详细参数如下:属性名称:支持中文,英文大小写,数字,下划线和中划线,不超过64字符,必填项。属性标识:支持英文大小写,数字,下划线和中划线,不超过64字符,必填项。类型:支持选择string、number、bool、object、array,非必填项。默认值:前端需根据类型做校验,object和array长度最大2000,string最大256,number最大16个,boolean(True or False),非必填项。单位:长度不超过50字符,非必填项。描述:长度不超过50字符,非必填项。单击“确认”,完成模板修改。删除产品模板登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。选择待操作的模板,单击操作栏的“删除”,弹出“删除产品模板”页。单击“确认”,完成模板删除。说明:如果产品应用了该模板,则不允许删除该模板。创建产品登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。单击“创建产品”,进入“创建产品”对话框。配置产品信息,详细参数如下:产品名称:长度不超过64个字符,支持中文,英文字母,数字,下划线和中划线。产品模板:选择产品需要继承的模板,继承后具有该模板的所有属性,如不需要,选择“无”。产品描述:长度不超过200个字符。说明:模板处于停用状态时不能被产品继承。单击“确认”,完成产品创建。修改产品登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。选择待操作的产品,单击操作栏的“编辑”,弹出“编辑产品”页。修改产品信息,详细参数如下:产品名称:长度不超过64个字符,支持中文,英文字母,数字,下划线和中划线。产品模板:选择产品需要继承的模板,继承后具有该模板的所有属性,如不需要,选择“无”。产品描述:长度不超过200个字符。说明:模板处于停用状态时不能被产品继承。单击“确认”,完成产品修改。创建产品属性登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。选择待操作的产品,单击操作栏的“更多 > 创建属性”,弹出“创建属性”页。配置属性信息,参数详情如下:属性名称:支持中文,英文大小写,数字,下划线和中划线,不超过64字符,必填项。属性标识:支持英文大小写,数字,下划线和中划线,不超过64字符,必填项。类型:支持选择string、number、bool、object、array,非必填项。默认值:前端需根据类型做校验,object和array长度最大2000,string最大256,number最大16个,boolean(True or False),非必填项。单位:长度不超过50字符,非必填项。描述:长度不超过50字符,非必填项。查看产品证书产品证书可以作为访问产品所属的设备的凭证,实现一个产品下所有设备使用一套认证。登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。选择待操作的产品,密码一栏即是“产品证书”,单击“显示”将会显示完整的产品证书。、删除产品登录ROMA控制台,单击“查看控制台”。单击左侧菜单栏“设备集成LINK > 产品管理”。选择待操作产品,单击操作栏的“删除”,弹出“删除产品”页。单击“确认”,完成产品删除。说明:如果该产品下还存在设备,则不允许删除该产品。
-
操作场景企业集成平台ROMA管理控制台支持用户申请扩大实例配额。前提条件您需要创建的ROMA实例的数量大于你的实例配额数量。操作步骤登录ROMA控制台。在管理控制台右上角选择区域。此处请选择与租户的应用服务相同的区域。单击“申请扩大配额”,进入新建工单页面。选择区域。此处请选择与租户的应用服务相同的区域。添加问题描述,填写联系方式和联系时间。阅读《用户授权书》和《隐私政策声明》后,单击“我已阅读并同意《用户授权书》和《隐私政策声明》”。确认以上信息无误后,单击“提交”创建的新的工单。
-
操作场景企业集成平台ROMA管理控制台支持修改实例名称。实例状态为运行中、故障、已冻结的按需付费实例才能执行删除操作。前提条件已创建ROMA实例。删除实例登录ROMA控制台。在管理控制台左上角选择区域。此处请选择与租户的应用服务相同的区域。在实例概览除单击“删除”。单击“确定”,完成删除ROMA实例。删除实例大约需要1~30分钟。注意:ROMA无法恢复已删除的实例,请您谨慎操作。修改名称登录ROMA控制台。在管理控制台左上角选择区域。此处请选择与租户的应用服务相同的区域。单击“查看控制台”,进入实例信息页面。单击实例名称右边的编辑键,此时实例名称所在的位置会变成一个文本框,您可以输入实例的新名称,完成之后单击“√”保存。修改描述登录ROMA控制台。在管理控制台左上角选择区域。此处请选择与租户的应用服务相同的区域。单击“查看控制台”,进入实例信息页面。单击实例描述右边的编辑键,此时实例的描述所在的位置会变成一个文本框,您可以输入实例描述,完成之后点击“√”保存。修改安全组登录ROMA控制台。在管理控制台左上角选择区域。此处请选择与租户的应用服务相同的区域。单击“查看控制台”,进入实例信息页面。单击安全组右边的“更改”,此时安全组所在的位置会变成一个下拉菜单,您可以单击菜单选择新的安全组,完成之后点击“√”保存。修改维护时间窗口登录ROMA控制台。在管理控制台左上角选择区域。此处请选择与租户的应用服务相同的区域。单击“查看控制台”,进入实例信息页面。单击安全组右边的编辑按键,此时安全组所在的位置会变成一个下拉菜单,您可以单击菜单选择新的维护时间窗口,完成之后点击“√”保存。
-
背景当前公有云客户数据使用过程中,需要实现对下游客户或不同部门的数据访问权限的约束控制,那么为了更好的指引客户使用,特进行此场景的业务权限配置说明本教程基于OBS Browser版本 3.4.3 进行。下载地址:https://obstool-north.obs.myhwclouds.com/browser/hec/win64/OBSBrowser.zip1 IAM上创建子用户并赋予OBS服务权限在本章节您将会完成如下几个动作: 创建子用户; 创建用户组; 授予子用户访问OBS服务权限需要注意的事情:先在本地表格中规划好需要使用的用户名和权限分配,并做好访问密钥的记录;例如:用户名归属用户组AccessKeyIDAccessSecurityKeyIDOBS服务权限OBS目录&权限OBS桶名OBS_Analysis-01OBS_AnalysisLT******SK*******OBS viewerWuhan_01/(Read)obsslef-whbOBS_Analysis-02OBS_Analysis-031.1创建子用户使用华为云注册的主账户登陆华为云IAM服务控制台,https://console.huaweicloud.com/iam/;并点击创建用户,如下图所示: 创建用户,凭证类型选择 “访问密钥”,输入规划好的用户名 并点击确定后弹出 “下载访问密钥”的创建,点击确定下载密钥文件,将密钥信息保存至之前规划好的表格中进行记录。 如此反复,创建好所有已规划的用户。并将用户名访问密钥记录至表格。1.2创建用户组点击用户组--->创建用户组,输入用户组名称,点击确定。 下面需要将用户都加入到用户组中,并给用户组赋予访问OBS服务权限。在上一步骤创建的用户组对应的右侧 点击“用户管理”,勾选之前创建的用户并点击“确定”。 点击用户组(OBS_Analysis)右侧--->“权限配置”,全局服务-->对象存储服务-->设置策略-->OBS Viewer;然后点击“确定”完成权限配置。 2在OBS web console控制台 给子用户配置策略在本章节您将会完成如下能力: 实现子用户在特定桶内特定目录的读/读写/删除权限配置;权限控制的原理是使用OBS存储的BucketPolicy来实现,对于其详细控制内容介绍可以参考如下链接中内容描述(https://support.huaweicloud.com/devg-obs/zh-cn_topic_0132788579.html),本人只介绍在界面进行基本的读写等权限配置。使用主账户登陆OBS服务的控制台(https://storage.huaweicloud.com/obs),选择需要进行权限配置的桶(本文以obsslef-whb桶为例)。点击桶名--->权限--->桶策略--->高级桶策略--->创建桶策略。如图所示: 举例:我们给OBS_Analysis-01用户设置访问目录wuhan_01的只读权限。按照如下进行设置后点击“确定”。 模式:选择自定义模式 效果:allow 被授权用户:当前账户---> OBS_Analysis-01 资源:包含;wuhan_01/* 动作:Get*,List* 配置后效果如下: 根据不同的用户,和不同的权限目录进行多个策略的创建,就不再叙述。读写的权限只需要修改动作部分即可,说明如下:动作:Get*,List*,Put* # 具有读写权限动作:Get*,List*,Put*,DeleteObject,DeleteObjectVersion,AbortMultipartUpload # 具有读写删权限动作:Get*,List*,Put*,ModifyObjectMetaData #具有读写对象权限,同时有修改对象元数据权限3终端用户使用用户 ak sk 登陆OBS Browser操作数据经过以上步骤之后我们的权限设置以及完成,那么可以在终端用户侧进行使用。这儿依然以上文中的OBS_Analysis-01用户和目录wuhan_01进行举例。下载OBS Browser后,进行账户登录.账户名:OBS_Analysis-01 #可以根据自己喜好定义,建议和之前规划用户名保持一致存储服务:OBS服务Access Key ID:X2******Secret Access Key: Y*************访问路径:obsslef-whb/wuhan_01/ # 规则是:桶名/目录名/ 点击确定后,登录此用户 可以看到进入到此目录下文件。 验证:上传对象会阻止,没有权限;下载文件允许。整体业务部署成功。上传失败: 下载成功: --结束
-
MRS 体验这次主要是体验一下华为云的MRS,也就是Map Reduce Service,或Map Reduce服务,好多名字,都一个意思。应该是对标阿里云那边的EMR,鹅厂的弹性MR,都差不多,大家起名也没出花来,起出花来估计就卖不出去了。之前体验过大数据的训练营,大概知道MRS能做什么,那时候就有个疑问,除了展示的实际案例,到底还能做些什么,除去华为提供的接口操作,我们又能进行哪些操作?具体到自己的项目如何落地?嗯,看完这次的体验报告就.......可能依然不知道。这次体验就做一些非案例的Hadoop生态的操作实验,时间太紧张,仅限于分析集群功能吧,后续有空补充流式集群内容。操作体验记录下过程供有需要的同学参考吧,只要钱足够,可以随便玩。购买与部署EMR购买的时候没太留心操作太快,记得弹出的提示窗口是返回弹性大数据控制台(帐号没有集群的情况,已有集群的情况是返回集群列表),这个会有点懵吧估计,不过从这个能看出来和友商的EMR应该是对标的产品。实际创建的过程比较长,首先安装MRS Manager,十分钟左右进入开始部署集群。体验集群低配,配置如下:Master: 1 * | c3.xlarge.4 | 4 核 | 16 GB分析Core:1 * | c3.xlarge.2 | 4 核 | 8 GB流式Core:1 * | c3.xlarge.2 | 4 核 | 8 GB选了Hadoop,Spark,HBase,Hive,Hue,Kafka,Storm,Loader,Flume,Tez组件。集群版本 MRS 2.0.0集群类型 混合集群这里吐个嘈, 在组件信息描述中kafka和storm首字母小写的,让强迫症患者怎么活。这样的配置,大概三十分钟左右创建完成,这个部署的时长和选用组件的多少也有关系。处于启动中(部署集群中)的状态时,可以登陆MRS Manager查看服务的状态如上图可以了解更多的集群状态信息。EIP使用弹性IP提供外网访问接口。EIP购买之后,弹出返回私有云控制台。实际界面上显示的是网络控制台。以上两个购买过程中购买成功的页面提示可能看着会有点懵,不过,都还好。只能点确认,没什么需要选择,所以也不影响使用。操作买好了之后,实操一下,没有什么业务场景,纯体验。所以,从帮助文档开始。如果需要体验实际的业务场景应用,可以关注21天晋级大数据实战营,有很多实际的案例可以参考。解决场景理解与MRS结合的问题。本文评测就不搬案例了,大家看一下课表,对典型的应用场景有个概念就好。简单提一句,华为这两年在教育方面的投入很给力,提供了很多课程和资源给用户。大家多关注华为云学院,多学习。控制台界面帮助文档买好了之后首先考虑的是能做什么,看下帮助文档,了解HWC对用户有什么要说的。帮助页面很简洁,图形化显示了整个MRS使用的Pipeline。包含了常用链接与常见问题。此处有掌声,不得不说这里列举的常见问题,确实是常见问题。新用户拿到MRS首先要考虑的可能就是这俩问题,这个帮助页面点赞。访问组件UI界面但是,点开第一个常见问题链接访问组件UI界面。链接点这里第一段的场景介绍上来就看懵了,感觉要很复杂的过程才能访问。但是,实际上,在MRS控制台的首页>现有集群,集群管理页面边上有个链接,点击查看。点击之后HWC会引导用户针对来访IP添加访问组规则,很方便的可以访问到MRS Manager。跳转页面登陆后页面整体操作其实是挺方便的,但是文档写的稍微复杂了一点,应该是针对专业用户有所考虑。对于我这个新用户来讲,有一种做好事不留名的感觉。客户端管理帮助文档的另外一个项目,是客户端管理,页面提到了在什么场景下能用到这个功能。MRS集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户需要使用MRS的客户端时,或者在MRS Manager修改了服务配置参数并重启了服务,需要先下载并更新客户端配置文件。用户创建集群时,默认在集群所有节点的“/opt/client”目录安装保存了原始客户端。集群创建完成后,仅Master节点的客户端可以直接使用,Core节点客户端在使用前需要更新客户端配置文件。这里注意一点,在MRS Manager修改了服务配置参数并重启了服务之后,需要先下载并更新客户端配置文件。如果改了配置不好用,点到帮助页面,看到这个帮助链接应该能很快定位问题。下载客户端这个操作也比较费时,因为整个包比较大,3G左右。操作提示有说是高IO操作,感受下根据安装的组件多少,这个Client大小估计会变化的吧,3G,提示了及时删除在没有版本更新,只下载配置文件的情况下速度很快。下载之后的提示信息在管理页面可以看到磁盘读写的记录,体会下高IO。在帮助文档中有说明,成功下载了配置文件之后,该怎么做。体验了下帮助文档中的方法一,很快,很方便。看到方法二,提到可以自动更新。但是实际上是没有autoRefreshConfig.sh这个脚本的,应该后续会更新的吧但是,并不影响使用,方法一依然可以解决问题。文档后面还包含了全量更新主备节点的Client方法。帮助文档这部分满分。操作日志在MRS控制台还提供了操作日志,注意这里面的操作记录的应该是通过MRS控制台的操作,通过终端登陆集群的操作是不记录的。集群列表这个页面提供了集群的常用操作,MRS使用中除了创建集群的前后两个环节都提供了页面接口,作业管理与文件管理。文件管理和HDFS中的文件是同步的。文件管理部分,支持与OBS之间数据导入导出。这里重新体会下MRS帮助页面的流程,上传数据,创建集群,查询执行结果。大量的数据上传应该是传到OBS里面,然后从OBS导入到集群中,OBS提供了DIS工具,可以将数据批量上传。控制台页面在MRS的整个链路上是清楚的,工具链是完整的。管理页面可以提供数据导入操作。Hadoop帮助文档中有个快速入门,里面推荐了从Apache官方下载Hadoop-2.7.4.tar.gz,这个其实没必要,可以通过客户端下载拿到,也可以通过华为开源镜像站下载,速度很可以。而且,不同的集群版本不一定是2.7.4,比如现在的2.0的集群,hadoop版本是3.1.1.Spark
-
今天收到提醒续费的短信,所以登录到控制台,显示弹性云服务器列 为0个,想着应该是区域未选择,找了一下区域选择,找了半天才找到(不熟悉),原因是 区域选择竟然是空白的!建议增加登录后 自动选择一个存在ECS的默认区域,或者首页可以显示出各个区域的ECS数量。
-
尊敬的华为云客户:华为云计划于2019/01/18 00:00:00结束资源模板服务的公测,下线产品页及控制台,保留后台API。资源模板服务下线产品页及控制台后,将无法通过控制台使用该服务,可继续使用后台API,使用方法详见API指导文档。如您有任何问题,欢迎您拨打华为云服务热线:4000-955-988与我们联系。感谢您对华为云的支持!
-
尊敬的华为云客户:华为云计划于2018/11/08将弹性负载均衡服务(ELB)控制台,从云服务器控制台迁移至网络控制台,届时请您前往网络控制台购买并查看弹性负载均衡的相关资源。路径:登录华为云控制台—所有服务—网络—弹性负载均衡ELB如您有任何问题,欢迎您拨打华为云服务热线:4000-955-988与我们联系。感谢您对华为云的支持!
-
我在安全配置中设置常用添加地时,显示列表为空,我无法添加任何一个城市。并且在确定时显示至少添加一个,这个就很难办了。添加常用IP也是一样的情况,希望小哥哥小姐姐帮忙看看。谢谢
-
Istio通过对serviceMesh中的每个pod注入sidecar,来实现无侵入式的服务治理能力。其中,sidecar的注入是其能力实现的重要一环(本文主要介绍在kubernetes集群中的注入方式)。sidecar注入有两种方式,一是通过创建webhook资源,利用k8s的webhook能力实现pod的自动注入,二是通过istioctl工具,对yaml文件进行手动注入。在这里对这两种方式进行简单介绍。 一、webhook自动注入:a) 准备条件: i. 自动注入功能需要kubernetes 1.9或更高版本; ii. 需要在kube-apiserver的启动参数中加入--admission-control=MutatingAdmissionWebhook,ValidatingAdmissionWebhook iii. k8s中webhook需要签名密钥对,用于自动注入时的认证鉴权。(此处可通过install/kubernetes/webhook-create-signed-cert.sh脚本生成,这个脚本会调用kubernetes的CSR API生成一个具有K8S签名的密钥对,用于Webhook。然后建立一个secret存放证书信息。) iv. 可通过在sidecar-injector的configmap中设置policy=disabled字段来设置是否启用自动注入,同时也可以在deployment中通过设置annotation,sidecar.istio.io/inject=true来控制pod级别的自动注入。 v. 为需要自动注入的namespace打上标签istio-injection: enabled。 vi. 确保master到node容器网络通信正常。b) 定义webhook文件,格式如下(在helm包的sidecarInject中)。这里的语义就是,监听具有istio-injection: enabled的label的namespace下的pod资源,当发生rules(CREATE POD)的动作时,则调用services(istio-sidecar-injector.namespace的/inject接口)。apiVersion: admissionregistration.k8s.io/v1beta1kind: MutatingWebhookConfigurationmetadata: name: istio-sidecar-injector namespace: {{ .Release.Namespace }} labels: app: istio-sidecar-injectorwebhooks: - name: sidecar-injector.istio.io clientConfig: service: name: istio-sidecar-injector namespace: {{ .Release.Namespace }} path: "/inject" caBundle: "" rules: - operations: [ "CREATE" ] apiGroups: [""] apiVersions: ["v1"] resources: ["pods"] failurePolicy: Fail namespaceSelector: matchLabels: istio-injection: enabled c) webhook工作流程图 d) inject代码分析(代码位置pilot/pkg/kube/inject/webhook.go): i. sidecar-inject接收kube-master发出的自动注入请求,并校验、解析请求结构体(请求体中包含触发条件中,creating的pod的结构体。) ii. 判断是否需要注入,筛选满足条件的pod,筛选条件包括:是否开启了hostNewWork、是否为需要注入的ns、annotation中是否指定为需要注入等条件; iii. 若满足条件则进行注入,注入的sidecar的镜像信息、启动参数、挂载信息等内容,存储在sidecar-inject的configmap中,注入时会从configmap中提取对应的值,填到模板中,再将填好值的模板注入到pod中; iv. 将注入好的pod信息返还给kube-master,完成自动注入。 二、istioctl手动注入(代码位置istioctl/cmd/istioctl/inject; pilot/pkg/kube/inject/inject.go):a) 手动注入操作步骤: i. 下载istioctl工具并拷贝至环境,链接https://github.com/istio/istio/releases/ ; ii. 将istioctl二进制拷贝至/usr/local/bin目录下mv -f istioctl /usr/local/bin iii. 安装Istio控制面,确认注入相关configmap已创建成功$ kubectl get cm -n istio-system | grep istio-sidecar-injectoristio-sidecar-injector 1 15h iv. 准备需要注入的文件test.yaml v. 执行istioctl会在原始内容的基础上加入sidecar的配置内容,并输出到控制台。$ istioctl kube-inject -f test.yaml vi. 将istioctl处理之后的内容部署到kubernetes上$ kubectl apply -f <(istioctl kube-inject -f test.yaml) vii. 可以通过k8s命令查看pod详细内容$ kubectl describe pod test-c9f4b55c7-np4cf b) 代码分析: i. 首先打开原始deploy.yaml文件或读取控制台输入,读取为文件流; ii. 从config文件或k8s的configmap中读取sidecar模板所需的值(同上述c中第三步)。 iii. 将上步得到的值填入sidecar模板中,生成模板实例; iv. 将模板实例注入到源deployment中,生成注入好的文件。 三、总结:这里更推荐自动注入的方式来实现sidecar的注入,可以通过在deployment的annotation中加入对应的key来实现自动注入的控制。而源码部分,注入的逻辑并不复杂,主要是对k8s中webhook的使用,以及通过模板,向deployment中注入相应的container资源等。
-
今天在做大数据实战课程,到此环节。发现一个问题,当使用chrome浏览器的时候创建的密钥自动下载。 但是,密钥的名字是固定的,如果说多个华为云账户的话可能引起密钥管理的不便。 能不能在生成的时候多一个用户自定义储存名字的过程。或者,自动生成后面加一个 username。 19139 使用火狐浏览器的话有个二次确认。
推荐直播
-
开发者玩转DeepSeek
2025/02/20 周四 16:30-17:30
Thomas – 华为云DTSE技术布道师
双擎驱动优势——华为云CodeArts IDE全栈能力与DeepSeek认知智能深度融合,打造智能编码助手。如何利用DeepSeek的能力,进一步强化业务。
回顾中 -
探秘仓颉编程语言:华为开发者空间的创新利器
2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后,显著提升开发效率,在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点: 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
即将直播 -
大模型Prompt工程深度实践
2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出?本期直播聚焦大模型Prompt工程核心技术:理解大模型推理基础原理,关键采样参数定义,提示词撰写关键策略及Prompt工程技巧分享。
去报名
热门标签