-
基于GaussDB(for Cassandra),进行性能测试,具体包括测试环境,测试步骤,以及测试结果。测试环境区域:亚太-新加坡可用区:可用区1+可用区2+可用区3(跨3个可用区部署)弹性云服务器(Elastic Cloud Server,简称ECS):规格选择h3.4xlarge.2,16U32GB,操作系统镜像使用CentOS 7.5 64位版本。被测试实例的配置:每个实例均包含3个节点。被测试实例的规格:覆盖以下规格类型,详见表1 实例规格。表1 实例规格编号规格cluster14U16GBcluster28U32GBcluster316U64GBcluster432U128GB测试工具 本次测试采用开源社区的YCSB 0.15.0版本的测试工具。 YCSB是一款广泛使用的数据库性能测试工具,具体使用方法请参见YCSB。测试指标 OPS:Operation Per Second,数据库每秒执行的操作数。测试步骤配置workload文件。按照表2 测试模型所示的业务模型,配置workload中的“readproportion”、“insertproportion”、“updateproportion”、“scanproportion”、“readmodifywriteproportion”的值。按照表3 预置数据量所示的预置数据量,配置workload中的“recordcount”的值。以测试模型workload-insert-mostly为例,执行以下命令,准备数据。sh bin/ycsb.sh load cassandra-cql -P workloads/workload-insert-mostly -p "hosts=${ContactPoints}" -p "port=${port}" -p "cassandra.username=${username}" -p "cassandra.password=${password}" -p operationcount=400000000 -p recordcount=400000000 -p exportfile=./data_load.exp -threads ${threadNum} -s > data_load.log 2>&1 &以测试模型workload-insert-mostly为例,执行以下命令,测试性能。sh bin/ycsb.sh run cassandra-cql -P workloads/workload-insert-mostly -p "hosts=${ContactPoints}" -p "port=${port}" -p "cassandra.username=${username}" -p "cassandra.password=${password}" -p operationcount=9000000 -p recordcount=9000000 -p maxexecutiontime=3600 -p exportfile=./workload-insert-mostly.exp -threads ${threadNum} -s > workload-insert-mostly_run.log 2>&1 &测试模型workload模型表2 测试模型测试模型编号测试模型workload-read-mostly95% read, 5% updateworkload-read-write-combination50% update, 50% readworkload-read-modify-write50% read, 50% readmodifywriteworkload-mixed-operational-analytical65% read, 25% update, 10% insertworkload-insert-mostly90% insert, 10% read数据模型fieldlength=100, fieldcount=10预置数据量本次性能测试中,针对每种规格的实例,测试了如下预置数据量的性能。预置数据具体如下表所示:表3 预置数据量编号规格预置数据量cluster14U16GB50GBcluster28U32GB100GBcluster316U64GB200GBcluster432U128GB400GB测试模式本次性能测试使用高性能模式。————————————————
-
【操作步骤&问题现象】进行算子性能测试时,路径~/Ascend/ascend-toolkit/latest/opp/op_impl/built-in/ai_core/tbe/config/ascend910下的aic-ascend910-ops-info.json文件使用cp命令进行备份时没有权限,目前采用scp命令进行备份操作,但每次传输文件都要输入密码,使用不方便,请问有没有其他便捷的方式进行备份?
-
【操作步骤&问题现象】两个算子进行ST算子性能测试时没有时间信息。附上代码
-
【操作步骤&问题现象】执行st测试,共有27个测试,但是只有6个执行时间。【截图信息】
-
断言的介绍可以断言服务器的响应内容在性能测试脚本中使用断言,一般是为了调试脚本在接口自动化测试中使用断言,一般是为了严谨的校验接口响应内容是否符合预期 断言成功与否断言成功与否,可以通过监听器-断言结果查看如果断言失败,则将此请求标记为失败,还会显示在察看结果树中,错误率会显示在聚合报告中 添加断言可以将断言添加到任何取样器,只作用于当前取样器如果断言是在线程组下,那么会作用于线程组下的所有取样器 性能测试中是否应该使用断言绝对不可以使用断言,因为断言不仅会增加响应时间,拉低最终的结果值,还会占用系统资源 有什么断言
-
我们在使用网站过程中,经常会遇到慢的问题,为了找到原因,一般需要借助工具进行检测,通过工具,可以检测出前端站点加载资源的相关详细情况。 今天,就给大家介绍几款前端性能测试分析工具,结合性能测试工具,实现通过量化的方式测试网站中诸如首字节加载时间(time to first byte)或者渲染时间等表现。其中有些工具还会检查资源是否被缓存,多个 CSS 或 JS 文件是否值得合并,最后自动给出前端性能优化改进建议报告,如果对你有用的话,欢迎收藏转发。 1、 Lighthouse Lighthouse是一个开源的自动化工具,用于帮助改进网络应用的质量。可将其作为一个 Chrome扩展程序运行,或从命令行运行。Lighthouse分析web应用程序和web页面,收集关于开发人员优秀实践的现代性能指标和见解,让开发人员根据生成的评估页面,来进行网站优化和完善,提高用户体验。 当为 Lighthouse 提供一个要审查的网址,它将针对此页面运行一连串的测试,然后生成一个有关页面性能的报告。可以参考失败的测试,看看可以采取哪些措施来改进应用。 使用入门 运行 Lighthouse 的方式有两种:作为 Chrome 扩展程序运行,或作为命令行工具运行。 Chrome 扩展程序提供了一个对用户更友好的界面,方便读取报告。 命令行工具允许您将 Lighthouse 集成到持续集成系统。 Chrome 扩展程序 下载 Google Chrome 52 或更高版本,接着安装 Lighthouse Chrome 扩展程序。 命令行工具 安装 Node,需要版本 5 或更高版本。 安装 Lighthouse 作为一个全局节点模块。 针对一个页面运行 Lighthouse 审查。 传递 --help 标志以查看可用的输入和输出选项。 2、SpeedCurve SpeedCurve 可以帮助追踪自己的性能表现,以及竞争对手的性能表现。它可以用来查看某个因素在不同站点的速度表现,并且还提供了综合监控。综合监控是在受控环境中模拟网站。在其中可以自定义选项,比如网络速度、设备、操作系统等等。 3、Pingdom 在Pingdom输入 URL 地址,即可测试页面加载速度,分析并找出性能瓶颈。帮助用户找出影响网站速度的原因,并给出改善网页性能的可行性方案,很适合做网站的用户。 4、PageSpeed Insights Google Page Speed Insight(PSI)是一款旨在优化所有设备上的网页、提高网页加载速度的工具。它提供免费服务,可以分析网页的内容,提出建议,加快网页的速度。它为您提供了关键指标,如第一个内容绘制,总阻塞时间和更多。度量标准被分类为Field Data、Origin Summary,Lab Data,Opportunities、Diagnostics 和Passed Audits。 在线版: 你可以从chrome应用商店里找到PageSpeed Insights插件。 点击open 在线分析性能,也可以测试本地的项目通过PageSpeed,点击Start analyzing运行一会就显示分析结果。 5、SpeedTracker SpeedTracker运行在WebPageTest上,可定期进行网站性能测试,并显示各种性能指标随时间的变化。这个功能可以帮助不断评估网站,并查看新功能如何影响网站的性能,还可以定义预算并通过电子邮件和Slack获取警报。 6、WebPageTest WebPageTest是一个在线性能评测网站, 它是一个非常详细且专业的web页面性能分析工具,而且开源的!支持IE,Chrome,使用真正的浏览器(IE和Chrome)和真实的消费者连接速度,从全球多个地点运行免费网站速度测试。WebpageTest 主要提供了Advanced Testing、simple Testing、Visual Comparison、Traceroute四个功能。 项目地址: 可以运行简单的测试或执行高级测试,还会依据测试结果提供丰富的诊断信息,包括资源加载瀑布图,页面速度优化检查和改进建议,会给每项内容一个最终的评级。 如果你打不开其官网,或者担心安全问题,你可以自己拿源码搭建这个平台工具。 7、Sitespeed.io Sitespeed.io 是开源的Web性能测试工具,用来衡量Web网站的综合性能,帮助开发和测试人员分析网页的加载速度和渲染性能。Sitespeed.io通过驱动浏览器(如:Chrome、Firefox)进行测试,然后从开发者的站点收集多个页面的数据,并根据优秀实践等规则来分析这些网页,然后将结果以HTML报告的形式输出。 项目地址: 安装sitespeed.io之后,如果要分析一下百度PC首页性能,执行以下命令: 该命令将会在chrome浏览器下调起URL为https://www.baidu.com 5次,产出了一个分析文件夹,打开index.html文件后,我们可以看到关于页面性能的相关总结。
-
————————————————Jmeter链接:https://pan.baidu.com/s/198NgXAdF1hHzAN1bGrl3fw密码:ip55————————————————LR11链接:https://pan.baidu.com/s/1KdjHQreIAFVDjHQDI34HOA密码:k1qm————————————————LR11汉化包链接:https://pan.baidu.com/s/1C5TdU6KvxMPAIb7gPfZdgA密码:vawm————————————————LR12链接:https://pan.baidu.com/s/1YC6L1bMR2sN9CP0Cpn4Vbw密码:vaua————————————————
-
一、iperf 二进制包下载地址:https://iperf.fr/iperf-download.php iperf是一个网络性能测试工具。iperf可以测试TCP和UDP带宽质量。iperf可以测量最大TCP带宽,具有多种参数和UDP特性。iperf可以报告带宽,延迟抖动和数据包丢失。利用iperf这一特性,可以用来测试一些网络设备如路由器,防火墙,交换机等的性能。 二、netperf 二进制包下载地址:https://pkgs.org/download/netperf netperf是一种网络性能的测量工具,主要针对基于TCP或UDP的传输。Netperf根据应用的不同,可以进行不同模式的网络性能测试,即批量数据传输(bulk data transfer)模式和请求/应答(request/reponse)模式。 三、qperf 二进制包下载地址:https://pkgs.org/download/qperf qperf 可以用来测试两个节点之间的带宽(bandwidth)和延迟(latency),除了支持tcp/udp/sctp外, qperf值得提的亮点是:第一可以支持RDMA测量,第二可进行循环遍历测试。这两点也是推荐该工具的主要原因。使用方法是:一个节点运行 qperf 作为服务端,另一个节点则运行 qperf 作为客户端,与服务端建立连接之后打流,获取带宽和延迟等数据。
-
1.loadrunner,大而全,要学精通还是有点难度,重量级工具2.jmeter基于java平台的性能开源测试工具,其实也很强大,而且比较好用3.Web bench一个简单的web基准指标测试工具4.Load UI,一款开源的压力测试工具,支持图形化5.httperf一款高性能的web性能测试工具6.Siege一款开源的压力和指标测试工具
-
背景近期在服务支撑项目的测试中,需要在现网客户的集群上做一些性能测试,因为不方便登录客户的集群节点,而用同VPC下的ECS又涉及上传测试工具、脚本、配置安全组等问题,限制繁多。了解到云上CPTS服务,因此尝试了下CPTS的使用,达成了测试目的。什么是CPTSCloud Performance Test Service —— 华为云性能测试服务。CPTS可以用来做多种协议(HTTP/HTTPS/TCP/UDP)的高并发的测试,对于我们主要以Restful形式的API的服务来说,能很好的支撑我们的测试诉求。其内部原理主要是通过此服务的公共资源组,或是用户私有的CCE资源集群,来并发执行测试请求。同时,CPTS还提供了较为丰富的可视化的在线、离线测试报告。更详细可参考其官网服务帮助文档CPTS实践1. 创建测试资源使用CPTS服务进行压测之前,压测服务需要运行在用户自己创建的节点中,首先要创建执行性能测试的资源组,。目前在华为云华东-上海一区域,新创建的CCE资源组均为私有CCE资源组,此资源组无需区分引擎,CPTS测试任务和JMeter测试任务都可以使用此资源组。其他区域暂不支持创建私有CCE资源组,只能使用云容器CCE资源组。CCE资源组中使用的节点是CCE的虚拟机节点,节点的操作系统为Euler OS系统。节点所在的集群需要满足以下条件:云容器引擎的集群版本只支持v1.15及以下版本,集群网络模型建议选择“容器隧道网络”。关于测试资源的详细介绍可参考官网测试资源管理帮助文档2. 创建测试工程登录CPTS控制台,点击创建测试工程,创建自定义的测试工程。3. 添加测试任务创建完工程后,点击工程名,进入后,点击添加任务。CPTS目前支持三种压测模式:时长模式,即按测试时间长度;次数模式,即测试指定的请求数;混合模式,即时长和次数混合。三种模式基本上能满足我们主要的测试需求。4. 编辑测试任务编辑测试任务。CPTS的层级模型是:测试工程 ⇒ 测试任务 ⇒ 测试用例(table)一个测试工程下,可以有多个任务,一个任务下可以有多个用例。多任务可以批量启动及停止。比较关键的配置点是 请求、检查点、压测模式。UI界面所见即所得,不再赘述。5. 调试任务任务配置好后,可以使用调试功能,来检查环境是否联通、请求是否有误。6. 启动任务调试无误后,即可启动任务。此处需关注一下,CPTS当前提供了一个免费的公共资源组,启动时可以选择公共资源组,那么将是完全免费。但是公共资源组有两个限制:最大并发数1000;免费可用VUM数为10000。如超出的VUM将按需收费,超过1VUM,收费0.0032元。因此大家使用此工具测试时,需要预先根据并发和测试时长计算下消耗金额,提前充值。同时,CPTS也支持用户自己创建一个专属的CCE集群,用于测试资源来做测试。这里的计费就按照CCE的计费,提前创建好后,只需在启动时,选择对应的资源组即可。7. 查看报告CPTS提供了查看实时报告和离线报告。顾名思义,实时报告即在任务执行过程中,几个查看实时的一些数据,而离线报告则是任务执行完成后,查看汇总的报告。离线报告提供在线查看以及下载为pdf的功能。常见的指标如成功率、平均/最大/最小响应时间、TPS等都有可视化的体现,基本能满足我们的测试需求,可以直接应用到测试报告当中。F&Q1. CPTS调试无法访问同VPC下的服务端口以CSS服务为例,使用CPTS访问同VPC下CSS集群提供的服务IP加端口,显示访问失败,此时需要检查被访问服务测所在的安全组是否开启对应端口,CSS提供服务端口为9200,检查安全组中对应端口。注意:现网环境请严格限制安全组端口及地址开放范围,避免引发安全问题
-
背景近期在服务支撑项目的测试中,需要在现网客户的集群上做一些性能测试,因为不方便登录客户的集群节点,而用同VPC下的ECS又涉及上传测试工具、脚本、配置安全组等问题,限制繁多。了解到云上CPTS服务,因此尝试了下CPTS的使用,达成了测试目的。什么是CPTSCloud Performance Test Service —— 华为云性能测试服务。CPTS可以用来做多种协议(HTTP/HTTPS/TCP/UDP)的高并发的测试,对于我们主要以Restful形式的API的服务来说,能很好的支撑我们的测试诉求。其内部原理主要是通过此服务的公共资源组,或是用户私有的CCE资源集群,来并发执行测试请求。同时,CPTS还提供了较为丰富的可视化的在线、离线测试报告。更详细可参考其官网服务帮助文档CPTS实践1. 创建测试资源使用CPTS服务进行压测之前,压测服务需要运行在用户自己创建的节点中,首先要创建执行性能测试的资源组,。目前在华为云华东-上海一区域,新创建的CCE资源组均为私有CCE资源组,此资源组无需区分引擎,CPTS测试任务和JMeter测试任务都可以使用此资源组。其他区域暂不支持创建私有CCE资源组,只能使用云容器CCE资源组。CCE资源组中使用的节点是CCE的虚拟机节点,节点的操作系统为Euler OS系统。节点所在的集群需要满足以下条件:云容器引擎的集群版本只支持v1.15及以下版本,集群网络模型建议选择“容器隧道网络”。关于测试资源的详细介绍可参考官网测试资源管理帮助文档2. 创建测试工程登录CPTS控制台,点击创建测试工程,创建自定义的测试工程。3. 添加测试任务创建完工程后,点击工程名,进入后,点击添加任务。CPTS目前支持三种压测模式:时长模式,即按测试时间长度;次数模式,即测试指定的请求数;混合模式,即时长和次数混合。三种模式基本上能满足我们主要的测试需求。4. 编辑测试任务编辑测试任务。CPTS的层级模型是:测试工程 ⇒ 测试任务 ⇒ 测试用例(table)一个测试工程下,可以有多个任务,一个任务下可以有多个用例。多任务可以批量启动及停止。比较关键的配置点是 请求、检查点、压测模式。UI界面所见即所得,不再赘述。5. 调试任务任务配置好后,可以使用调试功能,来检查环境是否联通、请求是否有误。6. 启动任务调试无误后,即可启动任务。此处需关注一下,CPTS当前提供了一个免费的公共资源组,启动时可以选择公共资源组,那么将是完全免费。但是公共资源组有两个限制:最大并发数1000;免费可用VUM数为10000。如超出的VUM将按需收费,超过1VUM,收费0.0032元。因此大家使用此工具测试时,需要预先根据并发和测试时长计算下消耗金额,提前充值。同时,CPTS也支持用户自己创建一个专属的CCE集群,用于测试资源来做测试。这里的计费就按照CCE的计费,提前创建好后,只需在启动时,选择对应的资源组即可。7. 查看报告CPTS提供了查看实时报告和离线报告。顾名思义,实时报告即在任务执行过程中,几个查看实时的一些数据,而离线报告则是任务执行完成后,查看汇总的报告。离线报告提供在线查看以及下载为pdf的功能。常见的指标如成功率、平均/最大/最小响应时间、TPS等都有可视化的体现,基本能满足我们的测试需求,可以直接应用到测试报告当中。F&Q1. CPTS调试无法访问同VPC下的服务端口以CSS服务为例,使用CPTS访问同VPC下CSS集群提供的服务IP加端口,显示访问失败,此时需要检查被访问服务测所在的安全组是否开启对应端口,CSS提供服务端口为9200,检查安全组中对应端口。注意:现网环境请严格限制安全组端口及地址开放范围,避免引发安全问题
-
【功能模块】 性能测试功能【操作步骤&问题现象】1、是否有性能测试软件包。2、运行一个命令,就可以测试摸个模型的性能基准。方便评估算力是否足够。【截图信息】【日志信息】(可选,上传日志内容或者附件)
-
【验收目的】 验证Elasticsearch单节点入库性能指标 【前置条件】 1.集群已经安装完成并正常运行。 2.每个实例分配内存30G,且单节点所有实例内存不超过节点内存的一半(比如节点为128内存,则部署2个实例)。 3.客户端安装在管理控制节点(例安装目录为“/opt/client"),客户端数量与数据节点数量保持一致。 4.获取相应测试工具,解压后对应目录获取Elasticsearch性能工具esarrayGA.rar,解压esarrayGA.rar,解压后将esarrayGA上传到所有客户端节点 (例如目录为“/opt/client",其中用于性能测试的jar包为es-sec-1K.jar、es-sec-5K.jar)。 【测试过程】 1.在Elasticsearch集群创建索引,每个客户端创建1个索引,如:myindex-001、myindex-002和myindex-003,设置索引mapping信息,mapping设 置请参考附件esperf-mapping.txt , 根据不同性能指标创建索引时修改esperf-mapping.txt文件中对应参数。 number_of_replicas:副本数 enabled:是否存储原始数据。 2.在FusionInsight Manager界面选择“系统 > 权限 > 用户 > 添加用户”,创建用户estest,加入elasticsearch、supergroup组,主组为 supergroup。 3.使用root用户登录客户端所在节点,进入客户端安装目录执行 cd /opt/client source bigdata_env kinit estest,初始化及修改密码 4.“系统 > 权限 > 用户 > 更多”,下载estest用户凭证。 5.解压用户凭证,上传至“/opt/client/esarrayGA/conf” 6.修改测试工具esarrayGA的配置文件/opt/esarrayGA/conf/espara.properties。 isindex:设置为1,表示写入索引 httpUrl:指定实例IP和端口及索引信息(IP和端口,每个节点选择一个即可) index:写入的索引名称,各客户端节点中工具分别设置为myindex-001到myindex-003 issecurity:设置为1,表示为安全模式 threadNum:并发线程数,可以逐步增加线程数,工具运行后CPU达到100%为最佳 processRecordNum:写入的索引数量,设置为2亿 其他设置不需要修改。 7.修改测试工具esarrayGA的配置文件/opt/esarrayGA/conf/jaas.conf principal:用户名,修改为estest@HADOOP.COM keyTab:用户凭证目录,修改为"/opt/esarrayGA/conf/user.keytab" 8.在每个客户端节点同时执行java -jar es-sec-1K.jar或java -jar es-sec-5K.jar启动工具写入,数据写入完成后会输出写入耗时。 9.写入完成后,执行,统计3个索引的store.size,记录写入索引的总大小(X.X.X.X修改为集群的Elasticsearch节点IP)。 curl --tlsv1.2 --negotiate -k -v -u: -XGET https://X.X.X.X:24102/_cat/indices?v 10.单节点文件大小写入速率(MB/Sec/Node):所有索引写入数据大小/客户端写入时间的平均值/数据节点数。 11.单节点文件数写入速率(doc/Sec/Node):所有索引写入数据总条数/客户端写入时间平均值/数据节点数。 【测试结果】 1.成功写入数据,记录写入耗时 2.成功查看写入索引总的大小 curl -XGET --tlsv1.2 --negotiate -k -u : 'https://10.24.102.14:24100/_cat/indices?v' (https://bbs-img-cbc-cn.obs.cn-north-1.myhuaweicloud.com/data/attachment/forum/202102/23/110423tiibgjvw5qmln5dn.png) 3.计算得到Elasticsearch单节点文件大小写入速率。 所有索引写入数据大小/客户端写入时间的平均值/数据节点数: 3.3 x 1024 x 1024 / 8430.008 / 6 = 68.4123M/Sec 4.计算得到Elasticsearch单节点文件数写入速率。 600000000/8430.008/6 = 11862.385 doc/Sec
-
TC性能测试工具——学**结 一、 iozone工具 iozone是一个测试操作系统存储性能的工具,可以测试不同的操作系统中文件系统的读写性能。包括:Read, write, re-read,re-write, read backwards, read strided, fread, fwrite, random read, pread, mmap, aio_read,aio_write 等等不同的模式下的硬盘的性能。 安装步骤:1. 从iozone官网下载之后解压好:wget http://www.iozone.org/src/curent/iozone3_489.tar2. cd /home/iozone3_489/src/current #进入到iozone目录下的src/current下执行编译命令 make 测试:输入测试命令 ./iozone –a –g 1G –i0 –i1 –Rb iozone.xls -q 16M ##-a 全面测试。设置测试文件大小为1G(-g 1G),-i0 –i1选择测试项(读写测试项)其中0为(读/重读)1为(写/重写)。最后将测试结果以Excel的格式输出到iozone.xls上面。-q 16M设置自动模式下使用的最大块大小为16M。 二、 netperf工具 Netperf是一种网络性能测量工具,主要基于 TCP 或 UDP 的传输。Netperf根据应用的不同,可以进行不同模式的网络性能测试,即批量数据传输(bulk data transfer)模式和请求/应答(request/reponse)模式。可以测量TCP和UDP传输的吞吐量、时延、CPU占用率等性能参数。NetPerf测试结果所反映的是一个系统能够以多快的速度向另外一个系统发送数据,以及另外一个系统能够以多快的速度接收数据。它的工作原理是以 client/server 方式工作。server 端是 netserver,用来侦听来自 client 端的连接,client 端是 netperf ,用来向 server 发起网络测试。当netserver在server端启动后,就可以在client端运行netperf来测试网络性能。netperf通过命令行参数来控制测试的类型和具体的测试选项。 安装步骤1. 部署2个测试机,测试的TC当做客户端,另外一台TC当做服务端,可采用网线直连的方式。使两台设备的IP地址保持在同一网段。2. 在被测设备上下载工具包并解压3. 进入到netperf目录下 ./configure --build=aarch64-linux #build=测试的机器系统类型。4. make install 测试:输入测试命令1.netperf -t TCP_CRR -H 10.250.7.220 服务端IP #测试TCP_CRR发包类型,向指定的远端netserver IP(192.168.8.132)发送数据 得到如下结果MIGRATED TCP Connect/Request/Response TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.8.132 () port 0 AF_INETLocal /RemoteSocket Size Request Resp. Elapsed Trans.Send Recv Size Size Time Rate bytes Bytes bytes bytes secs. per sec 16384 131072 1 1 10.00 974.69 212992 212992本地(client)使用大小为212992字节的socket发送缓冲远端(server)使用大小为212992字节的socket接收缓冲从本地(client)请求的测试分组大小为1字节,测试所用时间为10s,交互率为3055.88/秒。 输入如下命令3.netperf -H 192.168.8.123 -l 60 ##测试TCP_STREAM发包类型,向指定的本地端netperf IP(192.168.8.123)发送数据,并设置运行时间为60s。MIGRATED TCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 192.168.8.123 () port 0 AF_INETRecv Send Send Socket Socket Message Elapsed Size Size Size Time Throughput bytes bytes bytes secs. 10^6bits/sec 212992 30.00 756315 13211.66远端(server)使用大小为65507字节的socket发送缓冲本地(client)使用大小为212992字节的socke接收缓冲从(server)请求的测试分组大小为1字节,测试所用时间为30.00s,成功数为797574,错误数0;吞吐量为13932.39*10^6bits/sec。 三、stream工具Stream是开源的工具,需要从官网下载源码编译使用,编译前代码默认参数可以调整,以便获得更加准确的结果,在调整参数前,需要了解CPU cache memory, L3 cache大小直接决定了编译时的参数值大小。有的TC不具备三级缓存,只有1、2级,以最后一级缓存的大小为参照。具体使用步骤如下: 调整测试参数:stream工具源码中有一个宏定义需要调整,STREAM_ARRAY_SIZE 代表单个测试数组的大小,默认值10000000太小,在大规格场景无法得到准确的测试结果。按照官方文档,其大小应远大于系统的最后一级缓存,按照25M L3缓存的系统,这个值可以取100000000或200000000 编译得到二进制可执行文件:icc –O3 stream.c -o stream.200M关于编译器:首选icc编译器,因为gcc测试的性能相对icc差一些。stream.200M 即为得到的可执行二进制文件编译参数介绍:1. -mtune=native -march=native针对CPU指令的优化,如果测试编译机即运行机器,可采用native的优化方法2. -O3 优化级别,优化级别分为00\O1\O2\O3,O0是无优化,O1是减少代码尺寸和执行时间,O2是几乎执行所有优化而不考虑代码尺寸和时间,O3是优化级别最高,可能增加代码尺寸。在stream内存带宽测试中,一般情况下建议选择O2或者O3,两者测试结果差别不大。3. -mcmodel=medium #当单个Memory array 大于2GB时,就需要额外加这个参数-fopenmp适应多处理器环境;开启后,程序默认线程为CPU线程数,也可以运行时也可以动态指定运行的进程数 :export OMP_NUM_THREADS=12 #12为自定义的要使用的处理器数-DSTREAM_ARRAY_SIZE计算方法参考stream.c中的说明 例如本环境中查询cpu资料 L3缓存 35MB其值为 35MB*4*2*1000*1000/8 = 35millions (此值为最小值,可以适当大于此值,增大array size会增加测试时间,也会保证经历20个 clock ticks)注意 double 64bit= 8byte-DNTIMES执行次数,并从所有结果中取最优-DOFFSET=4096数组的偏移,一般可以不设置注意测试时改变size(参数)大小,cpu个数,多测几组数据取平均值 执行测试:./stream.200M 得到测试结果:Copy:访问一个内存单元读出其中的值,再将值写入到另一个内存单元。Scale:从内存单元读出其中的值,作一个乘法运算,再将结果写入到另一个内存单元。Add:先从内存单元读出两个值,做加法运算,再将结果写入到另一个内存单元。Triad:将Copy、Scale、Add三种操作组合起来进行测试。先从内存单元中读两个值a、b,对其进行乘加混合运算(a + 因子* b),将运算结果写入到另一个内存单元。一次测试不够准确,通常进行多次测试取平均值,和正常值作对比。 四、FIO测试工具工具介绍:fio是一个开源压力测试工具,主要用来测试硬盘io性能。这个工具的可定制性非常强,可以根据测试者的需求进行各种混合io测试,它支持13种不同类型io引擎(libaio、sync、mmap、posixaio、network等等)。它可以测试块设备或文件,可以通过多线程或进程模拟各种io操作,可以测试统计iops、带宽和时延等性能。这里我们主要使用fio工具进行存储性能测试。安装步骤:1、把下载的fio源码,如fio-fio-3.21.tar.gz上传到系统文件目录下(例如/home)。2、解压安装包:tar -zxf fio-fio-3.21.tar.gz3、进入解压后的目录。4、执行./configure5、运行命令make,编译成功无报错信息。6、运行命令make install安装,打印相关信息表示安装完成。7、安装完成后可以使用命令’fio’会有相关打印信息。 测试执行:命令行测试方法1. 测试裸盘性能fio -name=mytest -filename=/dev/sdb -direct=1 -iodepth=20 -thread -rw=randread -ioengine=libaio -bs=16k -size=5G -numjobs=2 -runtime=300 -group_reporting1234567891011name=mytest 本次测试的名称mytest,自已定义。filename=/dev/sdb 测试裸盘的名称,通常选择需要测试的盘的data目录,是没有文件系统的裸盘。direct=1 测试过程绕过机器自带的buffer。使测试结果更真实。iodepth=20 每个线程每次下发20个io任务。rw=randread 测试随机读的I/O。ioengine=libaio io引擎使用libaio模式。bs=16k 单次io的块文件大小为16k。size=5G 本次的测试文件大小为5G,以每次16k的io进行测试。numjobs=2 本次的测试线程为2。runtime=300 测试时间为300秒,如果不写则一直将5G文件分16k每次写完为止。group_reporting 关于显示结果的,汇总每个进程的信息。顺序读:fio -name=mytest -filename=/dev/sdb -direct=1 -iodepth=20 -thread -rw=read -ioengine=libaio -bs=16k -size=5G -numjobs=2 -runtime=300 -group_reporting顺序写:fio -name=mytest -filename=/dev/sdb -direct=1 -iodepth=20 -thread -rw=write -ioengine=libaio -bs=16k -size=5G -numjobs=2 -runtime=300 -group_reporting随机写:fio -name=mytest -filename=/dev/sdb -direct=1 -iodepth=20 -thread -rw=randwrite -ioengine=libaio -bs=16k -size=5G -numjobs=2 -runtime=300 -group_reporting混合顺序读写:fio -name=mytest -filename=/dev/sdb -direct=1 -iodepth=20 -thread -rw=rw -ioengine=libaio -bs=16k -size=5G -numjobs=2 -runtime=300 -group_reporting混合随机读写:fio -name=mytest -filename=/dev/sdb -direct=1 -iodepth=20 -thread -rw=randrw -ioengine=libaio -bs=16k -size=5G -numjobs=2 -runtime=300 -group_reporting 2.测试文件系统 fio -name=mytest -filename=/test/test.img -direct=1 -iodepth=20 -thread -rw=randread -ioengine=libaio -bs=16k -size=5G -numjobs=2 -runtime=300 -group_reporting1filename=/test/test.img 测试文件的名称,为已经做过文件系统的空间。这种方式通常是将一块裸盘,进行分区、格式化,然后挂载到此目录。 五、Unixbench工具UnixBench是一个类unix系(Unix,BSD,Linux)统下的性能测试工具,一个开源工具,被广泛用与测试linux系统主机的性能。UnixBench的主要测试项目有:系统调用、读写、进程、图形化测试、2D、3D、管道、运算、C库等系统基准性能提供测试数据。 测试步骤: 进入Unixbench目录下,./Run启动测试(如果不行就使用make命令make linux再./Run)一般会自动执行以下测试项目: 测试过程中每个项目后面会有1 2 3 4 5 6 7 8 9 10 数字,意思是该项目进行了10组测试。 测试执行完成,除了会直接在命令行输出测试结果之外,还会在 results 目录下生成一个 HTML 格式的报告,可以将其拷贝至本地。 输出结果如下:系统中有4个CPU;运行1个并行测试副本 运行4个并行测试副本:
-
如题,我们想验证下HBase的性能,请问用哪种工具比较好?
上滑加载中
推荐直播
-
DTT年度收官盛典:华为开发者空间大咖汇,共探云端开发创新
2025/01/08 周三 16:30-18:00
Yawei 华为云开发工具和效率首席专家 Edwin 华为开发者空间产品总监
数字化转型进程持续加速,驱动着技术革新发展,华为开发者空间如何巧妙整合鸿蒙、昇腾、鲲鹏等核心资源,打破平台间的壁垒,实现跨平台协同?在科技迅猛发展的今天,开发者们如何迅速把握机遇,实现高效、创新的技术突破?DTT 年度收官盛典,将与大家共同探索华为开发者空间的创新奥秘。
回顾中 -
GaussDB应用实战:手把手带你写SQL
2025/01/09 周四 16:00-18:00
Steven 华为云学堂技术讲师
本期直播将围绕数据库中常用的数据类型、数据库对象、系统函数及操作符等内容展开介绍,帮助初学者掌握SQL入门级的基础语法。同时在线手把手教你写好SQL。
回顾中 -
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
即将直播
热门标签