• [问题求助] 【ABC】【智慧园区自动化测试工程】导入智慧园区自动化测试工程,无法访问git库
    【功能模块】导入智慧园区自动化测试工程,无法访问git库【操作步骤&问题现象】【截图信息】【日志信息】(可选,上传日志内容或者附件)
  • [公告] 【获奖名单已发布---DevOps实战集训营】学习任务打卡贴
    受疫情影响,北京市、石家庄市、邢台市等部分网点无法收寄快递,您的快递可能无法准时到货,给您带来不便敬请谅解。获奖名单及积分公布获奖人员1月13日24:00前在此链接>>>>>反馈您的收货地址:奖项排名昵称完成课堂作业得分完成《软件开发平台DevCloud介绍及实战》课堂进度完成《7天玩转性能&接口测试实战营》课堂进度完成《黑白棋实时对战游戏开发沙箱实验》合计得分奖项特等奖1蜡笔不辣1422523荣耀猎人战甲背包(黑色)一等奖2AAAI1422523HUAWEI   HiLink力博得智能声波牙刷一等奖3帅气的我1422523HUAWEI   HiLink力博得智能声波牙刷一等奖4Archive1422523HUAWEI   HiLink力博得智能声波牙刷一等奖5谭涟漪1422523HUAWEI   HiLink力博得智能声波牙刷二等奖6ruochen1422523荣耀手环5i二等奖7孙小北1422523荣耀手环5i二等奖8虚荣Vainglory1422523荣耀手环5i二等奖9阿弥陀佛1322522荣耀手环5i二等奖10实柏1222521荣耀手环5i二等奖11起名字什么的最烦了142218荣耀手环5i二等奖12我就灬是我142218荣耀手环5i二等奖13付豪之家02259荣耀手环5i二等奖14qweqwe02259荣耀手环5i二等奖15abcabc02259荣耀手环5i二等奖16Aiphone02259荣耀手环5i二等奖17PERFECT02259荣耀手环5i二等奖18狐妖02259荣耀手环5i二等奖19tanboss3234228荣耀手环5i二等奖20spike2226荣耀手环5i二等奖21Hello   Digger0224荣耀手环5i二等奖22旧时光里的温柔0224荣耀手环5i二等奖23爱浩吃的鱼0224荣耀手环5i二等奖24zdnyyh0224荣耀手环5i二等奖25橙子是红的224荣耀手环5i三等奖26外围的小尘埃0224荣耀移动电源2三等奖27平平无奇的平平0224荣耀移动电源2三等奖28power110224荣耀移动电源2三等奖29红鲤鱼与绿鲤鱼0224荣耀移动电源2三等奖30慕雪0224荣耀移动电源2三等奖31一只无脑程序员0224荣耀移动电源2三等奖32shaoqunshao0224荣耀移动电源2三等奖33大豆0224荣耀移动电源2三等奖34老老刘224荣耀移动电源2三等奖35感恩你我他022荣耀移动电源2三等奖36大脑斧022荣耀移动电源2三等奖37psfaaa022荣耀移动电源2说明:华为云账号hw98****3 和hw13****3存在相互作弊行为,取消本次排名资格。完成实战集训营学习,参与回帖打卡,享海量学习礼!01  课程介绍《软件开发平台DevCloud介绍及实战》  课程简介本课程主要内容包括:软件发展历史及趋势,华为敏捷开发、DevOps实践。  课程目标通过本课程学习,使学员:1、熟悉软件行业趋势挑战及软件开发云解决之道;2、熟悉敏捷开发DevOps知识体系;3、通过应用开发场景,熟悉软件开发云产品功能。课程大纲   第1章 软件开发云概览   第2章 软件开发平台 DevCloud详述《7天玩转性能&接口测试实战营》及实操课程简介:本期课程依托华为云DevCloud,以实践操作为课程基础,使学员掌握DevOps持续自动化测试、接口测试、单接口测试、多接口组合场景、网站性能测试、CI/CD持续自动化测试等能力。体验性能和接口测试的整体流程,汲取自动化测试的核心知识。课程大纲:第1章 Day1 DevOps持续自动化测试概述第2章 Day2 接口测试基本原理第3章 Day3 设计单接口测试第4章 Day4 设计多接口组合场景测试第5章 Day5 性能测试基本原理第6章 Day6 性能测试策略和指标分析第7章 Day7 测试金字塔原理和CI/CD持续自动化测试《黑白棋沙箱实验》通过动手体验,学习基于华为软件开发服务DevCloud构建部署黑白棋游戏应用。使用软件开发服务DevCloud实现代码仓库管理,使用软件开发服务DevCloud实现编译、构建、部署。02 学习任务&奖励要求【学习完成时间】 2020.12.5 -2020.12.31【学习任务】参与训练营,必须先开通DevCloud套餐获取实操资源!!点击直达DevCloud基础套餐订购地址>>>序号任务详情活动积分奖励课程入口1完成《软件开发平台DevCloud介绍及实战》课堂进度任务完成方式:在本帖中,回复自学课程完成进度回复格式:课程名称+华为云ID+课程完成截图(露出右上角华为云ID)见附录截图1要求2积分点击前往2完成《7天玩转性能&接口测试实战营》课堂进度任务完成方式:在本帖中,回复自学课程完成进度回复格式:课程名称+华为云ID+课程完成截图(露出右上角华为云ID)见附录截图1要求2积分        点击前往3完成课堂作业任务完成方式:在classroom课堂提交7天作业,每天作业由教师判断,判定有效则当次作业可获得2积分。12月29日后DAY3 URL访问有问题,请直接按照用例执行结果截图,教师会判定为有效。2积分/每次作业(最高14积分)点击前往4完成《黑白棋实时对战游戏开发沙箱实验》任务完成方式:在本帖中,回复沙箱实验完成进度回复格式:华为云ID+沙箱完成截图每日名额有限,请尽早完成。见附录截图2要求。实验环境已解决,可以启动实验。5积分       点击前往【奖励规则】积分>=2即可参与排名抽奖,根据用户最终评分排名,获得奖品。     积分排名第一名,可获得荣耀猎人战甲背包(黑色)1份。   积分排名2-5名,可获得HUAWEI HiLink力博得智能声波牙刷1个积分排名第6-25名,可获得荣耀手环5i 1个。积分排名第26-77名,可获得荣耀移动电源2 1000mAh (Max 18W) 快充版(白色)Micro版一台(限量50个)。   【附录】截图1要求:显示学习进度为100%,且右上角显示清晰的个人华为云账号。如示例。截图2要求:要求显示实验进度为100%,如示例。 【声明】1、获取学习奖品必须开通DevCloud基础套餐或是付费套餐,才可获得评奖资格。2、后台可查每个华为云账号的学习进度和沙箱实验进度,如有造假,取消排名资格。3、如有积分相同、排名并列的情况,通过随机抽取方式决定排名。4、活动解释权归华为云所有。【相关链接】1、0元订购DevCloud基础套餐,反馈订单截图,参与抽奖>>>2、邀请好友订购DevCloud基础套餐,好友反馈订单截图,参与抽奖,邀请人参与邀请好友排名奖。直达链接>>>>>3、推荐小助手获取分享海报,分享海报,邀请好友赢取新年红包。
  • [热门活动] 已结束【答题赢京东卡等大礼】华为云DevCloud云测赋能培训 | 0代码门槛完成自动化测试脚本实践
    圣诞快乐 中奖名单公布 请获奖者填写领奖信息>>https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=d7322fc329f5499380fba33ca93b72f4&utm_source=yunce(发放奖品以获奖名单中的华为云账号为准,请用获奖华为云账号登录本问卷,确保信息一致。)注:领奖信息收集截止至12月31日8点,超过时间未填写将视为弃奖。奖品将于元旦后发放。—— 活动结束 ——活动时间:12月9日-23日活动规则:在活动时间内,结合给定试题,按照操作指导完成答题,并将“有效的答题截图+华为云账号”回复到本帖留言区,华为云技术专家对提交的截图进行检验,如通过则回复“答题通过”,获得“答题通过”回复的即为有效答题回帖用户,可参与抽奖。(下文附操作指导及有效答题截图示例,请认真查看,按照指导进行操作即可完成,so easy~)抽奖规则:12月25日主办方用有效答题回帖用户提供的华为云账号进行抽奖,中奖概率为有效答题回帖人数的40%,且总中奖名额不超过60人。中奖名单将在论坛公布。注意:l   每个用户可重复提交回帖,但只享有一次抽奖机会,不可重复获奖。每个论坛用户对应回帖中提交的华为云账号统一,且与截图中的保持一致,否则视为无效。 l   有效答题回帖指截图是按照示例要求上传的、且通过华为云技术专家检验合格回复“答题通过”的回帖。需要上传2张图片:一张是显示“成功”的操作结果,一张是附带华为云账号的执行页面(示例见版主留言回帖),l   操作过程中有疑问也可在留言区提问交流,提问帖和交流帖不参与抽奖。 —— 奖品包括——HUAWEI Sound 智能音箱(帝瓦雷四喇叭 40W低音炮)(1个,当获奖人数≥20人时发放)、荣耀xSport运动蓝牙耳机、100元京东卡、50元京东卡、荣耀体脂称2、AM115半入式耳机,以上奖品随机发放(每样奖品的数量将按照实际参与抽奖人数进行分配,具体以实际发放为准),颜色不可选。(往下看操作指导还有大奖彩蛋~)抽奖时间:12月25日,中奖名单及兑奖地址将在论坛公布,请收藏本帖以免错过哦~奖品将于活动结束后7-30天内发放。 (以上奖品图片供参考,具体以实际发放为准) 彩蛋1:观看直播《HCIP职业认证专场——DevOps持续测试与反馈》还可以获得直播抽奖>>https://bbs.huaweicloud.com/live/DevRun_live/202012162000.html—— 试题:订单系统接口测试自动化实操 —— 本实例是为了测试一个订单系统微服务的登录API接口,类似:您打开XX网站,输入用户名和密码,然后后台服务如何能知道您的用户名和密码是正确的,那么通过本实例您就很容易的了解了后台的登录API接口是如何工作的,写一个简单的接口测试用例其实很简单。 —— 操作指导 ——前期准备1、  完成账号实名认证>>点击实名认证链接:https://account.huaweicloud.com/usercenter/?region=cn-north-1&locale=zh-cn#/accountindex/realNameAuthing 2、 开通DevCloud基础版打开https://devcloud.huaweicloud.com/cloudtest/home,登录自己的华为云账号或者注册一个华为云账号,选择切换地域;按照弹窗提示开通DevCloud基础版(免费,不需要选择支付方式,直接按照步骤点击即可完成开通)彩蛋2!!!开通后截图返回这里,还有很多机会得HUAWEI MatePad大奖哦>>https://bbs.huaweicloud.com/forum/thread-90536-1-1.html一、新建测试项目1、刷新页面或进入https://devcloud.huaweicloud.com/cloudtest/home,新建一个scrum项目,项目名称自己定义。2、新建接口测试用例新建后点击“测试设计->接口测试->新建”,新建一个接口测试用例,输入用例名称后,点击“保存并编写脚本”。 二、设置环境参数设置hostIP,由于IP和端口涉及敏感参数,所以选择加密。hostIP地址是:114.115.173.182:84431、点击按钮弹出环境参数页面2、录入参数名:hostIP;值:114.115.173.182:8443如果需要加密,勾选【敏感参数】;不需要加密,则无需勾选。三、录入URL,登录系统1、录入URL和请求体请求信息设置,点击URL请求设置请求方法。点击请求方法下拉列表,将GET改成POST;设置请求协议,点击网络协议下拉列表,将https://改成http://;填写URL。输入入登录接口的URL:$${hostIP}/cloudtest-demo/v1/login,IP和端口使用已定义的环境参数代替;设置请求参体:点击【+JSON请求体】按钮,录入请求体:{   "name":"张三"   “pwd”:"123456" }2、录入检查点点击“检查点”,选择响应码,目标值为200。点击保存。3、点击调试检查结果点击调试按钮,检查响应是否符合预期,符合条件则用例执行成功,不符合条件则用例执行失败。显示成功,及表示后台测试验证通过,账户登录成功。操作完成。四、需要上传的截图包括(示例)图一,点击“结果记录”,找到位置。展示自己的用例执行的结果记录以及对应的日志,获取调试成功的截图。(需要返回的答题截图1)图二,刷新页面,选择“测试执行”,找到页面。展示自己的接口用例名称以及自己的用例执行结果(此截图将附带操作者的华为云账号,证明本人操作)(需要返回的答题截图2) *活动解释权归主办方所有。补充说明a)      本活动需要用户按照要求完成操作,同一电话号码注册的账号(包括兑奖时提供的电话号码相同者)视为同一个用户,使用非正常途径或手段(如写脚本刷接口等方式)获得的奖励无效,且一旦发现作弊行为,华为云开发者社区将取消对应人员的获奖资格、冻结违规账号,已兑换的礼品也不予发放。b)      中奖名单已本帖公布,请获奖者填写领奖信息>>https://devcloud.huaweicloud.com/expert/open-assessment/qtn?id=d7322fc329f5499380fba33ca93b72f4&utm_source=yunce(发放奖品以获奖名单中的华为云账号为准,请用获奖华为云账号登录本问卷,确保信息一致。)注:领奖信息收集截止至12月31日8点,超过时间未填写将视为弃奖。奖品将于元旦后发放。抽奖截图
  • [介绍/入门] 探索云性能测试服务如何和助力11·11购物狂欢节
    探索云性能测试服务如何和助力11·11购物狂欢节       刚刚结束的双11全球狂欢季,当日总成交额达到了4982亿人民币,实时物流订单量破22.5亿单!大家有没有加入“剁手”大军,感受这场购物狂欢呢?活动期间,多个购物平台都热闹非凡,随着科技的发展,我们的消费体验一年比一年丝滑,有没有经历过好不容易抢到秒杀却无法刷出支付页面的焦灼?有没有为了抢购首发新品一直刷新页面的经历?为何今年体验如此丝滑呢?原因是得益于云计算的发展,各电商平台对自己的负载能力提前进行了测试和分析,于是越来越了解平台性能,在活动前就已经做好了升级准备,那究竟是通过什么神器帮助企业了解到这些信息的呢?今天我们就来探个究竟。       以前,对于平台的负载能力的测试和判断,无论测试工具搭建的时间成本,还是采购成本都比较高的,而且只能对单个或少数软件进行测试,所购买的测试设备无法随着平台业务发展的需要而提升测试能力,由此一来,都很难精准地掌握其负载能力,监控性能问题,直接影响到了我们是否能够丝滑完成付款,抢购到种草已久的东西,导致用户的流失。       随着云计算技术的飞速发展,就出现了云性能测试服务,相较于传统的性能测试工具,云性能测试服务独有的特点之一就是如云般轻量化,即开即用,无需体验预留或采购资源,使得测试工作变得极为方便。云性能测试服务的测试能力更可以根据业务测试需要随时扩展,比传统软件更灵活地支持更高并发的模拟测试。这正是云性能测试服务成为当今性能测试界“网红”的原因。       2017年12月15日,秉持着高性能、低成本、可扩展和支持复杂场景等理念,“网红”华为云云性能测试服务(CPTS)C位出道,为云性能测试服务带来更多精彩体验。云性能测试服务(Cloud Performance Test Service,简称CPTS)是一项为基于HTTP/HTTPS/TCP/UDP/WEBSOCKET等协议构建的云应用提供性能测试的服务,具备强大的分布式压测能力。CPTS支持快速模拟大规模并发用户的真实业务高峰场景,可以很好的支持报文内容和时序自定义、多事务组合的复杂场景测试。接下来,我们对其特点一一进行了解。    灵活自定义,HTTP/HTTPS协议测试场景支持       通过支持标准、开放的HTTP/HTTPS报文可根据自身需要进行快捷的自定义,简单调整即可给不同测试应用发送压力测试流量。也可以根据测试对象的实际需求,对HTTP/HTTPS协议报文的任何字段内容进行自定义,包括HTTP方法、URL、Header和Body等字段的设置和编辑内容。对于检测结果,可以进行自定义响应结果校验,针对不同的请求,可支持用户配置检查点,在获取到响应报文后针对响应码及头域内容做结果检验,只有条件匹配后才可认定是正常响应。测试任务模型自定义,支持复杂场景测试       通过多种事务元素与测试任务阶段的灵活组合,可以帮助用户测试多操作的并发场景下的应用性能表现。而所创建的事务可以被多个测试任务复用,针对每个事务可以定义多个测试阶段,并对每个阶段分别定义持续时间和并发用户数,模拟流量起伏的复杂场景。专业性能测试报告,应用性能表现一目了然       可提供事务TPS、并发用户、响应时延、事务累计、结果校验失败、响应超时等多种细分维度统计能力。还提供了实时和离线两种类型的测试报告,我们可以随时查看和分析测试数据。按需使用测试集群,私有压测集群管理       不同于传统测试工具,华为云云性能测试服务可以按需创建测试集群,并实现租户间流量隔离,测试期间更可以实施扩容、缩容测试集群,升级测试能力。完成测试后可随时删除集群。云计算日益发展的今天,平台、应用是否能及时优化性能,适应自身发展尤为重要,看完本文介绍,是否想亲自体验CPTS服务,探索更多功能呢?欢迎体验沙箱实验《基于CloudTest对云端应用进行性能测试》,实验中可一键预置好弹性云服务器ECS和虚拟私有云VPC等所需服务,让我们更专注于云性能测试服务的体验。更提供了详细的实验手册,每一步操作都有详细指导,有的放矢,轻松体验如何创建测试工程、添加测试任务并执行压测任务。图表化压测报告直观了解压测结果。更多精彩内容,尽在华为云学院,上云体验吧!
  • [上云精品] 星云精准测试助力“2020年中国银行业软件测试成果交流会”圆满召开,聚焦金融领域测试创新
    11月13日,“2020年中国银行业软件测试成果交流会”在北京召开。此次会议由中国金融出版社主办,《中国金融》、《金融博览》、《金融博览•财富》杂志承办。来自人民银行、商业银行、第三方机构、院校及相关企业的逾两百位领导和专家出席了会议。会议围绕银行软件测试工作如何在互联网时代快速响应高质量交付的需求、如何对采用新技术的金融产品开展测试和质量评估、如何保障底层技术架构平稳升级等问题进行了深度交流,旨在凝聚行业合力、促进协同发展,为银行业软件测试转型创新起到引领和铺垫作用。中国人民银行科技司副司长罗永忠出席会议并致辞,中国金融学会金融科技专业委员会秘书长杨竑发表了主旨演讲,中国金融出版社总编辑郭建伟主持了会议,中国金融出版社副社长程建国出席会议。星云测试作为协办单位,参加2020年中国银行业测试成果交流会。 大会上,星云测试分享汇报了“星云精准测试在数据追溯中的作用“。星云测试副总经理张女士介绍说:自2012年星云测试开始启动商业产品的研发以来,精准测试技术体系经过多领域大型系统对接应用的严格考验。金融领域中,星云测试在几百个系统中成功对接实施,整体代码量超过数十亿行,对各种标准和特殊架构的支持度也非常流畅。为了给用户减少一切不必要的切换成本,星云团队还花了大量时间研究静默式精准测试方案,把用户在用的、需要对接的平台和精准测试从底层数据对接起来,像做接骨手术一样,精准无误。这样一线的测试人员基本不用添加任何额外的学习成本,以前如何操作现在依然如何操作。而管理人员,将得到所有精确的数据追溯结果。这个过程可以贯穿单元、集成、功能、自动化、验收、回归测试等整体软件生命周期,对被测系统的干扰为零。精准测试可以运行在系统级,支持几百上千人的并发使用。由于强大的数据追溯能力,使一些高级测试技术得以实现,比如在实时覆盖率可视化,回归测试选取、用例的聚类分析与智缺陷定位、在分布式系统上进行全程追溯等。精准测试的数据追溯展示测试用例的海量代码运行路径信息,并基于这些精确的数据进行测试辅助分析为人工测试提供算法支撑。在整体价格上面,星云测试基于自主技术已经完全突破白盒技术钳制、实现弯道超车,使企业大规模应用处于合理的价格区间。在解决方案的配合上,更加灵活机动,可以随时响应。星云测试有非常旺盛的持续创新力,包括Wings-企业级单元测试自动编码引擎、智能测试产品等,均在同时进步中,星云测试将继续以独立软件测试工具供应商的身份,持续的为整个行业提供最有价值的产品。
  • [技术干货] 10个自动化测试框架,测试工程师用起来
    软件行业正迈向自主、快速、高效的未来。为了跟上这个高速前进的生态系统的步伐,必须加快应用程序的交付时间,但不能以牺牲质量为代价。快速实现质量是必要的,因此质量保证得到了很多关注。为了满足卓越的质量和更快的上市时间的需求,自动化测试将被优先考虑。对于微型、小型和中型企业(SMEs)来说,自动化自身的测试过程是非常必要的,而最关键的方面是选择正确的自动化测试框架。什么是自动化测试框架?自动化测试框架是为自动化测试脚本提供执行环境的脚手架。框架为用户提供了各种优势,帮助他们有效地开发、执行和报告自动化测试脚本。它更像是一个专门为自动化组织的测试而创建的系统。简而言之,我们可以说框架是各种指导方针、编码标准、概念、过程、实践、项目层次、模块化、报告机制、测试数据注入等要素的建设性混合,以此支撑自动化测试。因此,用户在自动化应用程序以利用各种生产性结果时可以遵循这些指导原则。这些优势可以是不同的形式,如易于编写脚本、可伸缩性、模块化、可理解性、过程定义、可重用性、成本、维护等。因此,为了能够获得这些好处,建议开发人员使用一个或多个自动化测试框架。此外,当有一群开发人员在同一个应用程序的不同模块上工作时,以及当我们希望避免每个开发人员实现自己的自动化方法的情况下,需要一个统一的标准测试自动化框架。更多详情,请点击
  • [技术干货] 《ONAP技术详解与应用实践》读书笔记25
    终于收尾了~刚看目录的时候,还以为是类似从业资格的认证呢,第10章 ONAP社区的xNF/NFVi认证计划ONAP社区有很多Usecase,比如CCVPN Usecase, SG Usecase等。我们在实现每个Uscase的时候,都是通过Service和Resource去描述Usecase中用到的业务或资源。这些Resource可以是VNF,也可以是PNF ( Physical Network Function,物理网络功能)。简单来讲, Service就是通过不同的VNF/PNF加上之间的Connectivity组成。那如何保证这些VNF/PNF在进入ONAP系统之前已经被充分测试过,并且兼容ONAP系统以及运营商对于VNF/PNF的诉求,从而简化VNF/PNF的采购流程呢?我们需要一个持续集成、持续交付的工具链来测试认证VNF/PNF,它需要满足如下要求:满足不同领域对于VNF/PNF的诉求,如ETSI,3GPP, ONAP或者运营商自己的标准;运营商可以结合自身业务的诉求,通过工具来加速测试入网的流程;通过建立一个运营商、设备商都认可的组织来制定VNF/PNF测试的标准、用例从工具以及生态两方面来加速VNF/PNF的交付与采购。基于以上诉求, LF ( Linux Foundation)结合OPNFV社区的NFVi/VIM认证和ONAP社区的VNF认证,在LF Networking (Linux Foundation Networking)下成立了CVC( Compliance and Verification Committee, 兼容认证委员会),来覆盖NFVi/VIM认证和VNF/PNF认证。后续章节,我们将使用xNF来指代VNF和PNF。测试认证中的On-Board/Onboarding/Pre-onboarding概念:在ETSI中, On-Board概念指的是上传加载NSD/VNFD等包到NFVO系统的过程。在ONAP中, Onboarding的概念包含了对VNFD/PNFD包本身的测试验证以及上传到ONAP系统去设计对应的Service,通常意义上,我们认为onboarding是发生在ONAP的SDC项目内, Pre-onboarding是发生在ONAP VNFSDK项目内,因为只有通过VNFSDK的测试,我们才会认为这个VNF Package对于ONAP系统来说是可用的。10.1 CVC认证及其对于产业的价值CVC是 LF Networking中成员驱动的委员会,负责向LF Networking的董事会提供认证测试规范以及对应的兼容测试工具 CVP ( Compliance Verification Program), 用于测试包括NFVi/VIM、XNF在内的多种商用产品。 CVP是一套测试流程和测试工具,承接CVC对NFVi和xNF等产品的认证工作。CVP第一个版本的测试框架基于OVP ( OPNFV Verification Program)扩展而来,它以OPNFV社区的Dovetail项目为整体框架,来集成其他的测试工具。CVP已经集成部分来自OPNFV社区和ONAP社区的工具。其中, OPNFV社区工具包括Functest, Bottlenecks和Yardstick,分别对应NFVi/VIM的功能测试、压力测试和性能可靠性测试; ONAP社区工具是VNFSDK,提供基于TOSCA模板的xNF测试。CVP旨在提供一个持续集成、持续交付(CI/CD)工具集,来运行自动化测试用例,最终输出可信的测试报告,并可以管理xNF/NFVi的包以及对应的测试结果。目前ONAP中xNF的测试用例主要来源于两个项目:一个是VNFSDK项目,一个是VVP项目,其中VNFSDK主要是用来做TOSCA语言的VNFD校验,VVP主要用来做HOT语言的VNFD校验。如上所述,如果把ONAP比喻成一台打印机的话,通过了cvC认证的xNE就是通过了认证的耗材,可以方便的即插即用,实现快速上线。运营商选择通过CVC认证的xNF产品,能够大大减少后续的调测、上线和运维成本。对于供应商来说,通过CVC认证可以基于ONAP快速准入上线,节省了标书澄清、测试境搭建以及验证报告输出的成本,同时可大幅缩短产品的上市时间。可以预见,在供给侧对CVC认证逐渐重视的情况下, CVC认证将变成一种共识和事实标准。当CVC认证变成整个xNF设计、开发、发布、认证、采购、上线各个环节的标准后,采购环节的流程的流程将会大大缩减,采购速度将会大大提高,同时能够有效降低运营商断和设备采购商的成本。10.2 CVP的架构组件及其主要功能CVP的架构设计起源于OPNFV Verified Program项目,并在OVP基础上扩展出了xNF测试,后续会继续增加基于LFN下所有项目的测试。CVP整体架构及组件:其中,最上层是Dovetail,作为CVC认证测试的入口,由它来集成其他的测试工具;中间层是测试工具集合,实现对应NFVi/VIM和VNF/PNF的各种认证测试;下层是NFVi/VIM, xNF等被测系统(SUT,System Under Test)。在CVC成立之前, Dovetail工具是OPNFV社区OVP认证的测试工具。CVC成立后CVP复用Dovetail作为CVC认证测试的人口,由Dovetail集成其他开源测试工具,来实现对NFVi/VIM和xNF等商用产品的认证测试。VNFSDK包含VNF包验证( Package Validation)工具、生命周期测试框架( LifecyeleTest)、功能测试框架( Functional Test)和xNF仓库( Reference Repository/Markeplace)。VNFSDK希望通过开发一套CI/CD的验证测试工具,来对供应商的xNF进行测试,以构建一个兼容ONAP的xNF的生态系统。ONAP社区还有一个测试工具VVP ( VNF ValidationProgram),用于测试基于Heat模板的VNF。Functest是OPNFV社区的一个测试项目,最初定位为针对VIM和NFVi组件提供功能测试方法、测试用例和测试套件,以验证OPNFV平台VIM和NFVi组件的功能,确保平台已被正确的安装,且各个组件能够正常工作。Functest项目的部分用例来源于上游社区,如Openstack, Kubernetes等。这些用例主要涵盖健康度检查、API接口测试、VNF功能测等。Yardstick是OPNFV社区的性能测试项目,从VNF的角度来对NFVi进行性能测试。Yardstick涵盖计算、存储和网络相关的NFVi性能测试和针对OpenStack的可靠性测试。Yardstick通过将典型VNF工作负载分解成对应性能指标并进行测试,来达到评估NFVi性能和可靠性的目的。Bottlenecks也是OPNFV社区的一个性能测试项目,主要是对NFV所依赖的NFVi进行高负载的压力测试。Bottlenecks 通过构建一套压力测试场景,收集测试过程中的各种NFVi性能指标,以找到NFVi的瓶颈。 Bottlenecks的压力测试场景包括高吞吐量测试,并行VM生成、销毁, VM扩展,以及长时间的浸泡测试等。除了上述测试工具外, CVP还包含OCLI (ONAP Command Line Interface)组件和Dash-board。 OCLI提供所有VNFSDK项目中命令行的执行能力,以供Dovetail通过命令行调用测试脚本。Dashboard接收Dovetail输出的测试结果,通过CVC委员会的评审后,展示最终的测试结果以及被认证的产品信息。10.3如何使用CVP认证你的xNF过部署CVP工具,用户可以在本地或委托第三方实验室来认证自己的xNF产品。目前社区已经在开发CVP的Portal,以便用户可以一键式安装CVP相关的工具以及通过页面触发相关的xNF/NFVi测试。10.3.2通过第三方实验室认证xNF有两种方式可以执行xNF Test的测试用例:一种是在Dovetail上直接执行测试用例并获取返回结果;另外一种方式是在VNFSDK命令行中执行测试用例,也可以获得结果,但是在VNFSDK命令行中执行脚本获取的测试结果格式不能直接在Dashboard中评审。10.4如何定制你的xNF认证内容10.4.1 自定义CVP的测试脚本范围本范围CVC的测试范围包含NFVi和xNF两部分。本章我们主要描述如何定义xNF的测试脚本的范围。xNF具体的测试用例来源包含以下几部分:ONAP VNF Requirements项目ONAP Modeling子委员会运营商自定义需求标准需求(如ETSI SOL001,SOL004等)VNFSDK提供API,给用户自定义测试用例的范围。通过定义不同的场景,来选择不同测试用例,可以包括第三方的用例。具体支持的操作如下:列出VNFSDK目前支持的所有场景: /vtp/scenarios。列出给定场景所有的测试套件: /vtp/scenarios/{scenario}/testcases。列出所有在给定场景下可用的测试用例: /vtp/scenarios/{scenario}/testcases。执行测试用例: /vtp/executions。其中执行测试用例,需要在请求body体中,包含用户所有的自动测试用例。10.4.2参与社区的标准用例制定CVC (VNFSDK)会在每个版本的开始阶段,从上述不同的测试用例源中,选取这个版本可实现的测试用例集合来实现。针对不同的测试用例来源,在社区不同的项目或者委员会里面讨论。ONAP VNF Requirements :如果认为原有VNF Requirements需求描述不完全或者不合理,希望更新用例,或者有Usecase或者其他框架性的功能需求,需要新增需求,可以在JRA (Jira.onap.org)上创建对应JIRA单,然后到VNF Requirements项目中去讨论,获取同意,以便在后续版本中实现。标准更新(Modeling子委员会):目前社区相关讨论比较多的是ETSI NEV相关标准。其中ETSI SOL001制定VNF Descriptor,NS Descriptor, PNF Descriptior相关规范。ETSI SOL004定义对应的是Package规范。ONAP一般是同步最新的标准期范(如ETSI SOL)到社区,并进行适当的修改,来适应ONAP对应的需求。标准的定义讨论是在Modeling子委员会中,也可以在Wiki提交自己的提案并在社区会议中讨论。
  • [交流吐槽] 张小白的自动化测试工具折腾记(1)TestNG(连载中)
    敏捷开发和Devops给测试提出了相当高的要求,自动化测试工具也应运而生。从目前笔者检索到的资料来看,自动化测试工具有以下几种:(1)JUnit——Java语言的单元测试框架,另外还有衍生的NUnit(.NET的单元测试框架)等xUnit家族,如CPPUnit等等。(2)Postman——强大的Web API & HTTP 请求调试工具。(3)Selenium——Web应用的自动化测试工具,用来模拟用户在浏览器的操作。(4)Appnium——移动端(支持Android和IOS)的自动化测试工具。(5)Robot Framework——功能自动化测试框架。这是某些大厂常用的测试框架。(6)HttpClient——支持HTTP协议的客户端程序包。(7)TestNG——接口自动化测试工具,TestNG在JUNIT和NUnit的基础上增加了很多功能,支持单元自动化测试,还可以集成Selenium,Appnium和HttpClient等框架进行各种类型的自动化测试。(8)RestAssured——基于REST服务的测试过程的Java DSL。可以方便的处理REST请求并处理响应信息。(9)JMeter——基于Java的压力测试工具。(10)LoadRunner——老牌的压力测试工具。。是个收费的商业软件。我们看到,华为云推出了很多API服务,我们就以API测试最常见的TestNG,通过实例对API测试进行讲解,以此来理解一下TestNG的用法。以笔者常用的eclipse为例。首先我们需解决安装TestNG的问题。由于众所周知的原因,我们需要先配置maven的阿里云镜像(当然是否也可以用华为云镜像,读者也可以试一下)修改Users/zhang/.m2/settings.xml文件:我们建立一个Maven工程,并在工程内修改POM.xml文件如下:这样,Maven会自动下载TestNG依赖包。我们再通过eclipse的菜单Install New Software安装TestNG插件:在work with栏输入地址:http://dl.bintray.com/testng-team/testng-eclipse-release/ 并按回车键,系统会检索出TestNG:选中然后安装即可。我们在src/main/java的相关package下新建个HelloTest.java的文件,内容如下:package com.zhanghui.testing; import org.testng.annotations.Test; public class HelloTest { @Test public void testCase1() { System.out.println("Hello Zhanghui!"); } }在代码上点击右键-》RunAs=》TestNG Test系统控制台会出现以下内容:表明TestNG安装和测试成功。Suite表示测试套件,是对多个测试类进行组合而成的suite.比如用于测试基本流程的套件,用于测试促销功能的套件,甚至用于进行冒烟测试的套件等等。其中,TestNG还支持如下注解:@BeforeSuite @AfterSuite注解——在该套件(Suite)的所有测试之前/后运行,仅运行一次@BeforeClass和 @AfterClass注解——在调用当前类的第一个测试方法之前/后运行,仅运行一次@BeforeTest和@AfterTest注解——在属于test标签内的类的所有测试方法运行之前/后运行@BeforeMethod和@AfterMethod注解——在每个测试方法之前/后都运行@BeforeGroups和@AfterGroup注解——在每个group之前/后运行我们用实例示范一下:package com.zhanghui.testing; import org.testng.Assert; import org.testng.annotations.AfterClass; import org.testng.annotations.AfterGroups; import org.testng.annotations.AfterMethod; import org.testng.annotations.AfterSuite; import org.testng.annotations.AfterTest; import org.testng.annotations.BeforeClass; import org.testng.annotations.BeforeGroups; import org.testng.annotations.BeforeMethod; import org.testng.annotations.BeforeSuite; import org.testng.annotations.BeforeTest; import org.testng.annotations.Test; public class BeforeAfterTest {   @Test(groups="group1")   public void test1() {   System.out.println("test1 from group1");   Assert.assertTrue(true);   }      @Test(groups="group1")   public void test11() {   System.out.println("test11 from group1");   Assert.assertTrue(true);   }      @Test(groups="group2")   public void test2()    {   System.out.println("test2 from group2");   Assert.assertTrue(true);   }   @Test(groups="group2")   public void test21()    {   System.out.println("test21 from group2");   Assert.assertTrue(true);   }   @BeforeTest   public void beforeTest()    {   System.out.println("beforeTest");   }      @AfterTest   public void afterTest()    {   System.out.println("afterTest");   }      @BeforeClass   public void beforeClass()    {   System.out.println("beforeClass");   }      @AfterClass   public void afterClass()    {   System.out.println("afterClass");   }      @BeforeSuite   public void beforeSuite()    {   System.out.println("beforeSuite");   }      @AfterSuite   public void afterSuite()    {   System.out.println("afterSuite");   }      //只对group1有效   @BeforeGroups(groups="group1")   public void beforeGroups()    {   System.out.println("beforeGroups1");   }      //只对group1有效   @AfterGroups(groups="group1")   public void afterGroups()    {   System.out.println("afterGroups1");   }      @BeforeMethod   public void beforeMethod()    {   System.out.println("beforeMethod");   }      @AfterMethod   public void afterMethod()    {   System.out.println("afterMethod");   } }结果如下:[RemoteTestNG] detected TestNG version 7.3.0 beforeSuite beforeTest beforeClass beforeMethod test1 from group1 afterMethod beforeMethod test11 from group1 afterMethod beforeMethod test2 from group2 afterMethod beforeMethod test21 from group2 afterMethod afterClass afterTest PASSED: test1 PASSED: test11 PASSED: test2 PASSED: test21 ===============================================     Default test     Tests run: 4, Failures: 0, Skips: 0 =============================================== afterSuite =============================================== Default suite Total tests run: 4, Passes: 4, Failures: 0, Skips: 0 ===============================================我们来做个简单的分析:Suite>Test>Class>Method. TestNG会根据本class中的以上顺序依次完成相关的Before注解的执行,然后在测试结束时依次倒过来完成After注解的执行。它也会根据每个 @Test注解的group,依次将本group下的所有test执行完,再执行下一个group.
  • [技术干货] 【转载】软件测试丨自动化测试之读取配置文件
    原文链接:https://bbs.huaweicloud.com/blogs/196994在日常自动化测试开发工作中,经常要使用配置文件,进行环境配置,或进行数据驱动等。我们常常把这些文件放置在 resources 目录下,然后通过 getResource、ClassLoader.getResource 和 getResourceAsStream() 等方法去读取。经常看到有不少同学在读取配置文件时踩坑,本人也是一路踩坑摸索过来,这里做一个简要梳理,供大家参考。一、何为 classpath ?读取资源文件最关键的就是找到文件的位置,归根结底就是找路径,而怎么找,在哪找就是个问题。这其中和 classpath 有很大关系,因此我们先了解下 classpath 的概念,帮助理清思路。我们用 Java 编写的文件都是 .java 文件,而想要运行,还需将其编译成 .class 字节码文件才可被 JVM 运行;这就需要 JVM 先找到对应的 .class 才行,这也就是要找到对应的classpath。JVM 会在编译项目时,会主动将 .java 文件编译成 .class 文件 并和 resources目录下的静态文件一起放在 target/classes (如果是 test 下的类,便会放于 /target/test-classes 下)目录下;现有工程目录如下:编译后进入 target 目录下查看如下:二、class.getResource()先来看 getResource 的用法先分别执行如下测试代码,打印带有"/"和不带"/"的path    import org.junit.jupiter.api.Test;    public class ResourceTestDemo {        @Test        void getResourceTest(){            System.out.println(ResourceTestDemo.class.getResource(""));            System.out.println(ResourceTestDemo.class.getResource("/"));           }打印结果:    file:/Users/username/Documents/TestDev/MyTraining/XUnit/ResourceTest/target/test-classes/resourcetest/    file:/Users/username/Documents/TestDev/MyTraining/XUnit/ResourceTest/target/test-classes/结果分析:1、getResource("")不带"/“时候是从当前类所在包路径去获取资源;2、getResource("/")带”/"时候是从classpath的根路径获取;现在来尝试获取resources下的文件2.txt和3.txt:测试代码:    @Test     void getResourceFileTest(){         System.out.println(ResourceTestDemo.class.getResource("/3.txt"));         System.out.println(ResourceTestDemo.class.getResource("/test/2.txt"));     }打印结果:    file:/Users/username/Documents/TestDev/MyTraining/XUnit/ResourceTest/target/classes/3.txt    file:/Users/username/Documents/TestDev/MyTraining/XUnit/ResourceTest/target/classes/test/2.txt三、getClassLoader().getResource()和上述一样,先分别执行测试代码,打印带有"/"和不带"/"的path:     @Test     void getClassLoaderResourceTest(){         System.out.println(ResourceTestDemo.class.getClassLoader().getResource(""));         System.out.println(ResourceTestDemo.class.getClassLoader().getResource("/"));     }打印结果:    file:/Users/qinzhen/Documents/TestDev/MyTraining/XUnit/ResourceTest/target/test-classes/    null结果分析:1、 getClassLoader().getResource("")不带"/“时候是从classpath的根路径获取;2、 getClassLoader().getResource("/")带有”/"打印为null,路径中无法带有"/"现在继续尝试获取resources下的文件2.txt和3.txt:@Testvoid getClassLoaderResourceFileTest(){    System.out.println(ResourceTestDemo.class.getClassLoader().getResource("3.txt"));    System.out.println(ResourceTestDemo.class.getClassLoader().getResource("test/2.txt"));}打印结果:    file:/Users/qinzhen/Documents/TestDev/MyTraining/XUnit/ResourceTest/target/classes/3.txt    file:/Users/qinzhen/Documents/TestDev/MyTraining/XUnit/ResourceTest/target/classes/test/2.txt四、getResourceAsStream()getResourceAsStream() 方法仅仅是获取对应路径文件的输入流,在路径的用法上与getResource()一致。补充其实当我们查看 class.getResource 的源码时发现如下:public java.net.URL getResource(String name) {    name = resolveName(name);    ClassLoader cl = getClassLoader0();    if (cl==null) {        // A system class.        return ClassLoader.getSystemResource(name);    }    return cl.getResource(name);}  其实这里也是调用了getClassLoader,只是方便了我们使用而已。总结class.getResource()不带"/"时候是从当前类所在包路径去获取资源;class.getResource()带"/"时候是从classpath的根路径获取;class.getResource()本质上也是调用了getClassLoader,只是封装了一层方便了我们使用而已;getClassLoader().getResource("")不带"/"时候是从classpath的根路径获取;getClassLoader().getResource("/")路径中无法带有"/";getResourceAsStream() 方法仅仅是获取对应路径文件的输入流,在路径的用法上与getResource()一致;以上,供大家探讨。更多技术文章分享及测试资料
  • [技术干货] 【转载】软件开发丨关于软件重构的灵魂四问
    程序的设计模式和架构更趋合理,提高软件的扩展性和维护性。摘要在本文中,您会了解到如下的内容:先添加新功能还是先进行重构?重构到底有什么价值?如何评判这些价值?重构的时机是什么?如何进行重构?1. 先添加新功能还是先进行重构?                                 问题:官方资料,重构分析1.0版中。有两顶帽子,一个是添加新功能,一个是重构添加新功能时,你不应该修改既有代码,只管添加新功能,重构时你就不能再添加功能,只管改进程序结构。一次只做一件事情。这两个是否有矛盾,以哪个为准?前面有些可信材料版本不一,有的还要互相打架,是否可以统一一下?回复:关于添加新功能和重构是否矛盾的问题,是先添加新功能还是先进行重构?我们要做的是观察这两个事情哪个更容易一些,我们要做更容易的那一个。就是你不能一下子同时做这两件事情。因为同时做两件事情,会导致你工作的复杂度提升,容易出错。一般而言,重构会改变程序的设计结构改动相对来说比较大。但是因为没有功能方面的添加,所以对应的测试案例我们不需要进行修改,那对我们来说,只要能够使得现有的重构修改能够满足我们的业务测试案例就可以了。添加新功能意味着我们要添加对应的测试案例,以保证我们新的功能是可测的。这部分的修改一般会依托现有的程序结构,改动起来相对比较少,并且修改容易鉴别。在绝大多数正常情况下,我们一般是先添加功能,提交完成以后,再新的修改需求中对代码进行重构。从大的方向上来说是分两步走的,这两个任务不能混为一谈。一次只做一件事情,一次提交只包含一个任务,这是为了避免在工作中人为的增加复杂度,这个复杂度包含代码修改,审查,测试等各个方面。避免复杂度的上升,是我们在软件开发过程中时刻要谨记的一个原则。俗话说,一口吃不成胖子,心急吃不了热豆腐。做事情要一步一个脚印,稳扎稳打,步步为营。2. 重构的价值和评判效果问题:哪种类型的代码重构是高价值的?1. 在网上跑了这么多年也没啥问题,为什么要动他?2. 重构前后功能又没啥变化,当前收益是啥?3. 若是提高可维护性,可扩展性的话,怎么评判效果呢?回复:这是关于重构价值和评判结果的问题。这几个问题问的都很好。我们来看第1个问题,就是"在网上跑了这么多年也没啥问题,为什么要动"的问题?这里的关键点就在于到底有没有问题。是不是说在客户那边客户看不到问题,就算是没问题。当然不是的,在我们软件开发当中,在交付给客户以后,客户那边看到的是黑盒,他不知道我们内部的逻辑存在多少的漏洞。如果我们的内部逻辑存在很多的漏洞。假设偶然某一天,某个客户发现了一个漏洞,它可以通过这一个漏洞进入到我们的系统内部,这样进入我们的内部,会发生什么样的状况,我们可以自己想象。在公司的内部发言中专门提到了UK对我们产品的一个评价,外层是铜墙铁壁,内层是很脆弱的,客户或者黑客一旦进入到我们的内部以后,他就可以为所欲为了,从这一点上来说,我们一定要对我们现有的代码进行重构,以避免这样的问题。我们再来看第2个问题。重构前后功能又没啥变化,当前收益是什么?重构最大的收益是解决如下的问题:代码太多重复问题,单个函数体或者文件或者攻城过大的问题,模块之间耦合度太高的问题等等。以上问题归根结底就是一个问题,就是复杂度过高的问题。现在来谈一谈复杂度的问题,软件开发中的复杂度当然是越低越好。一般谈到复杂度,我们可能想到了各种逻辑上的复杂度,设计上的复杂度,实际上在软件过程中复杂度涉及到方方面面,我们来看一下,具体有哪些方面我们需要注意复杂度的问题。第一是命名规则。先举个例子,我定一个变量叫word。有的人喜欢把它写成wd。这个就增加了这个变量定义的复杂度,你从wd很难明白,这个变量是word的意思。不管是变量的命名还是函数的命名,我们都希望看到名字,我们应该能够理解这个变量或者函数大体是关联到什么样子的事情。所以谨慎的使用缩写是避免命名规则复杂度提高的重要前提。第二是程序逻辑的复杂度。线性顺序执行的复杂度为1, 出现分支以后要乘以分支的个数。分支可以是条件判断也可以是循环。所以尽可能的避免分支的出现是降低程序逻辑复杂度的重要手段。如果程序分支不可避免,要尽可能的把程序分支放到最高的逻辑层。这样做的目的是为了避免在下层处理的时候出现发散式的分支。发散式的分支会急剧的增加程序的复杂度。复杂度越高,程序越难维护,复杂度超过一定程度,人类程序员是无法处理的。第三是架构设计的复杂度。架构设计涉及到模块设计和系统设计。要尽可能的把一些公用的模块或者子系统抽取出来,比如安全相关的,日志相关的,工具相关的等等,这些公用的功能可能会被所有其他的业务模块或系统所调用。在调用这些公用功能的时候,越简单越好,并且调用者不需要关心具体的内部实现,只需要知道如何使用就可以了。这样做的目的是让程序员专注到业务代码的设计上来。第四是系统部署的复杂度。系统部署包含几个不同的阶段如开发阶段,测试阶段和生产阶段。不管是哪个阶段,部署的步骤越少越不容易出错。有些系统天然的需要很多指令的配置,如果是这样的情况,需要编写一个批处理的文件来简化外部使用者的部署步骤,把多个步骤变成一步。与部署相关联的还有集成部分。如果能够实现自动化或者从模板中创建那是非常好的状态。第五是测试的复杂度。测试分白盒测试和黑盒测试。白盒测试的复杂度直接关联着代码层级的复杂度,代码层级的复杂度越高,当然白盒测试的复杂度也就越高。白盒测试需要注意的一个重要问题是不要使白盒测试这部分的代码脱离实际业务代码的设计。也就是说白盒测试它的依附对象就是我们实际的业务代码,从架构设计上说是一个附属层,不要试图在这里使用什么软件设计艺术或者所谓的编程艺术。这种代码的风格就是简单直接,复杂度线性化。黑盒测试的复杂度来自于业务需求分析。要有非常清晰的文档说明,需要对测试步骤和预期结果写的非常清楚。第六是技术的复杂度。技术的发展趋势一般是越发展越简单,功能越强大。那么在设计和开发的过程中,要避免使用老旧的技术。关于技术框架的选择,要提前做好调研。前端选什么框架,要不要选择某些UI库,后端选什么框架,要不要选择某些程序库,原则上是为了简化我们的学习过程,提高开发效率,增强整个项目的可维护性。需要具体问题具体分析。第七是队伍结构的复杂度。队伍构成一定要短小精悍,人多不一定好办事。像亚马逊提倡的是两张披萨团队,意思是说整个团队两张pizza就能吃饱。大体估算就是10人左右的一个队伍。当然这只是一个参考指标。整个队伍的目标一定要明确。所有的人都向着那个目标迈进,分工可以不同,但是目标一定要一致。目标+分工是队伍成功运作的关键。具体来说就是把目标分成多个任务,每个任务里又可以分成小任务,那所有的人都去做对应的任务,自己让自己忙起来,而不是别人让你忙起来。我们现在来看一下第3个问题,就是如何评判重构效果的问题。在上面的分析中,我们已经了解了重构的目标和最大的收益,就是复杂度的降低。那么对应的,就是代码的重复率大大降低了,单个函数体或者代码文件或者工程过大的问题不存在或者减少了,模块之间的耦合性降低了。再进一步说,就是关于代码的可维护性和可扩展性上,我们需要关注这么几点:一是代码的可读性,我们看到现有的代码就应该可以理解代码作者的意图是什么,这样我们在修改bug的时候就更容易把握。比如函数,类或者组件的功能要单一化,命名要友好,要删除一些误导性的注释,对于一些没用的代码,要毫不客气的抛弃。二是设计模式的可参考性。设计模式的好处就是提供一种可以追寻的代码扩展轨迹,新的功能可以遵循这种轨迹模板进行添加,从现在就说一下白盒测试这一部分。测试的框架应该在项目开始阶段或者重构开始前搭起来。等部分代码成型的时候,逐步的添加必要的测试案例。测试案例的选取可以按照环形复杂度的计算方法来确定,也可以根据集成测试对应的用户需求来确定。与代码相关的测试,一般有单元测试,集成测试和系统级的测试。单元测试,一般被认为非常繁琐。单元测试的繁琐主要体现在测试案例的选取上, 如果使用全覆盖方式来选取测试案例的话,会产生大量的测试代码,以后维护起来也是一个负担。如果采用环形复杂度来选取测试案例的话,会产生适量的测试代码,但是环形复杂度的计算也是一个很大的时间开销。集成测试跟客户的实际业务需求相关。在这个过程中需要理清接口的输入与输出,以及运行路径,然后据此来设计测试案例,写出测试案例代码。开发人员一般不会拒绝写集成测试。因为她带来的好处是实实在在的,会极大的提高你的开发效率和调试效率。尤其是对于无界面的程序接口尤为重要。系统级测试是大系统中子系统之间的集成测试。这个主要包含两个方面:一个方面是有界面的自动化测试,通过这样的测试架构来模拟人类用户的使用过程,同时增加一些随机性的行为,试图能够找出系统的一些漏洞。另一种是无界面的测试,体现在多个服务系统之间的调用上或者类似浏览器自动化框架的使用上。一套完整的测试系统,可以帮助工程师提高开发效率,减少以后系统维护和重构的成本。从测试的紧迫性上来说,集成测试最为必要,系统间的测试有时候使用手工测试通过一些测试工具来代替。单元测试可以有很广阔的讨论空间,这部分要具体问题具体分析。3. 重构的时机问题:关于重构时机的说法,正确的是?添加功能时,重构能够使得未来新增特性时更快捷、更流畅在修复错误时,应该聚焦问题本身,不建议重构,可以避免引入新的问题专家Review时重构,能够传递经验,改善设计,避免或减少代码持续腐化回复:关于重构的时机问题,现在我们有三个选项,我们就分别分析一下这三个选项。第1个选项是说在添加功能的时候进行重构。这个选项的主要问题就是一个提交包含了多个任务。这属于人为的增加工作的复杂度。第1个缺点是会增加工作的难度,使得本来可以用工作量1解决的问题,变成了工作量2和3。第2个缺点是增加了代码审查的难度。本来你的提交中描述的是添加功能,结果发现里面的代码修改大部分与此描述无关。所以第1个选项排除。第2个选项是说在修复错误的时候应该聚焦问题本身,不建议重构,以避免引入新的问题。聚焦是点睛之笔。我们在做任何事情的时候,都不要忘记初心,集中精力攻克问题,不要分心。所以第2个选项是正确的。第3个选项是说专家在审查代码的时候再重构。这里面的最关键问题是专家可能并不了解代码的业务需求和应用场景。他们能够看到代码存在不好的味道,但在不了解业务场景的情况下,让专家进行重构会带来很大的风险。所以第3个选项也不正确。4. 如何进行重构?问题:如何正确的进行重构?回复:下面我们来看看如何进行重构。简单的代码重构我们都比较熟悉,比如说你通过工具就可以做一些整理,如变量重命名,函数抽取,类创建等等。现在比较头疼的一个话题就是对老产品的重构,一些老产品涉及到上千万行,上亿行的代码。关于老产品整改的问题。如果只是缝缝补补的话,可能起不到化繁为简的目的。其实做类似这种工作的话,有一个比较可行的方案。就是把现有的产品当做一个成型系统也就是现有运行的产品,不要做大的改动,顶多就是修改bug。然后以这些成型的系统为基准,去写新的系统。相当于参照一个大的白盒就写一个小的白盒,这样新的小的白盒质量上肯定比大的白盒性能上要有优势。这样子按部就班去做的话,就会比较靠谱。有朋友会说上面的做法是重写,字面意义上没错的。实际上不矛盾。区别就是重构的方式应该从下往上还是从上往下。比如说我们现在大部分的重构都理解为从下往上来做。也就是感觉这个文件里头有坏代码的味道,然后就改这个文件,这样做是没有问题的。比如现在有些教练遇到的问题,就是发现上下文不是很清晰,这个代码为什么要这么写?为什么一个文件有1万行或者3万行,这个来龙去脉不是很清楚。这个时候可能就需要从整个子模块来进行一个自上而下的分析。梳理出这个子模块的功能需求是怎样的,需要有多少个公共接口?内部公共接口的实现方式是不是应该像目前这样的?一个文件能够写成1万行或者3万行,肯定是有一定历史原因的,绝大程度是由于全局把握的编程能力不够造成的。像这种情况,如果从这个文件本身去做重构的话,难度非常之大,但是如果从上往下,从模块的整个设计角度来做重构的话,可能就容易一些。对于这样的庞然大物,最好的办法就是分而治之。首先要确定系统的功能逻辑点,针对这些逻辑点,要编排好对应的检测点,也就是说等我们完成了重构以后,我们得确保我们的重构是没有问题的,这些检测点就是做这个的,我们可以理解成集成类的测试。这些集成类的测试一定要确保可以在当前未重构之前的系统上正常运行。有了这个设施以后,我们就可以开展我们的重构工作。重构的方法有很多,比如采用比较好的工具,函数和变量的命名改变,调用方式的改变等等。这些是在现有代码的基础上进行的重构。这里我们重点说一下重写的方式来实现重构。所谓重写呢,就是另外开辟一套代码底座。甚至可以选用不同的编程语言。这种情况下重构首先要重用已有的业务逻辑,实现针对业务逻辑集成测试100%的通过率。具体不管采用哪种方式都要一个模块一个模块的进行推进。验证完成一个是一个,千万不能急于求成,试图一次性的把某些问题搞定。如果出现很多次失败,有可能会消磨掉你的自信心。所以一定要一点一点的往前推进,始终是在进步当中。采用了这种方式以后,不管当前的系统有多么的庞大,你只要坚持做下去,就一定能够把重构工作彻底完成。这个时候需要做的具体步骤可以参考如下:1. 根据功能需求定义公共接口。2. 根据公共接口写出测试案例代码。3. 这个时候可以按照测试驱动开发的理念去填充代码。4. 代码可以从现有的代码中抽取出来。5. 在抽取的过程中进行整理重构。这样,这个子模块完成以后,就可以尝试去替代现有的子模块,看看能不能在整个系统中安全的运行。  对于整个系统来说,我们又可以分成很多个子模块。然后又可以对各个子模块各个击破,最终完成对整个系统的重构。如果一开始对整个系统进行重构的话,也是可以从自上而下的角度来看的。比如说开始的时候先把所有的子模块看成一些占位符,假定他们已经完成他们的接口了。那对于整个系统来说,它本身就是一个子模块,属于提纲挈领的那个模块。这个过程,从字面意义上可以理解成重写,实际上,它也是一个重构的过程,因为我们肯定会重用这个系统本身的一些现有代码和现有的逻辑。上面我们是假定系统在已经完成的情况下进行的重构,其实重构可以贯穿于软件开发的始终。软件开发的首要目标是实现业务逻辑,能够解决客户的问题。这个目标实现以后,我们就要追求代码的干净度,复杂度能够降到最小,当前的技术能够用到最先进。所以只要有机会,我们都应该对代码和设计进行重构。结语本文针对收到的几个关于重构方面的问题作了回答,侧重点各不一样,希望能够给存在相同困惑的朋友们有所启示。 
  • [分享交流] Wings企业级单元测试自动编码引擎白皮书
    第一章Wings企业级单元测试自动编码引擎诞生的背景 (附Wings讲解视频和白皮书pdf下载)随着科技的飞速发展,软件系统越来越复杂,在系统测试阶段不断遇到的瓶颈,迫使行业逐步追根溯源到了单元测试阶段。软件缺陷发现得越晚,其处理费用就越呈几何激增,因此测试左移概念已经成为趋势。单元测试面临的最大问题是单元测试用例编写工作量巨大,极端情况下与开发工作量比达到1:1,甚至更高,这使大部分开发团队要么主动忽视单元测试,要么象征性的走个流程。如果可以让计算机先对被测试程序进行全局分析和深度理解,再由计算机进行全自动的完成单元测试编码,同时还能确保自动编写的代码无语法、语义错误的直接运行起来,这种用计算机智能算法全自动产生的测试编码去验证开发人员编写的源代码逻辑输入输出对错的高端测试模式,无疑是未来软件测试领域最为璀璨的“明珠”技术。国外软件诸如c++ test完成了这个领域的初步技术探索,星云测试研发的Wings(目前商用产品支持c/c++程序)产品,则大踏步完成了整体技术跨越和多方商用落地验证。Wings可以对程序参数进行深度解析,比如c++类、模板类、数组、结构体、指针、链表以及任意复杂结构的层级嵌套,同时对于面向对象的程序特性以及常用的容器库,能够完美识别和支持。对于一些void*、函数指针、模板类等无法直接静态分析进行类型确定的特殊情况,均有基于人工智能的程序分析辅助进行类型确定。Wings在基于深度参数解析的基础上,对于全局范围的程序进行理解分析后,第一步 按照内置规则,自动化构建被测程序的输入用例代码;第二步 构建测试代码用于调用被测程序的源代码;第三步 构建被测程序输出断言,完成调用被测试程序单元的全部环境准备。这个构建速度非常快,可以达到每分钟100万行左右的生成速度,编写的代码比程序开发人员手工编写的规范度高出一截,并确保100% 的语法语义正确,免去大量的调试时间。在驱动数据上,Wings实现了驱动代码和数据的分离。Wings基于深度参数解析基础上,可以根据参数的结构自动生成层级嵌套的测试数据结构,用图形界面可视化的展示给用户。用户只需要根据Wings提供的界面向导对测试数据进行填充即可,驱动程序会自动识别并读取这些数据,完成对被测试程序的调用。Wings还可以全自动生成参数捕获程序,并自动插装在被测试程序中。当被测试程序运行后,可以通过专用软件捕获程序中每个函数模块运行的具体参数值。Wings的测试代码驱动自动生成和参数捕获,相当于完成了一种全智能的闭环测试验证体系。Wings使测试数据不需要人工准备,只需要在前序轮次中通过参数捕获自动存储。若前序测试用例运行正常,那么这些数据都可以作为后续测试输入和进行校验的基础数据。第二章 单元测试自动生成技术2.1 测试左移后单元测试面临的问题测试左移后,传统的单元测试一般面临很多问题,主要如下:(1) 传统程序级测试用例的编写会耗费开发人员大量的工时,比如TDD测试驱动开发里面的单元测试无法有效实施,导致所有测试几乎全部依赖于系统级黑盒测试。程序级测试用例的开发成本是功能实现代码本身时间至少为1:1,绝大部分企业选择放弃开发程序级测试,而采用系统级测试方法。(2)     需求发生变化导致程序实现发生变化后,程序集用例也需要发生变化,和自动化面临的问题一样,单元测试本身的可维护性问题导致投入是持续的而不是一次性的,会打消其企业应用的热情。(3)     很多单元在未组装成系统的时候切入,如果需要进行测试需要进行大量的mock操作或者桩模拟,这个过程会造成单元测试的不精确性。(4)     程序集测试数据量很大,全部需要用户来进行准备无法全自动从前序系统测试过程中获取。      针对以上问题,很多业内人士提出了很多办法,例如自动生成测试用例、自动构建测试驱动、模糊测试方法等诸多方式,但是实际开发中程序输入参数十分复杂,简单的输入已经不能满足,如何能够构建复杂的参数输入,是要解决的重要问题。因此,星云测试研发了Wings产品--单元级的自动编码引擎,它不仅能够自动构建测试驱动,还能处理十分复杂的大型程序参数,帮助企业能够更好的进行单元测试。2.2 完成单元测试要素构成单元测试的要素如下:a.        测试数据b.        测试驱动代码例如针对以下程序,需要准备的测试输入以及测试代码① 全局变量:c② 参数:a、b③ 预期输出:320 30 int c = 100; int sum(int a, int b) {      return a + b + c; } int driver_sum() {      int a = 100, b = 20;      c = 200;      return sum(a, b); }                                                                                TEST(test, driver_sum) {      EXPECT_EQ(320, driver_sum);      EXPECT_EQ(30, driver_sum); }2.3构建测试数据和测试代码遇到的技术瓶颈编写测试代码比较繁琐开发编写驱动不难,但是浪费大量的时间,并且没有创造性。编写代码是否有良好的代码规范单元测试也需要一些规范支持,例如代码规范,注释规范等,有了这些规范能够为测试人员提供很好的功能测试用例设计的逻辑思考,也为其他开发熟悉代码提供极大的便利。数据类型比较复杂通常情况下,输入参数比较复杂,嵌套层析结构比较深入,例如类包含其他类等。能否支持多组测试数据一般代码中每个循环、分支判断以及输入输出都有可能产生缺陷。因此单元测试需要很多用例,满足不同的条件分支,达到满足覆盖率。第三章 Wings的基本架构介绍3.1 Wings测试用例驱动自动生成技术的特性l  Wings是智能的全自动测试用例驱动构建系统,能够在很短时间内完成对大型复杂程序的自动解析、构建。每分钟达到100万行代码的生成速率。l  可以将任意复杂类型逐步分解为基本数据类型,例如结构体嵌套,复杂类对象,c++标准容器,自定义模板类等。l  支持多层次的可视化的数据表格来对变量类型进行赋值,无需关注驱动程序本身。数据表格可以表达任意深度和多层次的数据关系,用户只需要关注表格数据,完成对输入数据的校对。l  能够区分系统数据类型和用户自定义类型,对于复杂的约定俗成系统类型可由用户自定义扁平式赋值模板,例如std::vector类型等,内部集成常用系统类型的模板。3.2 Wings的技术架构介绍Wings的技术架构:首先Wings利用代码静态分析技术,提取被测程序的主干信息并保存到Program Structure Description(PSD)结构中,PSD结构中主要存储函数的参数、全局变量以及返回值的信息,类的成员变量,成员函数,以及访问权限等信息。利用存储的信息,依据一定的编写规则,自动构建测试驱动、googletest 期望断言、测试输入、参数捕获等代码和值。                                             图 3.2 Wings总体架构图上述Wings的总体架构图,说明了Wings构建代码与测试输入的具体过程,整个核心技术是通过编译底层技术获取程序的信息,然后按照一定的规则构建需要的数据。第四章 程序结构信息描述程序结构信息(Program Structure Description)是指对源程序进行提取后的描述信息,主要包括类名、命名空间、类的成员变量信息、类的函数信息,以及各种类型信息等(程序结构信息,下文简称“PSD”)。描述信息的保存C语言是以一个文件为单元存储,C++提取所有的类信息存储在一个文件中。Wings的主要特性是能够对复杂的类型(结构体、类、模板类等)进行逐层展开分解到最基本数据类型(char、int、string等)。PSD结构存储在XML文件中,不同的XML文件存储不同的描述信息。Wings提取的程序结果都存储在Wingsprojects文件下的funxml与globalxml文件夹中,其中funxml文件中主要存储的文件以及作用如下:RecordDecl.xml: 结构体,联合体与类描述信息。ClassTemplateDecl.xml:模板类描述信息EnumDecl.xml:枚举描述信息funcPoint.txt: 存储函数参数为函数指针的分析结果。funcCount.txt: 存储分析到的全部函数,参数个数,参数类型信息。void.txt: 存储函数参数为void*的分析结果。filename.xml:存储c语言文件的信息。注:具体文件的描述信息,参看附录A。针对复杂类型,例如结构体类型location_s,成员变量中除了基本数据类型之外,还存在包含结构体类型的情况,如下所示的代码中,location_s中包含coordinate_s结构体,以及FILE等类型的信息,针对不同的类型进行标记区分。 源代码如下:typedef struct coordinate_s{     void(*setx)(double, int);     int mInt;     char *mPoi;     int mArr[2][3];     void *vo; } coordinate;   typedef struct location_s {     int **mPoi;     coordinate *coor;     FILE *pf;     struct location_s *next; }location;   coordinate *coordinate_create(void); int coordinate_destroy(location *loc,size_t length,char *ch); void func_point(double param1, int param2); 生成对应的PSD结构信息如下图4:图4:PSD描述信息C++的主要表示类型是类,因此测试是C++以一个类为单元做测试,类主要包括类的成员变量名以及类型信息,成员变量的访问权限信息。类的成员函数分为构造函数、内联函数、虚函数等,成员函数的参数信息以及类型信息等。具体描述信息可以登陆www.codeWings.net下载Wings试用版本进行学习。第五章 Wings构建程序描述Wings通过获取到的存储信息,依据一定的编码规则,构建不同的代码程序,如驱动程序、期望断言程序、参数捕获程序等。5.1 驱动程序构建驱动程序指单元测试代码,Wings针对函数参数的类型,自动完成单元测试代码的编写。为了更详细的说明驱动程序,以一个C++类作为具体的例子说明。 类的声明如下:class BlockBuilder { public:     explicit BlockBuilder(const Options* options);     BlockBuilder(const BlockBuilder&) = delete;     BlockBuilder& operator=(const BlockBuilder&) = delete;     void Reset();     void Add(const Slice& key, std::string & value);     Slice Finish();     size_t CurrentSizeEstimate() const; private:     const Options* options_;     std::string buffer_;     int counter_;     bool finished_; };针对如上BlockBuilder 类,构建一个对应的驱动类DriverBlockBuilder,驱动类中主要包含构造函数、析构函数、每个成员函数的驱动函数以及返回值函数。为了避免类中重名函数,对写入PSD需要对应生成驱动的函数进行顺序编号。驱动类声明:class DriverBlockBuilder { public:     DriverBlockBuilder(Json::Value Root, int times);     ~DriverBlockBuilder();     int DriverBlockBuilderReset1(int times);     int Reset1Times;     int DriverBlockBuilderAdd2(int times);     int Add2Times;     int DriverBlockBuilderFinish3(int times);     void ReturnDriver_Finish3(class Wings::Slice returnType);     int Finish3Times;     int DriverBlockBuilderCurrentSizeEstimate4(int times);     void ReturnDriver_CurrentSizeEstimate4(size_t returnType);     int CurrentSizeEstimate4Times; private:     Wings::BlockBuilder* _BlockBuilder; };在上述驱动类中,构造函数的作用是构造BlockBuilder的对象,用构造的对象,调用测试BlockBuilder中的成员函数。析构函数的作用是释放构建的对象。 构造函数与析构函数:DriverBlockBuilder::DriverBlockBuilder(Json::Value Root, int times){   Json::Value _BlockBuilder_Root = Root["BlockBuilder" + std::to_string(times)];   /* options_ */   Json::Value _options__Root = _BlockBuilder_Root["options_"];   int _options__len = _options__Root.size();   Wings::Options* _options_ = DriverstructOptionsPoint(_options__Root, _options__len);   /* buffer_ */   std::string _buffer_= _BlockBuilder_Root["buffer_"].asString();   /* counter_ */   int _counter_ = _BlockBuilder_Root["counter_"].asInt();   /* finished_ */   bool _finished_;   int _finished__value_ = _BlockBuilder_Root["finished_"].asInt();   if (_finished__value_ == 0) {     _finished_ = true;    }   else {     _finished_ = false;   }   _BlockBuilder = new Wings::BlockBuilder(_options_, _buffer_, _counter_, _finished_, false); } DriverBlockBuilder::~DriverBlockBuilder() {     if (_BlockBuilder != nullptr) {         delete _BlockBuilder; } }每个成员函数对应生成自己的驱动函数。类中的Add函数对应的驱动函数如下。Add驱动函数:int DriverBlockBuilder::DriverBlockBuilderAdd2(int times) {     Add2Times = times;     const char* jsonFilePath = "drivervalue/BlockBuilder/Add2.json";     Json::Value Root;     Json::Reader _reader;     std::ifstream _ifs(jsonFilePath);     _reader.parse(_ifs, Root);     Json::Value _Add2_Root = Root["Add2" + std::to_string(times)];     /*It is the 1 global variable: count    Add */     int _count = _Add2_Root["count"].asInt();     count = _count;     /*It is the 1 parameter: key Add2      * Parameters of the prototype:const Wings::Slice &key */     Json::Value _keykey_Root = _Add2_Root["key"];     /* data_ */     char* _keydata_;     {         std::string _keydata__str = _keykey_Root["data_"].asString();         _keydata_ = new char[_keydata__str.size()];         memcpy(_keydata_, _keydata__str.c_str(), _keydata__str.size());     }     /* size_ */     unsigned int _keysize_ = _keykey_Root["size_"].asUInt();     Wings::Slice _key(_keydata_, _keysize_, false);     /*It is the 2 parameter: value    Add2      * Parameters of the prototype:const std::string &value  */     string _value = _Add2_Root["value"].asString();       //The Function of Class    Call     _BlockBuilder->Add(_key, _value);     return 0; }构成以上驱动函数的主要包括全局变量、参数、调用被测函数的构建。以上是针对BlockBuilder类的驱动类的主要信息,而构建的程序遵守google的编码规范。一些命名规则如下:Wings生成的驱动代码,存储在drivercode文件夹中。(1)driver.cc与driver.h,针对程序中使用到的一些公共函数以及头文件。(2)同一个结构体或者联合体,可能会作为多个函数的参数使用,为了避免代码的重复,Wings针对所有的结构体和联合体的不同类型,封装成不同的驱动函数或者参数捕获函数。driver_structorunion.cc 存储结构体驱动函数的代driver_structorunion.h 对应的头文件。结构体实现函数的命名规则为:DriverStruct+结构体名字+类型,其中Point代表一级指针或者一维数组,PointPoint代表二级指针或者二维数组使用。源文件的命名规则为:driver_+源文件名/类名+.cc例如:driver_nginx.cc 或 driverBlockBuilder.cc驱动函数的命名规则:Driver_+函数名+(编号)例如:Driver_ngx_show_version_info(void);DriverBlockBuilderAdd2(int times)    (3)返回值的打印输出返回值的打印输出函数命名规则:Driver+Return+Print_+函数名。例如:DriverReturnPrint_ngx_show_version_info();(4)用户源代码中的main函数自动进行注释,重新生成一个main函数文件,来进行测试。Wings会生成驱动main的主函数文件为:gtest_auto_main.ccWings主要针对参数进行逐层展开,解析到最底层为基本类型进行处理。驱动的赋值部分,主要就是针对基本类型进行处理。(注:特殊类型,比如FILE等,后面会详细讲解如何赋值)以int类型举例,一般程序构成int的主要组成大概包括以下情况:int p; int *p; int **p; int ***p;int p[1]; int p[2][3]; int p[1][2][3];int(*p)[]; int(*p)[][3]; int *(*p)[]; int (**p)[];int *a[]; int **a[]; int *a[][3]; int (*a[])[];Wings会针对基本类型的以上15种类型,进行不同的赋值。构建完驱动程序之后,要对驱动程序进行运行,Wings构建googletest的框架,来进行测试。下面我们将针对期望断言的googletest程序进行构建。5.2 googletest程序的构建在构建完单元测试驱动程序之后,Wings将调用googletest的框架,完成对返回值的期望值验证代码,并且输出测试结果。Wings运行单元测试过程中,会构建返回值的保存代码,将程序的返回值结果进行存储,然后读取用户输入的预期值,进行结果对比,判断是否通过。针对具体的类,对应生成gtest类,每个gtest类中对每个函数构建期望代码。例如针对BlockBuilder类,生成的gtest类为 GtestBlockBuilder。GtestBlockBuilder类的声明:class GtestBlockBuilder : public testing::Test { protected:     virtual void SetUp()     {         const char* jsonFilePath = "../drivervalue/RecordDecl.json";         Json::Value Root;         Json::Reader _reader;         std::ifstream _ifs(jsonFilePath);         _reader.parse(_ifs, Root);         driverBlockBuilder = new DriverBlockBuilder(Root, 0);     }     virtual void TearDown()     {         delete driverBlockBuilder;     }       DriverBlockBuilder* driverBlockBuilder; }; BlockBuilder类中的每个函数对应一个gtest函数,每个函数负责调用DriverBlockBuilder编写的驱动函数,对于包含返回值信息的函数,则对应生成具体的期望值对比。 期望对比函数CurrentSizeEstimate:TEST_F(GtestBlockBuilder, DriverBlockBuilderCurrentSizeEstimate4) {     const char* jsonFilePath = "drivervalue/BlockBuilder/CurrentSizeEstimate4.json";     Json::Value Root;     Json::Reader _reader;     std::ifstream _ifs(jsonFilePath);     _reader.parse(_ifs, Root);     for (int i = 0; i < BLOCKBUILDER_CURRENTSIZEESTIMATE4_TIMES; i++) {         driverBlockBuilder->DriverBlockBuilderCurrentSizeEstimate4(i);         Json::Value _CurrentSizeEstimate4_Root = Root["CurrentSizeEstimate4" + std::to_string(i)];         /* return */         unsigned int _return_actual = _CurrentSizeEstimate4_Root["return"].asUInt();         /* return */         unsigned int _return_expected = _CurrentSizeEstimate4_Root["return"].asUInt();         /* return_expected */         EXPECT_EQ(_return_expected, _return_actual);     } }最后调用自动构建的main函数运行整个单元测试过程。5.3 参数捕获程序构建参数捕获是指在程序运行过程中获取程序的变量信息,主要包括函数的参数、全局变量、返回值等。Wings自动构建获取参数的程序,利用插装技术,将构建的捕获函数插入源代码中对应的位置,将获取的具体信息,写入值文件,可以将获取的数据作为单元测试的输入,在代码发生变更后,利用相同的输入判断是否得到相同的输出,进行回归测试。Wings的参数捕获代码存储在paramcaputrecode文件夹中。其中命名规则同驱动格式一样,将所有的driver替换为param即可。Wings针对每个类生成一个对应的参数捕获类,而参数捕获类中针对每个函数生成对应的捕获参数、全局变量以及返回值的函数。c++ 中类的成员变量是私有,无法从外部获取,Wings利用插桩技术,对每个类插入一个捕获函数,来获取类的私有成员变量。参数捕获类ParamCaptureBlockBuilder:class ParamCaptureBlockBuilder { public:   ParamCaptureBlockBuilder();   ~ParamCaptureBlockBuilder();   void ParamCapture_Reset1();   void GlobalCapture_Reset1();   void ReturnCapture_Reset1();   void ParamCapture_Add2(const Wings::Slice &key, const std::string &value);   void GlobalCapture_Add2();   void ReturnCapture_Add2();   void ParamCapture_Finish3();   void GlobalCapture_Finish3();   void ReturnCapture_Finish3(class Wings::Slice returnType);   void ParamCapture_CurrentSizeEstimate4();   void GlobalCapture_CurrentSizeEstimate4();   void ReturnCapture_CurrentSizeEstimate4(size_t returnType); };具体的捕获函数不再详细说明,具体信息可以在Wings官网下载试用版本查看。第六章 Wings类型以及面向对象语法特性的支持Wings能够支持任意的类型以及面向对象的语法特性。类型支持:l  基本类型,int、double、float、std::string等l  任意复杂的结构类型,结构体、联合体、枚举、链表、多级指针、数组、树、图等l  任意复杂的类对象,标准库容器、自定义模板类特殊模板:n  区分用户自定义的类型与系统变量类型(标准库头文件中包含的类型)n  类的运算符重载函数n  void *与函数指针n  识别类中包含delete与default关键字的函数进行特殊处理语法支持:u  处理static函数、保护和私有函数u  类中定义私有结构体u  类中包含delete与default关键字的函数进行特殊处理u  多态与复杂的类继承6.1链表针对链表类型,采用比较灵活的赋值方式,考虑到实际应用中的一些因素,针对链表类型,默认赋值两层结构,在实际测试过程中,用户可依据需要自动添加节点。6.2 标准库容器Wings能够支持c++的标准库容器,能够对容器进行逐层展开,利用不同容器的标准赋值函数进行赋值以取值。其他类似的容器例如QT中的容器以及boost库中的相关容器,我们在继续支持。6.3 自定义模板类一些用户自定义的模板类类型,Wings能够识别是用户自定义的模板类,Wings依据实际程序中的赋值类型,进行处理。6.4  void*与函数指针Void*与函数指针在实际程序中可以作为函数参数或者结构体与类的成员变量,针对不确定的赋值类型,Wings提供了具体的解决办法:① 利用编译底层技术,对源程序静态分析,获取真实类型,对真实类型进行赋值② 由用户在数据表格界面配置实际类型6.5 特殊模板在实际的代码程序中,会存在一些类型无法使用通用的模式全部展开,如一些系统变量(FILE、iostream)、第三方库以及一些用户需要特殊赋值。Wings是如何针对以上特殊类型进行赋值,举例如下:struct sockaddr_in {         short   sin_family;         u_short sin_port;         struct  in_addr sin_addr;         char    sin_zero[8]; };步骤如下:a.        识别sockaddr_in为系统变量类型,特殊标记b.        检测程序中的所有系统变量类型,显示在模板界面c.         用户配置特殊变量,如sin_familyd.        构建sockaddr_in对象e.        调用模板,生成驱动模板配置如下:图:6.5模板配置  第七章 数据表格Wings目前测试用例数据采用随机生成的方式,支持int、char、double、float、bool、char*类型。数据表格可以任意编辑以上类型的数值。(1)Wings数据表格将会针对参数进行展开,假如参数类型为结构类型,数据表格将分层展开结构的类型,到基本类型。(2) 针对基本类型的指针类型,例如int *p;Wings处理为不定长度的一维数组类型,int **p;处理为不定长度的二维数组类型,默认长度为3,数据表格界面可以点击进行添加和删除数据。(3) 针对不定长度的数组作为函数参数,例如int p[];Wings默认长度为1,用户依据需求,在数据表格界面进行任意添加和修改即可。图 7-1数据表格展示 附录A表一:type属性ZOA_CHAR_S/ZOA_UCHAR/ZOA_INT/ZOA_UINT/ZOA_LONG/ZOA_ULONG/ZOA_FLOAT/ZOA_UFLOAT/ZOA_SHOTR/ZOA_USHORT/ZOA_DOUBLE/ZOA_UDOUBLE基本类型StructureOrClassType结构体类型ZOA_FUNC函数指针类型ZOA_UNION联合体类型ZOA_ENUM枚举类型ClassType类类型  表二:basetype属性BuiltinType基本类型ArrayType数组类型PointerType指针类型StructureOrClassType结构体类型UnionType联合体类型EnumType枚举类型FunctionPointType函数指针类型 表三:其他属性Name代表结构体、类、联合体名字NodeType代表链表类型parmType代表函数参数类型parNum代表函数参数个数SystemVar代表此类型为系统头文件类型value代表枚举类型的值bitfield代表位域类型所占字节returnType代表返回值类型Field类成员变量Method类构造函数paramName类构造函数参数名paramType类构造函数参数类型TemplateArgumentTypeSTL结构参数类型WingsTemplateArgumentSTL结构嵌套参数名字TemplateArgumentValueSTL结构中参数为具体值FunctionModifiers函数访问权限FunctionAttribute函数是extern或者static函数FuncClassName函数所属类OperatorFundecl重载运算符函数Operator重载运算符类型
  • [分享交流] 精准测试白皮书2020版
    第一章 精准测试诞生的背景(附完整版精准测试讲解视频和白皮书pdf下载)20年前(2000年),上网是一件很酷的事,叫做“网上冲浪”,主要是几个门户网站占据绝大多数注意力;20年后(2020年),我们已经全方位“浸泡”在软件的海洋里,很多大型软件系统已经超过亿行,架构模型越来越复杂。未来的20年(2020-2040年),随着各种智能应用的层出不穷,软件系统内部逻辑会不可逆转的越来越复杂,而外部操作会越来越“傻瓜”。用户一个眼神或者一动脑,就能够切换出不同的功能需求。同时中国的软件产品化进程,近些年来正在蓬勃的进行,大量的公司开始研发自己的产品。伴随着关键核心软件的国产替代,使得原本应用级难度的开发正在向高复杂度和高质量的产品型研发转型。这个转型的过程,注定将产生对于高端测试工具的巨大需求。软件缺陷发现得越晚,其处理费用即呈几何性激增,而不是线性增长。如何从庞大复杂的系统中迅速及时地找到故障所在,一直是行业的一大难点。无法对大型软件进行有效的质量把控,就无法真正构建与维护大型软件。目前国内软件测试基本处于两种状态:一是绝大多数企业采用功能(黑盒)测试,二是小部分对软件产品有高可靠性要求的软件,企业会使用代码级的白盒测试工具。但这两种传统测试办法在目前的软件日趋智能化复杂化下,弊端越来越明显。功能(黑盒)测试技术**,使墨菲定律在所难免。**由于无法获知程序内部逻辑结构,这种测试办法对软件可靠性要求不高的应用来讲问题不是很大,但是对于大型金融机构、智能工业、航天军工等关键系统,就意味着时刻携带隐形的巨大风险。为此,功能测试后期需要极高的人力投入才能完成复杂逻辑的用例分析和设计。然而对于黑盒测试来说,程序越大,杀虫剂效应越明显。而行业内当作银弹的自动化测试,当自动化程序本身规模扩大以后,它的维护本身就存在了很严重的问题。低效的黑盒测试状态,最终将影响和制约未来整体软件发展。代码级(白盒)测试工具一般重点应用在研发阶段的单元测试上,满足了客户的部分高可靠性需求,但由于其价格高昂、技术老化,仅适合于小规模迭代瀑布式开发的软件,无法完成复杂的系统级别的测试以及分布式基于云的测试,更不适应敏捷迭代的开发模式。另外白盒测试工具基本都是国外产品,通常这些产品无法完成深度的定制化功能实现以及快速的用户响应,代码安全更是一个较大的问题。所有先进的科技都是具备前瞻性眼光的。随着国内军民各项大型核心软件系统的上马,研发一种面向高复杂度大型软件、自主可控的高性能智能精准测试平台的必要性,逐渐凸显。在这个时代背景下,2012年初,星云测试团队开始了筚路蓝缕、心无旁骛的研发征程。精准测试是个交叉学科,里面涉及到编译器、测试分析、图形技术、高性能通信与存储,软件的研发等多项底层技术。经历无数个不眠之夜对技术难点突破的煎熬与最佳解决方案的反复推敲,星云精准测试产品在诸多方面率先实现了重大技术创新,成功突破了白盒测试使用难度大、价格高昂的桎梏,有效消弭了国外高端测试产品垄断的壁垒。星云精准测试产品更偏向于软件测试业界的“灰盒测试”,即用简单的黑盒操作办法,可以同时得到单元级和系统级的精准测试数据。“星云精准测试”不负众望,在众多性能上大幅超越国外进口高端白盒测试工具产品,并在数据追溯、覆盖率可视化、智能回归、智能缺陷定位、分布式数据穿透与追踪等特性上有突出贡献。星云精准测试,既继承了传统功能测试前期的高效率运行区间,又能在后期通过系统的数据,让开发、测试充分协同,完成全程高效的测试与数据分析。(1)将测试团队的价值放大,能够将开发与测试更加紧密的连接起来,互为支撑。(2)采用精准、可信的测试技术,测试管理的难度大幅度降低。(3)降低企业对人员的过度依赖,通过系统适应人员的变更。(4)为企业实现测试数据资产的有效积累和分析,打下坚实基础。“星云精准测试VIP大企业离线版云平台”在整体测试试功能上的优异特性,成功获得了一批重要大型企业的高度认可及产品采购。星云测试的首发版本为:穿线测试 ThreadingTest,2014年6月6日上线,侧重于系统级白盒测试技术,测试用例和代码逻辑的双向追溯技术,测试示波器技术,覆盖率可视化技术。2015年8月6日,“穿线测试”正式更名为“星云测试”。在继承穿线测试整体技术上,星云精准测试增强了回归测试用例的自动选取技术,缺陷最后执行时序分析、智能缺陷定位、敏捷环境下多版本白盒测试数据的聚合、聚类分析、结合代码结构与动态数据的测试漏洞检出、代码安全特性,全面的测试管理特性等几十种优秀功能。目前有“星云精准测试VIP大企业离线版云平台”、“星云精准测试PASS在线云平台www.teststars.cc”、“全自动测试用例驱动生成系统Wings”等多种工具产品。星云精准测试旗下产品平台有Horn、Paw、Shell、Wings等系列产品。适用语言和平台暂为:为响应广大用户的需求,目前正在进一步扩展适应的语言和平台覆盖面。图1-1 精准测试在大型系统的效率运行分析星云精准测试,既保证了传统功能测试前期的高效率运行区间,又能在后期通过系统的数据,让开发、测试充分协同,完成全程高效的自动化精准测试。第一章 精准测试技术体系对软件测试技术的升级解析精准测试技术体系经过近6年的商业项目实践日臻成熟,大量商业应用案例的正面积极反馈,表明它已经成为新的软件测试技术方向体系。星云精准测试灵巧详细的功能设计和高度可靠的产品内核得到了市场的广泛认可,对于国际上原有的白盒测试工具来讲,是一种质的飞跃。2012年,精准测试的商用工具正式进入设计和研发阶段。与引进国外技术不一样,精准测试的核心技术体系是星云测试团队在国内的原创设计和研发。产品经过3年的悉心研发、反复内测、不断优化后,2014年精准测试在CSTQB会议上,发布了第一个商用版本ThreadingTest,引起了很大反响。6年前,行业上还全面沉浸在黑盒测试的大氛围中,从未见过精准测试的超前的运行方法和提供的强大智能的功能,由于理念与设计过于超前,早期有一些业内质疑的声音。但由于产品独到的优秀特点和巨大的潜在价值,诸多伯乐开始试用,给了产品在实际场景中不断优化、强化的宝贵机会。经过不同领域、不同客户的各种高复杂度大型系统的百般锤炼、验证后,自2016年开始,精准测试开始赢得全行业的重视和响应。优秀的商用落地性是精准测试技术流行的一个重要因素。由于精准测试把准了黑盒测试无法解决的难题和固有瓶颈,踏准了测试技术发展大的进程,并从设计一开始就特意注重了商业场景下使用要求复杂性,因此它从诞生之日起就不仅仅是一套理论,而是有着非常强的实用性基因和可扩展架构,多场景应用成果卓然。精准测试最底层的核心技术:“一种基于用例与源码双向追溯的测试装置及方法”,类似在重建量子纠缠的场景和数据。它成功的将功能用例和对应的代码二者之间的追溯路线,实现了精准无误的可视化。这彻底解决了在黑盒的状态下,软件工程师们无法获知程序内部运行轨迹的难题。自此开始,计算机处理海量测试数据的强大分析能力开始展现。我们知道,所有的黑盒测试都是人工进行的,它依赖的是人的算力,而软件正确性验证的工作量,主要是组合路径膨胀的问题,人的算力是远远跟不上的。那么精准测试如何从测试的角度对业务进行深度的测试辅助分析呢?我们用量子纠缠的形象类比来说明这个问题。量子纠缠理论我们可以简单理解为两个处在纠缠态的粒子一旦分开,不论分开多远,如果对其中一个粒子作用,另一个粒子会立即发生变化,且是瞬时变化。“一个粒子”会与“另一个粒子”产生相互作用,两个表面互相不关联的粒子,互相作用互相影响,他们对外是一个整体,无法单独描述“单个粒子”的性质,只能描述这“两个粒子”的整体性质,这就叫做“量子纠缠”。类比到软件测试上,我们的被测试软件中常见的软件界面和功能输入输出以及渲染它的复杂代码,他们之间就和两个纠缠在一起的粒子一样,具备强关联性。一个发生了变化,另一个必定发生变化。精准测试的另一核心功能是:“回归测试用例的自动选取”,就是基于用例和代码的追溯(量子纠缠)关系在进行运算之后全自动得出的。用例和代码精准的追溯机制,使数据开始可以实施大量的智能测试算法。在软件测试理论界,大量论文算法的基础都是默认建立在用例和代码的关系上进行分析的,但因其追溯机制工业实现难度极大,所以一直停留在学术理论阶段。星云测试引领的精准测试方法体系,落地在精确便捷的商用产品和大型解决方案中,让大量先进的测试分析方法和理论,得以实实在在的验证。精准测试首次明确的提出了:如何采集和应用双向追溯数据,进行测试辅助分析系统的构建。不管是纯软件系统还是运行在设备中的软件系统,用例与代码精准的数据可追溯性,都是基础性的强需求。比如金融转账业务、用手机拍照、机器人控制器的动作控制指令等,每个操作都有与之对应的代码。星云精准测试产品的强大之处在于:所有的分析算法不需要和被测系统的业务功能做特定的适配,因此可以应用于任意软件系统的测试辅助分析。而传统的白盒在产品实现上以采集和分析总体覆盖率为主,没有能力将覆盖细化到用例层级,因此传统的白盒测试囿于覆盖率的概念中,无法实现更高层次的测试辅助分析需求。星云测试产品的技术优越性及应用的易用性,使它成为新一代软件测试技术流的中坚力量。星云精准测试在企业应用场景中,为了方便客户还设计了完全静默的“傻瓜”运行模式,客户基本无需增加额外的学习成本。比如测试工程师打开测试用例的excel表格,当他准备执行某个用例的时候,只需点击这一项测试用例。随后通过VBA技术,直接调用星云精准测试的后台接口,再附加一整套深入应用后台执行线程的用户标签技术,就可以将用例和代码关联和分离出来(这里说的分离是指类似于J2EE服务端后台应用)。在对外提供多用户并发访问的情况下,可分离出每个用户执行的用例所对应的相应代码。前面我们提到功能和代码这两个量子数据的重建,以前主要出现在研发/开发人员相对比较零散的执行单步调试功能的时候(即单元测试),无法存储。国外白盒工具因其设计基因的限制,无法支撑超大型、高复杂度的系统级测试需求。在星云精准测试体系中,只要测试工程师执行测试用例,几乎不需要额外付出,在建立测试用例与数据的对应关系的同时,瞬间即可将海量数据实时采集并存储起来,用于后续测试大数据的分析和运算上。它的内核设计,使之可以轻松应用在数亿行的超大型应用上,实时采集、存储测试数据,而对原有系统的响应性能不产生干扰。星云精准测试对软件测试体系是重大的技术革新,它从以下几个层面改变并提升了测试:对软件测试的深度进行了大幅度的拓宽,让计算机有能力直接对测试用例进行辅助分析,给出更深入的测试决策分析依据。传统测试主要通过人工业务测试发现缺陷,定位缺陷必须由开发人员进行,二者信息没有精确的数据交互。精准测试主要基于测试人员标识的用例状态,以及自动记录的用例对应的代码路径进行频谱分析。它可以自动计算缺陷产生的代码位置,在发现缺陷的同时,同步产生缺陷定位的结果数据。精准测试提供的测试用例的聚类分析,是基于测试用例的路径空间距离进行聚类,聚类的结果可以直接对用例执行正确性进行审核,对用例进行等价类划分、分析缺陷密集区以及对用例执行分布进行评估等。精准测试提供的回归用例选取结果,经由海量的计算精准推荐而来,总体算法思路与人工分析的思路是类似的,采用人工智能算法模式把大量的计算完全交由计算机去总结分析,精准、稳定、可靠、高速。这个功能相当于解放了测试和开发团队大量的人力资源,彻底解决因团队成员变更而引入的未知风险。精准测试开辟的测试方法新体系,支撑了黑盒测试快速提升测试效能比的刚需。精准测试对于企业来讲,相对于比需要人工编写、维护庞大自动化脚本的自动化测试,工作量是低很多的。精准测试和自动化测试是并行的技术方向,企业应用可以根据各自团队的特点来选择,并没有绝对的应用时序依赖关系。自动化测试近些年的应用遇到一个广泛的批评就是:让测试团队疲于应付用例的编写而不是测试用例设计等测试核心技术。精准测试属于测试分析系统,着眼点和立意相对较高,在测试理论、方法和商业应用落地验证与成果上,形成较好的整体闭环。它把测试需要关注的核心,引领到一个正确方向上来。精准测试在技术特性上解决了测试结果可信性的问题。在精准测试之前,我们所见到的所有测试数据都是易伪造、易篡改的。例如我们通常使用的测试管理系统,一个用例是否被有效执行,绝大部分是在测试管理系统中被人工录入的。精准测试是在用例动态执行过程中,由计算机内部算法真实记录对应的程序运行逻辑,然后形成后面对测试数据进行精确分析的数据源基础。所以其底层程序运行的数据是没有办法也绝对不允许进行伪造和篡改的。精准测试果断去除了阻碍测试行业发展的重要障碍,让测试的结果精准化、可量化、可衡量化、可信化。此举,将大幅减低测试行业本身的管理成本,有效推动测试行业的快速、健康发展。精准测试大幅提升了开发和测试部门的协作效能。前面提到全景调试器,测试工程师执行完用例,即时产生代码层级的全景调试数据;测试完成后一旦用例存在缺陷,那么基于这个全景调试图以及高度可视化的数据路径追溯,开发人员可以直接对缺陷进行定位,不需要在开发环境下重现缺陷,再单步调试以解决问题。实施精准测试之前,开发人员苦于很难有效参与对测试用例进行审核;实施精准测试后,用例的执行结果都映射到了代码层,开发人员通过代码的覆盖视图很容易就可以协助测试人员补充和确认用例,开发和测试的协作变得非常简单和直接有效。      不可否认,在精准测试之前,开发和测试存在沟通不畅的问题。通过精准测试在项目中的有效实施我们会发现,精准测试可以帮助开发提供非常有价值的数据: 例如代码和用例的反向追溯可以帮助开发人员修改代码做参考,精准测试自动计算回归范围减轻了开发人员必须协助测试进行分析的工作量,因此,精准测试对开发和测试来讲,是一举两得、相得益彰的。星云精准测试发明了多个全新的、适应敏捷迭代开发模型下的覆盖率计算方法。覆盖率是白盒测试最基本的技术,但是随着敏捷迭代的开发模式,即使最高端的白盒测试工具已经几乎没有用武之地,原因就在于由于迭代很快,在某个版本上通常只能采集少量的覆盖率后新版本就发布了。本应在一个版本上分析的覆盖数据,分布到了数个代码结构不一样的程序版本上,因此原有的统计方法和参考意义基本上都失效了。精准测试提供了累计覆盖率,能够将多个版本的覆盖率以最新版本的代码结构进行投影,在控制流上进行累加。这样测试团队无需关注每个版本的覆盖情况,即可关注一个完整测试周期内所有版本的累积覆盖率。另外,考虑到敏捷迭代每个版本的测试需求,即:针对特定模块和功能范围进行测试(并不是全量测试),精准测试提供了相关覆盖率的计算方法。它可以自动圈定某个用例和用例集有关的代码范围(这些也是基于用例和代码的关系分析基础上动态计算的),在运行少量用例或者某个功能模块的情况下,它可以自动确定相关代码,把不相关的代码从覆盖率的分母中过滤掉。这样相关覆盖率在仅仅运行部分少量用例的情况下,依然具有很强的统计和参照意义。第三章 精准测试的定义精准测试定义:由中国团队发起并原创完成测试理念设计和商用产品研发的全新测试技术。旨在测试用例执行过程中,全自动建立任意运行模式的软件系统的功能点与源代码之间高度的可视化追溯机制,获取功能点相关的代码覆盖率并进行精准回归等测试用例深度辅助分析算法的应用。精准测试是测试理论界首次同时使用测试用例及其相关代码两个关键因子,进行质量综合考量和分析的创新测试方法体系。3.1 基本定义星云精准测试在测试用例执行过程中,可以同步全自动建立任意运行模式的软件系统功能点与源代码之间的高度可视化追溯机制,即通过内部算法能够将缺陷对应的代码出错位置直接定位出来;能够获取功能点相关的代码覆盖率并进行精准回归等,使测试用例深度辅助分析算法得以强化应用。这是软件测试首次同时使用测试用例及其相关代码两个关键因子,进行质量综合考量和分析的创新测试理论方法体系。这种有效的数据追溯与“量子联动”的突破性技术特性,大大增强了测试的深度与广度,打破了测试部门的成长天花板,为测试过程本身的价值挖掘和测试数据资产的增值,提供了必要而充分的条件。3.2 关键技术精准测试体系贯穿整个软件测试生命周期。精准测试主要侧重于系统级测试,在单元测试、集成测试、系统测试、验收测试、回归测试中,均能赋予测试数据强大的追溯能力。关键核心技术有:测试用例和代码逻辑的双向追溯,测试示波器、覆盖率可视化、回归测试用例的自动选取、缺陷最后执行时序分析、智能缺陷定位、敏捷环境下多版本白盒测试数据的聚合、聚类分析、结合代码结构与动态数据的测试漏洞检出等。精准测试在测试用例执行过程中,为用户从底层自动建立任意运行模式的软件系统功能点与源代码之间的可视化追溯机制,使用户获取用例级的代码覆盖率等多种高级测试数据。这一突破性的创新智能算法,有力的打破了软件开发、测试、维护及管理人员等之间的数据孤岛状态,实现了软件测试过程和结果的高度精准可视化,在软件高可靠性和高可信度方面,提供了全面而有力的数据支撑。精准测试运行模式是灰盒模式,即:可以在黑盒功能测试的时候,同步完成数据采集和分析计算,让“点测”团队也可轻易切入到精准测试模式,无需改变现有测试形式与流程,不增加额外的技术学习与转换成本。3.3 应用范围精准测试适用于任何形态的软件系统。星云精准测试可应用于各种软件包括嵌入式系统、分布式系统、web应用系统、单机软件系统等各类软件的测试,并且完全不受限于被测试软件本身的业务需求。3.4 用户收益实现从发现缺陷到预防缺陷的转型。减少因为缺陷而对整个研发运维流程造成的返工成本。使发现缺陷前移,减少因项目后期的严重缺陷而导致产品交付延期、成本增高,影响交付质量。建立跨需求、开发、测试等部门的测试协同平台。实现业务数据可追溯化和路径可视化。优化技术与业务方案。根据不同的质量要求,优先级顺序、技术实现手段等,实现智能灵活的技术方案推荐、交付和应变机制。减少无数据支撑造成的内耗。企业“精准众测”平台,支撑千人团队同时在线。测试数据可以根据管理需要做分析,为企业内的成本管控提供选型参考。实现跨地区,跨部门的业务人员,开发人员和测试人员的测试协同,即使不在同一办公地点的人员,也可针对测试需求,测试任务,测试用例和测试缺陷等方面进行远程沟通和实时协同作用,最终完成整个测试过程的实施。支持敏捷开发与测试模式。关注新功能的增量测试,支持自动化回归测试,实现高效的IT交付。第四章 精准测试的基础架构介绍4.1 精准测试的技术架构精准测试从某些层面来讲,赋予了测试用例真正的生命力。测试用例是测试数据的一种,当测试数据实现路线可追溯可视化的时候,一些高级算法的强大能力就可以显示出来。我们从精准测试的整体架构图中可以做一具体分析。图4.1-1 精准测试的总体架构图第一层:利用先进的前置编译器,为客户做源码静态结构分析(在客户的实际环境中,根据客户的需求进行相关的技术配合);第二层:将处理好的系统程序放入测试环境运行,测试工程师通过人工或程序自动化的形式,开始执行用例(人工执行用例可以和测试管理平台或者Excel表格方式进行对接),精准测试的 “软件示波器”采集运行数据并进行高速智能运算,获取精确的测试数据;第三层:根据采集的代码与对应的测试用例,在星云精准测试平台中实现用例与源码的互相追溯;第四层:通过精准测试的分析平台,可以对测试数据进行缺陷定位、用例聚类分析、回归测试用例和最小测试用例集等功能的计算,用户还可以根据需求,批量生成相应的测试报告,或进行测试数据高级分析。图4.1-2 精准测试的用例魔方在总体业务架构图的左上角区域,我们可以看到“用例魔方”几个字。大家可能会比较好奇“用例魔方”的涵义,它是精准测试中非常核心的高级回归功能之一。所谓“魔”是精准测试核心算法所赋予的超能力,所谓“方”实际上是代表测试用例的集合,每个测试用例用一个小方块标识,所有测试用例的集合用一个大方块。当我们把精准测试的和用例分析相关的功能画成架构图形表示的时候,它自然而然地看起来就像魔方。精准测试体系中,测试用例对应的代码逻辑精确而完整的实现了全自动化的追溯和存储,因此赋予了测试用例深入分析的基础能力。在精准测试的用例魔方中,目前存在三个面(随着后续功能的增加,将增加分析的面):即回归测试用例选取、测试用例聚类分析、测试用例最小化,同时辅之以智能缺陷定位技术。当测试用例与代码的追溯关系建立的时候,测试魔方的核心功能区即同步构建出来。为数据的多角度分析,提供了丰富的资源素材库。4.2 软件示波器软件示波器是星云精准测试独有的功能,它如同软件的质量运行情况“追溯穿行器”一样,在测试工程师按下启动键的同时,即时开始建立用例与代码的自动关联。示波器把采集到的测试数据通过可视化的窗口界面进行实时展示,内容涵盖采集到的块、条件和函数信息。蓝色波形代表写入的数值,黄色波形表示读取的数值,用户可以清晰的看到被测系统的数据变化。它如同心跳监控仪一样,如果被测试程序发生了崩溃,软件示波器就像人的心脏停止跳动一样,一根横线拉直向用户报警。如果正常采集到数据,会有持续的波形展示出来,高效而精准地监控程序细微的运行状况。示波器精密捕获每个软件单元任何微小的运行波动和行为改变,支持多次运行数据的比对。它可以根据需要记录崩溃前的至少50个块,使“崩溃重现”变得轻松简单。软件示波器中的测试用例可以从现有的测试管理系统导入进来,先选中用例点击开始,驱动被测试系统运行后,软件示波器就会采集到程序内部运行逻辑对应的波形信息。用例执行结束后,点击停止。这个用例运行阶段的数据,通过开始和结束的点击,边界就记录下来了。图4.2-1 软件示波器面板的正下方可以展示函数的各种调用信息。包括类、函数,参数类型等。清晰的列示出参数列表、类运行情况、内存检测数据、数据库拦截等多角度的数据分析追溯情况信息。示波器观测的维度较多,用例与代码的追溯是精准测试的基础功能,后面的高级算法都在这个基础上展开。用例和代码的追溯就像一个全景的调试器,只要功能由测试人员运行,所有的内部代码执行逻辑瞬间就可以展示出来。通过测试数据的反向追溯分析,开发人员可进行一致性修改,避免修改引入新的缺陷,通过正向追溯结果,开发可对用例的执行进行全面掌握,可用于快速修复缺陷和详细实现确认。同时软件示波器也提供一个辅助的等价类划分的功能,它将一个用例从开始到结束所执行的路径信息终值,完整记录下来。如果两个用例终值不一样,就可以确定为不是等价类。对于很多从功能表面很难界定是否等价类的测试用例,软件示波器可以给出精确结果。因此软件示波器的价值与意义在于:(1)只要测试开始执行,即可以透明方式高速采集功能运行过程中对应程序的运行逻辑。(2)在系统高速运转下采集,可保证对原有应用无干扰,超过1500w/s的采集速率。(3)可采集程序的条件,执行路径,执行参数,内存使用等动态运行数据。为了方便客户在运行项目测试时,一边对被测系统做实时数据监测,一边同步观察到示波器里面数据写入和读取的波形,星云做出了实时数据监测的悬浮窗缩略图,减少了切换带来的工作量。它不影响原有被测系统的界面,以半透明悬浮的方式展示在被测试应用界面的前面。图4.2-2 软件示波器悬浮窗4.3精准测试的双向追溯精准测试的测试用例和代码的双向追溯功能,是精准测试核心技术之一。如同前文的“量子纠缠”,即运行测试用例的同时,精准测试可以通过程序自动的记录并追溯到这个测试用例相应执行的代码。如果测试人员关注某一些代码行,它可以追溯出哪些测试用例在运行过程中运行过这段代码。通过这个技术特性,测试工程师的每个测试用例都可以进行量化分析和统计,提供了开发人员和测试人员之间精准的数字化交流依据, 增加测试和开发的交流效率。双向追溯技术记录了每个测试用例对应的程序内部的执行细节,细致到每个条件、分支、语句块的执行情况。开发人员亦可通过双向追溯的结果去理解程序逻辑,进行软件维护以及进行可一致性的修改。4.3.1 双向追溯技术正向追溯将测试用例和代码执行信息自动关联,可追溯到函数级别及代码块级别;通过正向追溯可直接把BUG定位到故障和缺陷逻辑相应的代码,并提供最后运行的时序数据;通过正向追溯自动记录产生功能对应的详细设计实现,辅助软件解耦和架构分析。图4.3.1-1 双向追溯(正向)-测试用例追溯到代码图4.3.1-2 双向追溯(正向)-测试用例追溯到代码4.3.2 双向追溯技术反向追溯将代码执行、函数、代码块级别和测试用例执行信息自动关联;通过反向追溯可直接观察代码变动所影响的测试范围;协助开发,进行代码修改后影响功能的范围评估;协助测试人员对代码修改部分所影响的测试用例进行评估。图4.3.2-1 双向追溯(反向)-代码追溯到测试用例图4.3.2-2 双向追溯(反向)-代码追溯到测试用例4.3.3 数据追溯技术-追溯测试用例的全景调用精准测试通过正向追溯把测试用例运行的代码执行进行了全景绘制,在全景图中,测试人员可以有效的观察到函数之间的整体的调用与走向,观察出被测模块与上层之间的调用关系。图4.3.3 测试用例运行的代码整体调用第五章 精准测试的核心组件与功能精准测试的核心组件与功能:软件测试示波器、用例和代码的双向追溯、智能回归测试用例选取、覆盖率分析、缺陷定位、测试用例聚类分析、测试用例自动生成系统等,完整的构成了精准测试技术体系。精准测试系统本质是一套强大的计算机开发与测试系统,实现了数据的可视化联动,以及开发辅助分析。它的关键技术赋予了测试用例和代码强大的相互追溯能力,随后衍生实现了很多高级测试功能与算法。精准测试系统将用例深入到代码层分析后,可以大幅改进人工测试所产生的各种问题。接下来将从风险控制、工作协同、敏捷迭代方面详细解析精准测试的核心功能和实际收益。5.1 风险控制5.1.1 七种测试覆盖率星云精准测试提供7种测试覆盖率:分别为:SC0语句块覆盖率、True覆盖率、Both覆盖率、CDC覆盖率、Branch覆盖率、MC/DC覆盖率。用户首先选择分析覆盖率的维度,例如选择了“SCO语句块”维度,那么系统就会将被测试程序的所有语句块结构展示出来,并且用颜色表达覆盖情况,绿色代表覆盖,深蓝色代表未覆盖。同时告知覆盖率的分子和分母都是哪些,非常清晰的展示覆盖率可视化结果。精准测试在前期已经对程序的静态结构进行了深度的分析,因此用户在覆盖率可视化界面,根据选择的维度在代码层面上把需要展示的结构单元都结构化的展示出来。例如图5.1.1-1 七种测试覆盖率中的第二张图 图5.1.1-1 七种测试覆盖率MC/DC覆盖率可视化MC/DC覆盖率,即修正判定条件覆盖,该覆盖率数据 MC/DC是DO-178B/C Level A认证标准中规定的、欧美民用航空器强制要求遵守的覆盖率标准。MC/DC覆盖率可以基本保证被测试软件无缺陷,对于大型系统的可靠性要求很高的一些关键模块,建议采用这个覆盖率标准。MC/DC覆盖简单来说,就是追踪复合条件中每个子条件的真假翻转,在其子条件不变前提下,是否都独立的影响了整个条件的真假值。星云精准测试系统会自动的把各种组合都列好,通过颜色表达哪些子条件已经满足,以及对应满足情况时其他独立子条件的组织情况。图5.1.1-2 MC/DC覆盖率可视化条件组合可视化展示精准测试对于多条件组合的代码,采用了最新研发的条件组合可视化视图进行展示。视图中,用户可以观察到每个条件的真假运行情况,以及条件与条件的组合运行情况。对于测试人员来说,当全部条件组合之间的T与F都完全满足时,即可实现代码全路径覆盖。图5.1.1-3条件组合可视化展示5.1.2 新增代码覆盖率敏捷模式下,因迭代频繁其存量的代码量很大,通常更关注增量覆盖度量。精准测试可以在程序新版本发布后,自动计算新增(变更)代码的范围,给出新增代码的覆盖率。覆盖率的分母中的函数都是变更和新增的函数。与此同时,基于反向追溯的功能,我们还可以给出新增代码对应的测试用例名称。当某个新增函数没有达到很高覆盖率的时候,我们通过反向追溯的用例,可以判定因为哪些功能范围的用例设计不充分,导致了新增代码覆盖率不高。图5.1.2 新增代码覆盖率5.1.3 测试覆盖率范围筛选与再统计在做精准测试或统计覆盖率时,往往测试管理者、开发人员、测试人员为了保证测试覆盖率的正确性,会对某个方法、类进行查看或在统计中把代码中一些废弃的函数、某些特殊情况下无法测试到的代码进行移除(至少是做相应备注),从而让测试代码覆盖统计率达到更加准确。星云精准测试在设计中,通过多种搜索、方法、类、模块过滤等功能,把需要统计的范围进行缩小、不需要统计的去除。根据用户的选择,进行覆盖率再统计展示。图5.1.3 测试覆盖率范围筛选与再统计5.2 工作协同5.2.1 打通开发与测试的隔阂精准测试打通开发与测试的协同工作通道,使得开发与测试能够更好的沟通,提高工作效率。传统模式下,开发人员关注的是代码,测试人员关注的是业务角度的测试用例,彼此的直接关联相对较弱。开发和测试的沟通,基本就是采用自然语言、Excel表格、内部系统等,存在交流信息不够严谨的问题。例如测试工程师发现一个缺陷,提交到缺陷系统,开发需要花费大量时间再行理解、准备数据、复现、调试,直到最后的修正。因为业务上的功能执行和代码并没有明确的关系,通常测试工程师执行完功能测试用例后,让开发人员帮助评审也非常困难。若测试工程师提供的测试结果都是比较模糊的功能逻辑描述,重现缺陷需要花费大量的时间。开发人员修改代码后,对于变更描述,以及变更引起的关联问题描述通常也都很模糊,导致测试又出现新问题。企业采用精准测试技术后,通过执行用例可以直接追溯到对应执行的程序代码块,这样的数据化沟通,将使开发人员和测试人员之间的协同工作效率大大提高。图5.2.1  协同模式5.2.2 源码动静态数据的统一星云精准测试通过插装得到的项目静态结构信息,结合测试后采集到的测试数据,能够精准记录测试的过程,通过这些静态数据和动态数据视图,便于开发人员基于图形化结果进行快速分析。对于不懂开发的测试工程师,通过程序控制流程图的图形以及通过颜色表示的覆盖信息,可以直接看到程序内部漏测的逻辑是什么,也可以通过这些结果直接与开发沟通,进行辅助用例和逻辑的补充。因为内部逻辑的强追溯性并且能够图形化的打开,可以有力保证黑盒测试后期开发快速理解并解决瓶颈问题,保持全程测试的高效执行。图5.2.2-1 源码静态结构与动态测试数据统一图(函数调用图)图5.2.2-2 源码静态结构与动态测试数据统一图(控制流程图)精准测试在程序静态分析的基础上,可以对程序绘制可视化的图形,同时将动态执行的覆盖信息染色到这些视图上。对于不懂开发的测试人员也可以很清晰的看到程序的哪些结构节点没有被覆盖到。例如图形中蓝色的节点是未覆盖的节点,绿色的是覆盖的,因为控制流程图本身有分支,嵌套等各种关系,测试工程师可以很容易判断出覆盖的范围大致是哪些。而如果有开发人员介入,可以更清晰地分析测试工程师执行的用例所遗漏的程序逻辑。图 5.2.2-3源码静态结构与动态测试数据统一视图5.2.3 缺陷最后执行时序分析星云测试可自动捕获缺陷或崩溃发生时,程序最后执行的详细路径信息。缺陷发生后,开发人员能够直接看到缺陷出现时,代码执行的时序和路径信息,直接定位缺陷并排查问题,节省大量的沟通、复现和调试的时间成本。当功能执行发现缺陷后,在软件示波器上可以立即按下“停止”键,那么最后执行的代码序列就可以被抓取到,开发人员可快速定位缺陷最后执行的50个代码块、条件、判断的各种执行信息。在下面视图中,我们可以根据标号(从1到50),看到代码最后的运行时序,在图形里面的每一个绿色小方块为一个代码语句块或者一个条件、判定,在一个大方框下的绿色方块代表一个函数内部的代码块。经过布局算法后产生下述图形。图5.2.3 缺陷最后执行时序分析5.2.4 智能缺陷定位通常测试工程师只是负责发现缺陷,缺陷的具体定位只能交由开发人员来执行。精准测试打破了测试部门的天花板,即通过内部算法能够将缺陷对应的代码出错位置直接定位出来。这相当于增加了测试深度,同时体现了测试数据和测试过程本身的价值。对于测试工程师来说,只要发现用例相似而程序在输出上有对错区分,就可以使用精准测试的智能缺陷定位功能。精准测试平台通过测试人员在功能测试阶段标记的用例执行状态,以及软件示波器自动记录的程序运行频谱,自动分析缺陷的出现的代码块。因精准测试平台可以获取每个用例执行时详细的路径追溯信息,测试工程师只要告知系统用例的状态,例如是否通过是否正确,那么精准测试内部算法就会去根据正确和失败的路径差异进行计算,给出缺陷出现具体位置的可疑度排名。这个功能可以大大增强测试在整个开发流程的参与度和测试数据价值,也让开发人员减少了自己去模拟场景的时间,快速提高开发和测试的协同和配合的效率。对于同类测试用例,经过多组测试可给出非常有效的结果。列出的可疑代码,可直接通过测试过程给出,提升测试的价值及产出。图5.2.4-1 通过功能测试频谱法分析进行智能缺陷定位选择可疑度算法、得到可疑度高的代码块,关联源码后,可根据代码可视化查看具体位置。可疑度计算有一个公式,并不复杂,通常每个代码块有2个变量,四种状态值。分别是:是否执行、是否通过,这样每代码块都有一个可疑度值。星云精准测试提供3种常用计算公式,供大家参考。aep表示通过且覆盖到该块的测试用例的个数、anp表示通过且未覆盖到该块的测试用例的个数、aef表示未通过且覆盖到该块的测试用例的个数、anf表示未通过且覆盖到该块的测试用例的个数。结果表示该块的可疑度。图5.2.4-2 智能缺陷定位展示5.3 精准测试对敏捷迭代的支持5.3.1 敏捷迭代下多版本白盒测试数据的聚合在敏捷环境下由于版本迭代速度很快,每个不用的代码版本上通常只能采集到少量的覆盖率。一旦发布新版本,就意味着代码发生了变化,覆盖率数据就需要重新采集,但是每个版本采集的少量覆盖率,从分析层面上并没有多大的意义。针对以上问题,精准测试给出了“**累计覆盖率”**的计算方法。它将一系列迭代版本的覆盖率,在最新的程序版本上进行投影累加。用户可将一个阶段各个版本的覆盖率累加起来进行分析。算法的思路是以最新版本代码为基础,以某个函数为单位,一直往前累加。直到这个函数在之前的某个版本代码发生了变化,就停止累加。例如下图函数A的4个版本的覆盖都可以累加,是因为这个函数在4个版本中都没有发生变化。而红色的函数B只累加了3个版本,是因为从版本v2.0-2后这个函数发生了代码变更。之前的代码覆盖就不能累加了。星云精准测试-敏捷环境下多版本白盒测试数据的聚合如图所示。图5.3.1-1敏捷环境下多版本白盒测试数据的聚合这种累加是在确保函数代码没有发生变化的情况下,在控制流上对相应节点的覆盖率进行累加。例如下图中3个版本,覆盖率不同的分支和控制流,数据累加后可以看到所有分支都覆盖到了。图5.3.1-2敏捷环境下多版本白盒测试数据的合并分析5.3.2 聚类分析星云精准测试提供的聚类分析功能,根据测试用例的函数执行剖面的向量化信息,对测试用例进行精确的空间距离计算后执行聚类分析。聚类结果可以分析被错误执行的用例,例如不相关的功能点聚类到一起,则说明其测试执行可能存在错误。精准测试提供的聚类分析功能,也可以辅助找到缺陷分布的密集区域。大部分情况下,缺陷分布会呈现2/8的聚集特性。在时间紧张的情况下,我们可以通过聚类结果,每个类选取中心点以及周边几个用例。如果没有问题,就可以去测试其他聚类,如果发现一个类缺陷概率高,那么这个类就需要进行重点测试。通过聚类结果可以分析测试用例的分布密度等信息,辅助进行测试决策。图5.3.2-1 测试密度下图中测试用例分类都有一个名字,这个名字是聚类结果中每个类中心点的测试用例名字,它基本标定了这个类的功能点范围。聚类的大小代表了某个功能范围测试是否足够充分。例如一些应该重点测试的功能,聚类结果中的用例数应该很多;一些小众的功能,聚类中用例数应该比较少。一个类中用例数越多,这个类圆圈比例越大,反之则越小。在聚类的基础上,我们也可以对一个类中的等价类用例进行分析。是等价类的用例,会分成一组专门展示。 图5.3.2-2 聚类分析5.3.3 覆盖率漏洞检出在敏捷迭代过程中,通常没有充分的时间将所有函数的覆盖率都达到一个很高的层级(Level)。精准测试结合代码结构和动态数据综合分析,通过计算直接筛选出潜在的高危测试漏洞,可以在短期内确定高危漏测模块并针对性的解决,帮助用户快速找到严重缺陷。当测试时间不充分的时候,执行完黑盒测试以后,先看测试漏洞列表,里面显示了通过静态信息和动态信息计算,得到的最高风险的漏测点模块。我们可以通过复杂度进行计算,因为复杂度高的模块一般来讲,它是相对重要的模块并且逻辑复杂,如果动态覆盖比较低,我们会优先筛选出来进行排序。处于调用和被调用中间的模块,因为属于中间关键模块,我们也会计算它的扇入扇出,和动态覆盖率信息。如果它的比率很高,将被认为是高风险模块,被筛选出来进行排序。回归时,应优先测试风险指数高的高危模块,补充他们的覆盖率。图5.3.3漏洞检测列表5.3.4 最小测试用例集精准测试也可以对用例集进行优化。比如用户有大量用例的情况下,尤其是自动化用例集含有长期维护的冗余用例。精准测试平台可以对很多重复用例的逻辑进行筛选和过滤,优化出满足当前总体覆盖的最小用例集。图5.3.4星云测试最小测试用例集第六章 精准测试支持不同剖面的分析报告在时间有限,经费有限,资源有限的情况下,我们既要考虑测试是否充分,也要顾及时间、人员、设备配置等限制条件。精准测试可以支持企业不同剖面的软件质量分析需求。6.1 详细的测试总结报告内容测试资源分析:多少人,多长时间、整体测试有效率及执行率测试结果分析:描述需求的测试结果,系统实现了哪些功能点,哪些还没有实现缺陷情况分析:缺陷复现、缺陷处理、缺陷数量、属性、状态分布,缺陷预防、缺陷收敛度度量指标分析:测试覆盖率、测试执行率、测试执行通过率、测试缺陷解决率效率指标分析:进度偏离度、缺陷发现率、用例执行效率和质量等高风险识别与排序:注明当前项目中面临的最严重、最优先的问题整体评估:哪些功能已经实现,哪些功能还未实现,还遗留哪些问题,遗留缺陷分析优化建议:测试过程优化,从测试组的角度为测试工作提出建议图6.1 星云测试的差异报告分析6.2 高级回归测试报告对前期测试执行阶段发现的问题、缺陷集中的功能,业务比较重要且使用频繁的功能进行再次测试,确保系统上线后,已被修复的问题不会重新出现,重要的、高优先级的业务不会发生错误。图6.2智能回归测试用例选取6.3 测试用例库评估报告软件测试的主要工作,是把软件需求映射为软件测试。测试用例是软件测试全过程的核心,也是测试执行环节的基本依据。精准测试充分满足软件测试执行过程中的各种指标:测试用例执行进度测试用例通过率测试用例颗粒度分析识别无用的测试用例识别冗余的测试用例从侧面提供增添新测试用例的依据从侧面提供调整测试用例库结构的依据图6.3 测试用例最小集6.4 精准测试的VIP企业内网私有云可信化报表星云精准测试提供多个剖面的高可靠性测试质量进度追踪报表。当客户端录入测试用例并采集数据后,用户内网web端将产生实时、详实的测试数据分析报表。该报表与普通的测试管理系统不同:普通的测试管理系统人为录入数据的情况比较多,使得数据状态的真实性没办法确切保证。精准测试提供的报表,底层数据来自于执行测试用例时候代码数据的采集,通过专用底层接口上传,完全无法进行数据调整或者篡改和伪造。通过浏览器登录测试系统,选择需要跟踪的项目,就可以实时对整个测试的质量、进度、人员进行精准的分析和管理。企业内网云端管理系统展示的数据基于精准测试数据的分析,所有数据原生精确,支持移动测试+本地测试。测试团队、开发团队、甲方负责人等多种角色都可以登录系统,从各个层面对测试、软件质量进行分析。图6.4项目汇总展示6.4.1 精准测试的VIP企业内网私有云-测试效率的直观展示精准测试报告可直观分析每天的测试效率,通过代码模块和复杂度关系图,看到函数群落测试情况分布及趋势,可直观精准识别系统测试所处阶段。每日增长覆盖率报表:管理者可以清晰的看到整个团队的效率趋势变化,比如刚开始测试的时候覆盖率增长快,到了黑盒测试瓶颈点上升就很慢了。这时候精准测试技术就开始发力,可以清晰地看到它在弥补效率损失方面的优势。覆盖率和复杂度报表:可以很直观地看到测试的质量深度,例如在测试不充分的时候,复杂度高的模块通常覆盖率都比较低,统计点分布自一个左上角的区域(表示高复杂度+低覆盖率),而当测试深入进行,这些点就会向右侧移动。管理者可以非常直观的看到系统测试的充分程度和上线的质量把握。图6.4.1-1 覆盖率每日增长趋势图与黑盒测试瓶颈图6.4.1-2 测试效率换档点与测试深度趋势观察表6.4.2 精准测试的VIP企业内网私有云-测试用例排行图测试用例排行分析报表:可直观展示参与测试工程师所执行的用例数、通过率和缺陷率,真实记录并分析每个测试用例的实效性。星云精准测试-测试工程师实效精准分析系统,将参与的测试工程师所执行的用例从逻辑覆盖映射到代码覆盖,真实记录并分析每个测试参与者的工作实效。以逻辑覆盖为基准的而不是用例数量为考核标准。图6.4.2 测试用例排行图6.4.3 精准测试的VIP企业私有云-测试用例双向追溯与覆盖率可视化通过用户的内网精准测试web报表,可以追踪每个测试用例执行的覆盖率和执行的函数路径信息,那些没有真正执行的用例,将无法伪造其对应的覆盖率信息。图6.4.3-1测试用例双向追溯追踪每个用例执行的函数信息以及具体的代码覆盖信息,在web端展示代码覆盖率视图,更具体的分析用例的执行情况。图6.4.3-1覆盖率可视化6.5 精准测试在数字化转型中的作用 完成数字化转型。提高软件交付质效、实现快速迭代持续交付,有效呈现测试价值。培养业务和测试的“两栖专家”。从不同角度提供有价值的数据依据,使测试团队既能熟悉业务知识、业务场景,又具备较强的业务分析评估和整合创新的能力。数据化交付。实现企业内部云平台建设、明确各工程活动环节的交付物和交付标准,并将质量验证标准、验证手段和监控工具嵌入流水线,保证各环节的有效性,对质量趋势进行提示和预警,及早发现缺陷,实现质量可视、过程可追溯、可审计。建立测试数据资源池,整合测试资产。利用大数据、人工智能等技术建立质量智能分析模型等,为“产品质量智能分析平台”提供有效数据。减少因人员变动而产生的成本影响。一般外包人员的流失率普遍为20-40%左右,重新招聘和培养,将对项目进度及成本进度,造成很大影响。因篇幅限制,完整版可查看 星云测试官网(www.teststars.cc)
  • [分享交流] 接口测试编写时,设置了关键字“等待时间”,调用该关键字时,时间读取错误,多显示3个0
  • [技术干货] Angular 单元测试
    隔离程序的每个部件,在隔离环境中运行测试用例。karma.conf.js :文件是为了告知 Karma 需要启用哪些插件、加载哪些测试脚本、需要哪些测试浏览器环境、测试报告通知方式、日志等等。具体配置内容参见 karma.conf.js。https://karma-runner.github.io/5.0/config/configuration-file.html>测试文件的扩展名必须是 .spec.ts,这样工具才能识别出它是一个测试文件,也叫规约(spec)文件"test": {     "options": {         "codeCoverage": true     } }Jasmine Angular 单元测试是使用 Jasmine 框架来编写的。基础知识describe(string, function):是 Jasmine 的全局函数,可以理解为一个测试集(Test Suite),主要功能是用来划分单元测试的。describe 可以嵌套使用。it(string, function):可以理解为测试用例。Specs 通过调用 it 的全局函数来定义。每个 Spec 包含一个或多个 expectations 期望值来测试需要测试代码。Jasmine 中的每个 expectation 是一个断言,可以是 true 或者 false。当每个 Spec 中的所有 expectations 都是 true,则通过测试。有任何一个 expectation 是 false,则未通过测试。而方法的内容就是测试主体。每个 Matchers 实现一个布尔值,在实际值和期望值之间比较。它负责通知 Jasmine,此 expectation 是真或者假。然后 Jasmine 会认为相应的 spec 是通过还是失败。所有的 expect 都可以使用 not 表示否定的断言。JavaScript 的作用域的规则适用,所以在 describe 定义的变量对 Suite 中的任何 it 代码块都是可见的。beforeAll:每个 suite(即 describe)中所有 spec(即 it)运行之前运行,整个suite里只运行一次afterAll:每个 suite(即 describe)中所有 spec(即 it)运行之后运行 xdescribe:该 describe下的所有 it 将被忽略,jasmine 将直接忽略这些it,因此不会被运行 // 引入相关模块 import { async, ComponentFixture, TestBed } from '@angular/core/testing'; import { RouterTestingModule } from '@angular/router/testing'; import { HttpClientTestingModule } from '@angular/common/http/testing'; import { BackupListComponent } from './backup-list.component'; import { DebugElement } from '@angular/core'; describe('HorizontalGridComponent test', () => {    let component: HorizontalGridComponent;  let fixture: ComponentFixture<HorizontalGridComponent>;     // 配置 TestBed 环境    beforeEach(async(() => {       TestBed.configureTestingModule({          imports: [            HttpClientTestingModule          ],          declarations: [HorizontalGridComponent],   }).compileComponents();    }));    beforeEach(() => {         // 创建一个HorizontalGridComponent 的实例   fixture = TestBed.createComponent(HorizontalGridComponent);         // 使用 fixture.componentInstance 来访问组件实例   component = fixture.componentInstance;         // TestBed.createComponent 不能触发变更检测,使用 detectChanges() 触发检查。   fixture.detectChanges();  });     it('should create', () => {   expect(fixture).toBeDefined();        expect(component).toBeDefined();  });  it('should have <h3> with "Hello"', () => {         // const El: HTMLElement = fixture.nativeElement;         const De: DebugElement = fixture.debugElement;         const El: HTMLElement = De.nativeElement; // nativeElement相当于debugElement的一个属性         // js原生的querySelector api去获取h3标签         const p = El.querySelector('h3');         // 判断h3标签的内容         expect(p.textContent).toEqual('Hello');     });     it('should find the <h3> with fixture.debugElement.query(By.css)', () => {         const De: DebugElement = fixture.debugElement;         const El = De.query(By.css('h3')); // nativeElement相当于debugElement的一个属性         // js原生的querySelector api去获取h3标签         const p: HTMLElement = El.nativeElement;         // 判断h3标签的内容         expect(p.textContent).toEqual('Hello');     });    afterEach(() => {       TestBed.resetTestingModule();    }); });置好 TestBed 之后,调用它的 createComponent() 方法,它会创建一个 HorizontalGridComponent 的实例,把相应的元素添加到测试运行器的 DOM 中,然后返回一个 ComponentFixture 对象。ComponentFixture 用来与所创建的组件及其 DOM 元素进行交互。获取组件元素 nativeElement 和 DebugElement。 前者原生 DOM 元素,属性取决于运行环境,如果是浏览器,就提供浏览器的一些api,后者是由 Angular 进行包装可以安全的横跨其支持的所有平台运行并提供诸如 query 或者 triggerEventHandler 事件dom操作等方法。TestBed.createComponent 不能触发变更检测,使用 detectChanges() 触发检查。运行完成后,控制台输出:chrome浏览器输出:
  • [技术干货] 性能压测时,后端服务60s无反应,自动断链
    压测模型,arm部署jmeter->slb->service1->service2压测时报502,抓包如下slb侧抓包看到service1发来FINservice1侧抓包,发现60s内未给slb返回200 OK,接着发FIN断链service2打桩不做处理,直接返回,依然存在上述问题,查看service1的metrics日志如下发现consumer_wake_consumer阶段最大耗时60sCSE SDK升级至1.2.0.B017r4,问题依然存在service1的配置如下APPLICATION_ID: HIDSCservice_description:  name: dsc-edge-service  version: 12.20.1  properties:    allowCrossApp: falseinstance_description:  properties:    x-is-gray: 0servicecomb:  service:    registry:      address: https://10.33.213.42:30100      instance:        healthCheck:          interval: 10          times: 3        watch: true        diagnose:          interval: 12  rest:    address: 10.33.213.43:8087?sslEnabled=false    server:      thread-count: 16    client:      thread-count: 8      connection-pool-per-thread: 8  loadbalance:    voipServiceManage:      strategy:        name: accountIdHashServer    retryEnabled: true    retryOnNext: 2    retryOnSame: 0    isolation:      enabled: true      enableRequestThreshold: 20      errorThresholdPercentage: 20      singleTestTime: 10000  handler:    chain:      Provider:        default: bizkeeper-provider      Consumer:        default: loadbalance  executor:    default:      group: 4      maxThreads-per-group: 200      coreThreads-per-group: 200service2的配置如下:APPLICATION_ID: HIDSCservice_description:  name: dsc-trs-service  version: 11.41.2  properties:    allowCrossApp: falseinstance_description:  properties:    x-is-gray: 0servicecomb:  service:    registry:      address: https://10.33.213.42:30100      instance:        healthCheck:          interval: 10          times: 3        watch: true        diagnose:          interval: 12  rest:    address: 10.33.213.132:8090?sslEnabled=false&protocol=http2    server:      thread-count: 16      verticle-count: 16      http2:        useAlpnEnabled: true        concurrentStreams: 100    client:      thread-count: 8      verticle-count: 8      connection:        maxPoolSize: 30        idleTimeoutInSeconds: 30        keepAlive: true      http2:        useAlpnEnabled: true        multiplexingLimit: -1        maxPoolSize: 16        idleTimeoutInSeconds: 0  loadbalance:    voipServiceManage:      strategy:        name: RoundRobin    retryEnabled: true    retryOnNext: 2    retryOnSame: 0    isolation:      enabled: true      errorThresholdPercentage: 20      enableRequestThreshold: 20      singleTestTime: 10000      continuousFailureThreshold: 2  handler:    chain:      Provider:        default: bizkeeper-provider      Consumer:        default: loadbalance  executor:    default:      group: 2      maxThreads-per-group: 200      coreThreads-per-group: 200求助上述问题原因及解决方案
总条数:239 到第 页
上滑加载中