• [技术干货] 你也被DevOps的流水线坑过吗?
    背景在一次DevOps线上活动的提问环节中,有这样一个问题:“我们公司刚刚完成了DevOps转型,搭建了一条流水线,流水线确实让我们部署上线的效率提升了,但是也更快的让客户当上小白鼠,因为我们让问题更快的暴露出来了……”可以想象,一个开发人员开心的点了一下流水线的启动按钮,然后就开心的下班了,然后用户看着屏幕的404,然后就没有了然后(坏笑)……其实这真不是开玩笑,如果将项目中的流水线发布权限下放给了开发,那么404真的就是很现实和普遍的问题,因为很多开发认为自己的工作就是开发。像这样的坑你是否也掉进去过,我们一起基于此,来看看什么样的流水线是不坑人的吧。问题分析这些年来,DevOps已经逐渐的深入到软件企业中,尤其是一些互联网的项目中,需要更快的适应市场的变化迎合用户的需求,传统低效的方式来部署生产环境已无法存活, DevOps的流水线(部署流水线)也应运而生。然而在企业追求高效的同时,往往又引入了新的问题——高效的将bug展现给了用户。项目开发的前期,代码都是比较简单的,开发团队的人员也比较少。但慢慢随着时间的推移,代码越来越复杂,团队成员越来越越多,经手变更的也越来越频繁。一旦出现了问题,作为一个开发人员往往首先会想到的是——快速修复上线。DevOps在速度这点上确实帮了大忙,经历过传统部署发布的同学肯定深有体会。但是这样往往却又伴随了新的问题——“打地鼠现象”。何为打地鼠现象? 简单的说,就是一个问题你修复了,可能又会蹦出来几个新的问题。长期下去,不仅开发团队压力大,客户更是成了“小白鼠”。其实,这并不能把问题归结到部署流水线身上(无辜躺枪),借助流水线的快速发布,只是将问题更早的暴露出来,其归根结底上,问题还是出在质量上。那么,我们就不得不谈到——质量内建。戴明(William Edwards Deming)曾提出“问题发现得越早,修复的成本越低”,有数据指出85%的缺陷都是在代码编码阶段引入的,然而大部分的缺陷并不是在编码的时候发现的,而是在之后的测试阶段发现的,甚至是已经上线后。而且随着越往后发现缺陷,修复的成本也越高。来源《Applied Software Measurement:Global Analysis of Productivity and Quality》按照STICKYMINDS网站上上的一篇名为The Shift-Left Approach to Software Testing的文章中所给出的(如上图),假如在编码阶段发现的缺陷只需要1分钟就能解决,那么单元测试阶段需要4分钟,功能测试阶段需要10分钟,系统测试阶段需要40分钟,而到了上线之后再发现可能就需要640分钟来修复,这可以说是很难让人接受的,所以质量内建是至关重要的。在质量问题上,当然离不了我们老生常谈的开发阶段的编码规范、重构、检视等活动,这里不做叙述。随着DevOps的引入,我们需要将质量内建,加入到DevOps的各个环节中,而部署流水线就是贯穿这些环节的重要工具。某种程度上说,部署流水线的质量基本上决定了软件质量——是带伤上阵还是安稳的睡大觉,部署流水线是关键。那么如何算是一条不坑的部署流水线呢?解决方案测试左移(Shift-Left testing)如上面所提到了,在开发完成后,越到生命周期的后面修复的成本越高。那么基于这样的情况,测试应该尽早的开始。在传统的开发周期中,问题都在什么时候发现的呢?如下图所示:来源《Applied Software Measurement:Global Analysis of Productivity and Quality》可以看到传统模式下,问题很少会在开发阶段发现,而现在提出的测试左移,就是在要在开发阶段尽可能的发现更多的问题,而避免问题被发现在之后的阶段。这也就是我们搭建一条不坑的流水线最基本的理念之一。一般来说,在流水线的构建阶段我们会加入静态代码检查,比如使用Findbugs、Sonar等。可按需自行设置是否随代码提交而触发检查(推荐),或伴随持续集成的工程实践开展,可一天一次或多次,这就保障了不会掉进最基本静态代码层面的坑。此外在流水线的设计上一定要有API、UI等自动化测试。一般来说,可按部署到不同的环境,对应创建不同的流水线阶段,如集成环境有对应的流水线的集成阶段,测试环境有其测试阶段。当部署时,就可以在对应的阶段中加入所需要的测试活动。如当开发人员修复某一个bug后,想要保证其他功能的成长,可以通过在流水线的自测阶段通过加入API的测试等。总结来说,就是在流水线的构建阶段加入静态代码的检查,在部署阶段加入自动化的测试活动,以保证代码的质量和功能的可用。质量要求在质量建设中,不能仅停留在质量管控的基本要求——有,还要注重质量的高低。因为某种意义上来说,较松的管控等于没有,这也是最坑的地方——有等于没有,试想如果流水线中只有某个API测试的情况,那么验证的基本就是这个服务有没有成功启动而已。那么,这就需要加入一个质量阀值的要求。质量阀值的高低是一个衡量质量高低的重要标准。这个阀值可以是接口覆盖率达到多少,也可以是静态代码检查出来问题的数量等。一个严格的质量门禁可以说流水线完成后发布上线的定心丸,这也就可以用来解决了上文提到的“打地鼠”现象。一般来说,接口测试的覆盖率建议达到百分之百,而考虑单元测试和接口测试某些程度上的重复以及UI测试的ROI等因素可按需进行配置,因情况不同这里不做叙述。对于代码检查来说,也可设置某一个数值作为阀值,这个数值可以按照某种规则设定。如一般问题记1分,严重问题记5分,安全问题记8分等,当检查后所累积的数值超过10则不能发布或进入下个一个阶段,当然数值越低越好,具体设置(代码检查的维度不再此叙述)也需按实际情况而定。此外,还可以考虑如开源第三方jar包的扫描、安全漏洞扫描等活动。如果考虑划分的更有层级和模块化,相对于接口测试或静态代码检查的质量建设,扫描的可以单独作为一个阶段按需设置。总结来说,质量建设按照项目的实际情况来设置,而且对于团队来说,质量永远不仅仅是某一个人或团队的事情,而是所有人的事情。相对于质量的坑来说,意识上更是我们应该避免掉进的坑。如了解更多请访问华为DevCloud流水线的内容,详见附录。这里提到了意识,意识是关乎人的主观性层面的了,那么应用在流水线上,其实也是需要考虑的。诚然有些时候我们依赖于机器和自动化,如上面说提到的接口测试、安全扫描等。但是也不能完全依赖于自动化,比如我们也需要人工的代码检视活动。这在搭建流水线的时候也可以考虑到把人工环节加入到其中,比如在发布到生产环境的阶段增加一个发布看板,其中包含了是否有人工代码的检视以及检视出来的代码的质量的阀值或要求等。综上,一条流水线除了必须的、按需的自动化+人工以外,还需要在实践的过程中不断的总结结合自身特点加以定制,然后才能放心大胆的点击“启动”而不被坑。最后引用姚冬老师文章中的一句话“流水线确保代码和基础设施始终处于可部署状态,所有提交到主干的代码都可以安全的部署到生产环境。”这也是笔者非常认同的,也相信搭建实现这一目标,提供这能力的流水线才能更好的实现持续交付,配合好我们的DevOps转型。参考附录测试左移以终为始,再谈持续交付流水线DevCloud的HE2E DevOps的流水线构建博客
  • [分享交流] 星云精准测试之用例魔方
     精准测试从某个层面来讲,是赋予了测试用例真正的生命力,传统的测试用例仅仅是一些只能够依赖人去理解和分析的文本文件而已,在计算机和算法层面则没有存在意义和价值。下图是精准测试的整体架构图:  大家首先可能会比较好奇,“用例魔方”的概念是怎么来的?测试用例魔方是在精准测试的设计、开发和商业实践中自然产生的功能集合的一个统称。当我们把精准测试的和用例分析相关的功能画成架构图形表示的时候,它自然而然地看起来就像魔方,所谓“魔”则是精准测试核心算法所赋予的超能力。上图是星云精准测试系统的总体结构图,“测试魔方”即分布在左上角区域。大家知道精准测试的核心技术是测试用例与代码的追溯关系的建立,而在此之上就可以构建测试魔方的核心功能区。如下:   所谓“方”实际上是代表测试用例的集合,每个测试用例用一个小方块标识,所有测试用例的集合用一个大方块。现在来看在精准测试架构下,“用例魔方”所能够提供的功能(对精准测试的底层技术不是很了解的话,可以预先温习下《精准测试框架白皮书》)。精准测试体系中,测试用例对应的代码逻辑都可以实现全自动的追溯和存储,因此测试用例就具备了进行深入分析的基础。在精准测试的用例魔方中,目前存在三个面(随着后续功能的增加,将增加分析的面),即回归测试用例选取、测试用例聚类分析、测试用最小化,同时辅之以智能缺陷定位技术。下面对“用例魔方”做详细的说明,选用的工具为星云精准测试平台ThreadingTest产品系列。   首先介绍回归测试用例选取。从魔方视图中可以看到回归用例选取(主要选取可能影响到的重点用例)。精准测试中所谓的回归测试和自动化回归有很大的差别,我们听的比较多的自动化测试中的回归其实是把自动化用例重新运行的意思,而精准测试中的回归测试是通过内部算法自动选取新版本修改后可能影响到的测试用例。通过回归测试用例选取,解决了新版本上线该对哪些用例进行测试和重点测试的问题,这也是敏捷开发中测试所面临的最大问题。下面是回归测试用例选取的原理图:   原理介绍:   测试用例A与测试用例B为在版本A中进行测试的用例,其绿圈中A1、A2、A3、B2…等为其测试用例所对应的运行中采集的函数信息。   在版本迭代过程中,版本B也对其测试用例A进行了测试,并添加了测试用例C,精准测试采集其对应的函数信息。    当版本C进行迭代发布时,精准测试根据测试用例A、B、C最后运行的版本所对应的函数信息与版本C的版本函数信息进行比较,根据变化差异进行回归优先级排序。  ① 测试用例A最后运行在版本B中,对应的函数信息为A1、A2、B1、A3,对比版本C中的函数无代码变化,计算回归优先级值为0。  ② 测试用例B因为在版本B中未运行,最后运行的版本为A,版本A的测试数据B1、B2、B3、C3和版本C中的函数比对,得出函数C3的代码有变化,计算回归优先级值为1。  ③ 测试用例C最后运行在B,对应的函数信息为C1、C2、C3、A3,和版本C中的函数比对,得出函数C3的代码有变化,函数C2进行了删除,计算回归优先级值为3。  ④ 结果进行回归优先级排序,得出测试用例C回归优先级最高优先值为3>测试用例B回归优先值为1>测试用例A,回归优先值0,不需要回归。  当新版本上线后,精准测试系统会自动给出本次发布波及到的测试用例列表以及收到波及的程度。如下图:   通常测试用例的分类都是人工根据功能组织进行硬性归类的,在精准测试体系中,用例魔方中的测试用例为聚类分析。由于测试用例都包含有对应的内部代码执行逻辑,执行路径直接可以通过代码块或者函数进行举例计算,例如一个程序总共有10个函数。   “用例魔方”中的聚类结果具有非常实用的价值,体现在以下几点:  1.通过用例聚类结果,可以从管理端审核测试执行的正确性。传统测试一般由人工执行,因此想确认测试用例是否本身执行有错误,或者是否按照预先设定的要求执行了,是非常困难的,这也是测试管理的成本一直很高的一个重要原因。通过对精准测试“用例魔方”的聚类结果分析,若两个功能迥异、本不应该分到一起的测试用例被分到了一组,那么产品经理或者项目管理者会非常容易识别出这里面存在测试用例的执行错误,并在产品发布的最后一环,及时处理。  2.通过“用例魔方”的测试用例聚类结果这一功能,可以发现缺陷分布的密集区域。因为聚类的依据是用例执行对应的代码路径差异信息,聚类结果充分而真实的体现了用例之间的空间感,结果非常有意义。缺陷的分布一般是有规律的:功能相近的用例如果有出现错误,那么同类型用例出错的概率也更大。所以当时间不充足的情况下,可以依据聚类结果,每个用例聚类簇随机选几个。如果没有bug,就可以放松对簇内其他用例的考察,如果发现了缺陷,那么其它簇内的用例也需要重点考察。   在企业大量应用自动化测试场景下,随着日积月累,产生了大量的、逻辑重复的测试用例。通过“用例魔方”的测试用例集最小化算法,可以把重复或者存在包含关系的用例从用例集中剔除出去。原理非常简单:假设两个用例,在代码覆盖上存在完全包含关系,那么被包含的用例就可以从用例集中剔除。算法所依据的数据依然是测试用例与代码的追溯关系技术数据。   “用例魔方”中另外一个精彩的功能是智能的缺陷定位技术,星云精准测试提供了3种计算公式。   通过智能缺陷定位,测试工程师仅需要标记用例从功能角度的执行状态(是否存在缺陷),再结合星云精准测试“用例魔方”自动记录的对应程序执行的代码频谱,就可以对缺陷进行代码级的精准定位。  1.源代码 简单分析第15行代码,当第十行y<z成立且第十二行x<y不成立且第十四行x<z成立时即得y<z且x>=y且x<z.此时可得y<=x<z,中间数为x,所以此处正确语句应为m=x。 2.创建7个测试用例test1、test2、test3………..test7并进行测试 ① test1输入为3 3 5输出为3,预期输出为3,符合预期,此用例记为通过 ② test2输入为1 2 3输出为2,预期输出为2,符合预期,此用例记为通过 ③ test3输入为3 2 1输出为2,预期输出为2,符合预期,此用例记为通过 ④ test4输入为5 5 5输出为5,预期输出为5,符合预期,此用例记为通过 ⑤ test5输入为5 3 4输出为4,预期输出为4,符合预期,此用例记为通过 ⑥ test6输入为2 1 3输出为1,预期输出为2,不符合预期,此用例记为未通过 ⑦ test7输入为3 2 4输出为2,预期输出为3,不符合预期,此用例记为未通过  3.针对test6、test7提交缺陷,表明test6与test7输出与预期不符  4.打开缺陷分析界面进行分析   5.可疑度算法包括如下三种,可自主选择  其中aep表示通过且覆盖到该块的测试用例的个数、anp表示通过且未覆盖到该块的测试用例的个数、aef表示未通过且覆盖到该块的测试用例的个数、anf表示未通过且覆盖到该块的测试用例的个数。结果表示该块的可疑度。  6.代码可视化查看位置   关联源码之后可根据代码可视化定位第十二块位置,根据实际分析可得第十二块确实为缺陷语句,分析过程见第一步。  (大家如果感兴趣可以到星云测试的官网上www.teststars.cc 试用。)  精准测试的精髓在于通过专用测试软件实现表层功能和底层代码的关联,并且获取成本很低。它在测试用例执行的过程中,通过软件示波器以透明方式自动获取两者的关联关系。通过精准测试系统,使针对用例的深入分析“用例魔方”成为可能。目前精准测试的核心用例分析算法正在持续增强,“用例魔方”的软件研发辅助分析功能,为软件测试的智能化、专业化成长,带来曙光和方向。
  • [分享交流] 精准测试与自动化测试的无缝对接
    自动化测试曾被软件测试业界视为“救赎式银弹”,但随着项目越来越庞大,测试用例集变得越来越臃肿,查错能力却越来越弱,最后甚至成为QA部门沉重的包袱。本文主要以Junit为例,介绍如何在不改变原有自动化操作流程的情况下,对原有技术进行“精准测试“的技术升级,使覆盖率可视化、回归用例自动选取等先进特性能为我所用。现代的专业软件测试中心,随着项目的迭代,通常针对每个系统构建了大量的自动化测试用例集,而启动一次全量的自动化测试以CI级触发,使之大比率通过,非常困难。测试工程师们常常需要投入很高的成本,把大量精力花在自动化用例失败排查上面,然而发现有效BUG的概率很低。在反复排查无果、心神俱疲的情况下,几乎对自动化产生绝望之心,视之为鸡肋,用之无用,弃之可惜,让测试中心极为头疼。如何让自动化用例发挥它们应有的效用,让QA工作不那么沉重呢?星云测试针对这一难题,进行了精准测试与自动化测试无缝对接的技术方案研发。经过大量企业实施与验证,精准测试的数据流最终可以“无感”对接到自动化测试中,极大扩展了自动化测试的优势,彻底改进了自动化测试变更管理难的短板。这一技术方案的推出,就像给自动化测试装上“精准测试”的眼睛和翅膀,瞬间就具备了多种飞跃性功能。比如:1)     自动化测试用例与源码自动建立关联2)     同步进行智能回归用例选取3)     有效缩小自动化测试执行范围4)     即时分析需要进行维护的测试用例集合5)     全自动追踪每个测试用例的执行代码路径6)     当自动化执行结束后可辅助直接定位自动化用例的代码出错点7)     对自动化测试用例集进行分析,例如聚类分析,以及最小用例集合分析等8)     对测试用例集的优化给出指导意见9)     给出测试用例集运行的总体覆盖率信息10)   协助有效的对用例集进行增补11)   增量代码覆盖率分析等等。本文重点以星云精准测试产品与单元测试框架JUnit为例进行说明。 单元测试一般通过写测试用例来测试:核心类方法,异常处理,业务逻辑等。实现Junit单元测试与精准测试的无缝对接后,基本可以确保真正的测试充分性。因为在运行单元测试用例的时候,精准测试系统中将自动生成相应测试用例,并将每个单元测试的代码覆盖情况详细的记录到精准测试系统中,由于精准测试自带测试用例与代码相互追溯以及覆盖率可视化的特性,你可以对当前所写的单元测试是否充分,一览无余。下图是精准测试与Junit单元测试无缝对接实现自动化测试的架构示意图。该方案主要特点是:充分利用了JUnit框架的继承特性,所有精准测试必要的通信和控制逻辑可以全部通过基类实现。也就是说,对于原来所有自动化测试用例集,只需要增加一个对于封装的ParentTest的继承。即:不需要对原有测试用例的实现代码做任何改动,就可以实现与星云精准测试平台的对接。对接完成后,JUnit测试的运行过程中,测试用例会自动的在星云精准测试系统中创建,并且全自动记录每个自动化测试用例的代码覆盖信息。下面是对ParentTest扩展基类主要方法的描述,该解决方案主要针对Junit框架自身的注解方法进行扩展:@Before:初始化方法对于每一个测试方法都要执行一次,在每个测试方法之前执行,@After:释放资源,在每个测试方法之后执行,@BeforeClass:在当前类的所有测试方法之前执行,@AfterClass:在当前类中的所有测试方法之后执行。一个JUnit4的单元测试用例执行顺序为:@BeforeClass -> @Before -> @Test -> @After -> @AfterClass;因此可针对这个特性在不同注解代码中进行定制,定制一个公共的类,当其他的单元测试都继承自该类时,也运行相同的方法。通过在不同注解中添加登录版本,创建测试用例并开始,结束测试用例以及登出版本命令,并发送至TTFront组件实现与TT的交互,并不影响单元测试本身的测试程序和测试结果。TTfront在接受到命令后,登录对应版本并记录用户名,创建完成测试用例后当测试用例运行时刻通过软件示波器实时采集该测试用例对应的覆盖率数据,将该部分数据通过用户名匹配到该测试用例。在TT客户端可以看到测试用例以及该单元测试对应的函数覆盖情况以及代码覆盖情况。只需要在创建单元测试的时候类继承自已经封装好的ParentTest类,即可与TT无缝对接实现自动化测试。Junit单元测试与TT对接的实施案例以及效果图:1、创建测试用例时继承自ParentTest类2、修改ParentTest中的项目,版本,用户密码以及TT服务端IP3、对应修改引入的包(以mvn项目为例),JavaPaser包主要包含了插装代码以及ParentTest类必须要的TT处理逻辑需要的库的引用。   对被测试代码通过TT进行插装打包,注意Junit自动化测试用例代码不需要插装,只需要插装Junit测试的业务逻辑代码即可。4、开始单元测试,在测试用例执行过程中,打开TT客户端示波器组件,显示实时采集的覆盖率波形,看到测试用例在TT系统中自动建立。TT客户端效果图(生成对应测试用例以及该测试用例的覆盖情况)     以上讲述了精准测试系统如何无缝与现有自动化测试框架的对接。除了Junit,其他自动化测试框架,均可以参照此思路进行实现(登录星云网站www.teststars.cc    离线企业测试中心即可免费试用)。精准测试系统与自动化进行对接后,可以使无法看清的黑盒状态中的自动化测试执行,变得有迹可循。基于精准测试强大的测试分析系统,可以对自动化测试执行和规划进程进行持续的优化,这一方案,可以有效解决自动化测试的投入产出比居高不下的业界难题。
  • [分享交流] 星云精准测试有力提升金融复杂系统的测试能效
    随着国内大数据、云计算、人工智能等新技术的发展,银行业的前中后台正面临着全面改造,金融科技是业务转型发展的一个核心发力点。金融行业信息系统集中度高、规模庞大、多系统之间关联性强、业务复杂、需求变化快,另外各种新旧系统错综交互,软件质量控制难度异常复杂。通过技术手段精准地追溯每一个数据路线,有效实现信息系统的高可靠性和易维护性,是金融业界共同的目标。一、传统测试的局限  目前,在大部分金融机构中,主流的功能测试方法是黑盒测试辅之以一定量的自动化测试。由于自动化测试用例的维护问题较多,黑盒手工(功能)测试依然是主流。它有很多经典方法,如等价类、正交用例设计法以及近些年流行的探索性测试等。因黑盒测试方法总体依赖于业务经验,以及一定的测试“灵感”和临场发挥的“算力”,随着金融软件复杂性和迭代速度的不断加快、软件系统组合路径膨胀等问题,人脑的推算力显然远远跟不上了。即使很优秀的测试人员,也会因为状态问题而导致测试用例设计水准出现波动。后续测试覆盖不充分性日益凸显,剩余至少30%以上的漏测点。而白盒测试工具,因为技术没有跟上敏捷迭代的开发场景,目前在金融企业几乎很少在实际中应用。二、精准测试概念的提出  如何快速定位金融大型信息系统的测试死角,用“可量化”和“可视化”的分析与测试手段,有效地发现程序深层隐藏的缺陷、提高信息系统投产质量、降低投产风险、增强投产信心,金融业甚至软件业均在寻求最佳解决方案。  精准测试方法体系,是近年来业界颇为关注的新测试技术体系。它立足于“系统级”测试,建立了业务功能与代码之间的映射与追溯关系,在代码优化、快速定位代码缺陷、确保关键代码的测试覆盖、精准回归等方面表现突出。为金融信息系统实施高效管理,提供了质量抓手。三、 精准测试的关键技术1. 精准测试的核心技术  精准测试最底层的核心技术:“一种基于用例与源码双向追溯的测试装置及方法”,用一个量子纠缠的形象类比:如常见的金融转账、手机拍照、机器人控制等指令,每个操作都有与之对应的代码,他们之间如同两个纠缠在一起的粒子,具备强关联性。一个发生变化,另一个必定发生相应变化。星云精准测试将功能用例和对应的代码之间实现了精准无误的追溯路线可视化,彻底解决了“黑盒”的难题。在此核心技术基础上,诸如:“回归测试用例的自动选取”、“覆盖率可视化”、“智能缺陷定位”、“聚类分析”等精准测试的高级功能得以充分实现。               图 双向追溯(正向)-测试用例追溯到代码  由于优秀的内核设计,星云精准测试可以轻松应用在数亿行的超大型复杂应用上,在建立测试用例、代码、模块之间精准可视追溯机制的同时,瞬间可将海量数据实时采集并存储起来,用于后续测试大数据的分析和运算上。整体过程对原有系统性能,不产生干扰。2. 高度智能化的静默式落地方案  星云精准测试并不改变现有的测试流程和团队组成,它巧妙地使黑盒测试无缝对接到精准测试体系,快速实现提升测试效能比的刚需。测试工程师打开测试用例的Excel表格、执行点击用例,即可通过VBA技术,直接调用星云精准测试的后台接口,再附加一整套深入应用后台执行线程的用户标签技术,就可以将用例和代码关联和分离出来(分离是指类似J2EE服务端后台应用)。在对外提供多用户并发访问的情况下,可分离出每个用户执行的用例所对应的代码。测试者在整个过程中,几乎不需要增加额外工作量。3. 精准可信的测试数据记录过程  传统测试有点像挖矿藏,主要依赖测试用例执行数、时长、bug的数量等外在维度进行衡量,缺陷是未知数,结果不那么具备公信力。精准测试是传统测试走向可信测试的一个最好的技术手段。它的所有测试数据均是在测试执行过程中,由软件自动分析并录入的底层代码运行原生数据。由于用例和执行代码之间信息被完整跟踪,并且细分到测试用例级别,因此整个测试数据都可以在代码层面可视化出来,人工无法介入修改。它真实再现测试现场情况,结果可直接用于测试的过程管理和实效分析。从技术上确保所有数据精准无篡改。这一举措,使测试的衡量点回归到计算机程序的本质-“代码”上来。四、精准测试的应用实践  精准测试的用例与执行代码的强追溯性,为采集到的海量测试数据实现精准度量以及全面、多维度的测试分析,打下了坚实基础。测试管理从相对单一的覆盖率考量视角,扩展到多剖面的智能分析。由于篇幅限制,本文选择两个主要功能点做一介绍:1、企业级覆盖率方面的创新  测试覆盖率是测试界公认的测试结项可用量化指标。在敏捷迭代场景下,由于新版本快速发布,代码变更频繁,本应在一个版本上分析的覆盖数据,分布到了数个代码结构不一样的程序版本上,因此传统白盒覆盖率的统计方法和参考意义基本上都失效了。星云精准测试通过软件示波器在系统测试阶段取采集多种代码覆盖率(最高支持航天航空标准MC/DC的100%覆盖率要求),提供实时覆盖率增长趋势图及各类分析报表,管理者可清晰的观察整个测试进度情况、效率等。  覆盖率智能合并。精准测试可以按照敏捷的模式,将多个版本的覆盖率以最新程序代码版本为投影进行合并,在控制流上直接累加,无需在每个版本上跑全量用例。它在不同的版本上执行不同功能范围的用例,然后合并一个测试周期的覆盖率信息,看总体的覆盖情况。覆盖率合并算法将全自动分析每个版本序列上程序函数变更的情况,以最新版本往前合并,直到某个模块的代码发生变化,在此之间的覆盖率均可合并。  增量覆盖率分析。版本发布后,精准测试可以对增量代码覆盖专门有一个统计维度,这样也是对于覆盖率目标的一种工业应用新思路,不用去关注总体覆盖,而在迭代中关注调整代码的覆盖,尤其是新增代码的覆盖情况。  覆盖率可视化。在星云精准测试中,用户在选择分析的覆盖率维度后,系统就会将被测试程序的相关结构展示出来,并且用颜色表达覆盖情况:绿色代表覆盖,深蓝色代表未覆盖。同时告知覆盖率的分子和分母都是哪些,非常清晰的展示覆盖率可视化结果。  相关覆盖率。可将某个功能用例所触及的函数范围中,所有代码分支作为覆盖率的分母,真正运行到的分支作为分子,这样取得的相关覆盖率非常具有实际指导意义。使用者在有权限的情况下,随时可以看到:因此即使测试的是一个小功能范围的用例集,其覆盖结果也可以近似等价为这个功能范围相关代码的覆盖率情况,亦可以用于分析某个功能范围的测试是否充分。2、回归测试用例的推荐和选取:  对于测试效率的提升,一般会提到狭义的自动化测试,这也是行业内通常解决回归测试的办法。它是一种应对全局回归的方法,在无法有效确定回归范围的情况下,就通过技术手段全量回归以确保系统的修改没有引入新的问题。真正实施过全量自动化回归的团队,会对此项工作的难度和成本深有体会。  星云精准测试回归用例自动选取是属于一种机器智能计算下安全的局部回归。它根据历史测试用例执行的路径信息以及新版本的代码变更信息,自动推荐和选取回归测试用例集,并给出回归优先级和影响度。用户在测试人力有限的条件下,可以根据算法给出的优先级安排测试执行,以最有效的方法发现代码调整引入的缺陷。这种基于海量的程序运行路径计算的数据,精确而完整,不会因团队工作状态问题,而出现大量遗漏的现象。五、小结  精准测试将大幅度提升测试数据的价值,也将产出大量对研发极有意义的分析数据。它必将推动软件行业的数字化改革,为传统金融业务及金融创新(Fintech),提供更智能、有效的软件高端质量保障思路与方法。
  • [分享交流] 疫情之下,精准测试的智能可信模式正在成为中流砥柱
          精准测试是近年来行业内流行的新测试技术体系,它通过建立功能用例与代码的关系,使得计算机可以通过智能算法对测试进行深度的辅助分析和提效。精准测试可以轻松的对接原有的功能测试流程,最新的静默方式工作可以确保用户完全不用改变原有测试流程,强大又没有额外的运行成本,得到了广大企业的好评并逐步开始全面流行。 如果一个软件系统的行为总是与预期相一致,称之为可信(trustworthy),目前对于可信软件的测试主要集中在对其进行可靠性、可用性、可维护性、动态测试方法等。由于现在企业大多执行的是黑盒测试,软件无法保证逻辑测试的完整性,约有30%的潜在缺陷在黑盒测试方法下无法被实别,所以,非常遗憾很多企业测试不属于可信测试范畴。 首先软件测试本身的目标标的物是一个未知数,这和开发有着本质的区别。一个程序是否存在缺陷,存在多少缺陷,这些都是相对未知数。软件测试的工作有一个缺陷数量不相关原理,即:发现的缺陷多,并不说明剩下的缺陷就少;同样发现的缺陷少,并不说明剩下的缺陷多。这个缺陷数量不相关性,给我们实际测试带来最大的困惑就是:无法明确判断测试后的程序交付的质量,进而导致测试的成效处于一种不可信状态。其次,不可信性来自于数据执行的不可追溯性。传统测试采用的测试管理系统类似于一种MIS系统,它只是在展示和分析人为填入的数据,测试是否真正被执行?测试是否充分?我们无从分辨。这个问题在这次“新型冠状肺炎”疫情爆发后显得格外明显,因为疫情原因,远程测试管理变得非常松散,测试的有效性成为一个很大的疑问。其实,这也是众包测试模式难以发展的最大瓶颈:发包方仅凭执行列表,完全无法识别真正被有效运行的功能,质量验收形同虚设。由于没有合理的考核办法,导致测试人员在企业内部的发展同样遭遇困境,经常容易被质疑并且很难和研发获得一样的待遇和地位。而个别团队却又把不可信性反过来当作挡箭牌来用,拒绝使用覆盖率等技术暴露工作的不足。 今天我们的主题是讲一下精准测试如何实现可信测试这个主题。 精准测试让功能用例和对应的代码之间实现了精准无误的追溯路线可视化,从技术底层解决了测试可信性的问题。星云测试“测试用例与源码的双向追溯技术”,如同全景调试器一样,记录了每个测试用例对应的程序内部的执行细节,细致到每个条件,分支,语句块的执行情况。它的所有测试数据均是在测试执行过程中,由软件自动分析并录入的底层代码运行原生数据。由于用例和执行代码之间信息被完整跟踪,并且细分到测试用例级别,因此整个测试数据都可以在代码层面可视化出来,人工无法介入修改。使每个业务功能与相应的源码如同“量子纠缠”一样具备强关联性。一个发生变化,另一个必定发生相应变化。它真实再现测试现场情况,从技术上确保所有数据精准无篡改,彻底解决了“黑盒”执行过程、质量度量和实效分析等难题。使测试的衡量点回归到计算机程序的本质-“代码”上来。 精准测试通过软件示波器采集数据,用例如何运行,就如何记录程序运行的路径信息,当用例没有被正确运行,或者没有被执行的情况下,示波器就不会采集和记录相关信息。所以星云精准测试在众包远程零监管的众测模式下,测试用例的有效性和被执行状态,很清晰地被记录下来。测试覆盖率是测试界公认的最佳的是测试结项的可用指标。每一行代码或者分支跳转理论上都是在实现某些特定的业务功能,因为某些原因没有被覆盖到的部分是必定蕴含着风险的。在传统测试中,我们可以用人工确认的方式表达某个用例已经执行过,但在精准测试中,没有被执行的用例对应的代码覆盖就是0或者是异常的覆盖,这个信息是没有办法伪造的。这实际上已经解决了测试众包业务验收难的问题:测试用例设计能力如何、有没有被执行、执行结果如何、调整增补后的代码及用例的运行结果如何等,在各剖面报表上展示得非常清晰。精准测试可以把每个测试用例进行量化分析和统计。在本次疫情中,大家都可以深刻的感受到由于因隔离而产生的团队人员变动,给项目造成巨大不确定因素。星云精准测试有一系列的算法,可以根据管理者对项目质量的要求,对验收指标进入深度回溯,快速定位BUG所牵涉到的业务逻辑、测试用例等要素,从而大大减小了人为影响。这些量化数据既可以用来对测试结果以及测试过程进行审核,也能帮助测试人员从数字化分析角度反观测试用例设计是否合理、执行的测试用例是否不足。极大弥补了由于测试人员自身的经验、能力、精神状况等因素,影响到的测试质量。管理者们也可以对症下药,拟定有针对性的学习计划、快速培养,使不同水准的梯队成员在有限的时间里,得到迅速提高。精准测试的覆盖率每日增长趋势图,对于团队的质量控制和整体测试进度情况具有很好的指导意义。它能够让高级管理人员对测试进度进行预判,也能够对测试效率进行有效的识别,例如通过对覆盖率增长曲线的拟合,可判断按照目前进度能够在上线日期到达前能够一个合理的测试水准。星云精准测试从各个角度提供可信化的测试数据,使管理者有效地把控测试节奏,主动地进行测试策略的调整。对数字化管理进行有效的数据采集,企业可以很自然的实现分布式测试,不同区域、不同任务分配的测试人员可以实现协同测试与协同管理,最终达到多人同地测试、多人异地测试、数据实时汇总共享与追踪、测试过程与完成度有理有据、测试结果一目了然。精准测试能自动识别测试设备、测试人员、测试用例等,并自动关联对应信息。在没有采用可信的精准测试之前,通常一个测试主管一般只能管理5名左右的测试工程师,管理人员需要投入大量的精力帮助测试人员审核用例,甚至监督用例的有效执行。应用星云精准测试以后,工作就简化了很多:每个项目的覆盖情况,每日增长情况都很直观,每位工程师的用例设计和执行的充分度也很清楚。项目管理者可以站在更高的角度,充分了解整个项目的资源使用、测试人员任务分配、测试进度等情况,并做数字化分析、管理和调度。因此精准测试非常适用于外包和众测领域,管理人员不用再特别花费时间去考核测试人员考勤、工作态度等主观因素,很容易看出不同团队、人员的业务水平。 精准测试可以基于可信的数据、依靠有效的算法计算出来的实施自动化回归测试。星云精准测试(www.teststars.cc)可以实现自动化的版本对比,分析出修改、增加、删除的代码以及这些代码相关联的测试用例,快速做测试用例回归测试、快速补充测试用例、删除无效测试用例。它大大减少了回归测试的时间、降低传统人工回归分析产生的测试盲点、精确计算回归用例的权重。测试人员在时间有限的情况下,可以重点回归受改动影响最大的用例,适应庞大的工程项目的快速版本迭代需求。 精准测试通过静态、动态指标的综合分析,快速筛选潜在的高危测试漏洞。测试人员可以通过星云精准测试漏洞分析,直接针对高危的核心模块功能与开发合作完成补充测试;也可以通过漏洞分析可视化的图形,检查出核心模块的测试遗漏点,进行测试用例补全,消除测试遗漏点与盲点。与此同时,亦可对无用的代码进行相应的注释与删除,提高软件的后期维护性,大大提高了废弃代码的排查率。 可信化的精准测试,解决了大量的传统测试的盲点与痛点。目前全行业都在逐步认识和推进精准测试,我们相信未来在新技术的推动下,注定会迎来远程松散式测试众包(外包)一个新的爆发点。这次疫情,让大家进一步深刻意识到,信息化让我们每个人都生活在软件的海洋里。疫情期间,大量用户涌入线上服务,让很多软件系统暴露了很多不足,在996和007的高密度的软件发布下,如果不配置上新型的智能化精准测试技术,如何有效支撑越来越复杂的软件应用的高可靠性和高可信化? 自然语言的沟通,应更多体现在人文关怀上,庞大的软件帝国没有高度智能可视的精准测试管控,快速预警那些隐蔽很深的缺陷,必定有一天会像突发而至的疫情一样兜头而下、措不及防。借用最近事故频发后反思而来的金句:对于故障,没有借口。我们应认真复盘改进发布验证流程,研发人员应该敬畏每一行代码,测试人员应该敬畏每一份托付。我们每一个人都在有形无形中,构建人类信息世界的命运共同体。 
  • [交流分享] Lmbench.stream测试工具,编译安装失败的解决方法。★★★
    1、问题现象描述 硬件配置TaiShan   2280服务器(Hi1616,8*32G   DDR4 2400MHz)测试工具Lmbench.stream测试工具操作系统Centos   7.6,GCC 7.3.0 glibc   2.2.8问题描述软件解压后,编译失败,提示“/tmp/ccid4aB6.o:在函数‘seekto’中:disk.c:(.text+0x44):对‘llseek’未定义的引用”。/tmp/ccid4aB6.o:在函数‘seekto’中:disk.c:(.text+0x44):对‘llseek’未定义的引用collect2: 错误:ld 返回 1gmake[2]: *** [../bin//disk] Error 1gmake[2]: Leaving directory   `/home/raowanjun/lmbench3/src'make[1]: *** [lmbench] Error 2make[1]: Leaving directory   `/home/raowanjun/lmbench3/src'make: *** [build] Error 2     2、关键过程、根本原因分析分析问题步骤如下:1、首先从提示信息已经很明确的反应出问题的发生点即在disk.c文件中seekto函数中llseek参数未定义就引用。2、在本地搜索出该源代码的位置./src/disk.c,打开源码文件并搜索出llseek的位置。seekto(int fd, uint64 off){#ifdef  __linux__        extern  loff_t llseek(int, loff_t, int);         if (llseek(fd, (loff_t)off, SEEK_SET) == (loff_t)-1) {                return(-1);        }        return (0);#else        uint64  here = 0;         lseek(fd, 0, 0);        while ((uint64)(off - here) > (uint64)BIGSEEK) {                if (lseek(fd, BIGSEEK, SEEK_CUR) == -1) break;                here += BIGSEEK;        }        assert((uint64)(off - here) <= (uint64)BIGSEEK);        if (lseek(fd, (int)(off - here), SEEK_CUR) == -1) return (-1);        return (0);#endif 3、将问题代码拷贝出来,简单写一个main函数单独编译。如下#include <stdlib.h>#include <string.h>#include <stdio.h>#include <sys/types.h>#include <unistd.h>#include <stdlib.h> int main(int argc, char **argv){int fd = 0;int off = 0;#if 1if (llseek(fd, (loff_t)off, SEEK_SET) == (loff_t)-1) {                return(-1);        }        return 0;#endif}                                               根本原因分析:大数据重新定位读/写文件偏移量时,llseek接口函数在GCC 7.3.0编译器中被lseek64替代3、结论、解决方案及效果将测试工具的disk.c源码文件中的llseek接口函数全部替换成lseek64,重新编译。 
  • [交流分享] Lmbench.stream测试工具编译失败的解决方法。★★★
    1、问题现象描述 硬件配置TaiShan   2280服务器(Hi1616,8*32G   DDR4 2400MHz)测试工具Lmbench.stream测试工具操作系统Centos   7.6,GCC 7.3.0 glibc   2.2.8问题描述软件解压后,编译失败,提示“/tmp/ccid4aB6.o:在函数‘seekto’中:disk.c:(.text+0x44):对‘llseek’未定义的引用”。/tmp/ccid4aB6.o:在函数‘seekto’中:disk.c:(.text+0x44):对‘llseek’未定义的引用collect2: 错误:ld 返回 1gmake[2]: *** [../bin//disk] Error 1gmake[2]: Leaving directory   `/home/raowanjun/lmbench3/src'make[1]: *** [lmbench] Error 2make[1]: Leaving directory   `/home/raowanjun/lmbench3/src'make: *** [build] Error 2     2、关键过程、根本原因分析分析问题步骤如下:1、首先从提示信息已经很明确的反应出问题的发生点即在disk.c文件中seekto函数中llseek参数未定义就引用。2、在本地搜索出该源代码的位置./src/disk.c,打开源码文件并搜索出llseek的位置。seekto(int fd, uint64 off){#ifdef  __linux__        extern  loff_t llseek(int, loff_t, int);         if (llseek(fd, (loff_t)off, SEEK_SET) == (loff_t)-1) {                return(-1);        }        return (0);#else        uint64  here = 0;         lseek(fd, 0, 0);        while ((uint64)(off - here) > (uint64)BIGSEEK) {                if (lseek(fd, BIGSEEK, SEEK_CUR) == -1) break;                here += BIGSEEK;        }        assert((uint64)(off - here) <= (uint64)BIGSEEK);        if (lseek(fd, (int)(off - here), SEEK_CUR) == -1) return (-1);        return (0);#endif 3、将问题代码拷贝出来,简单写一个main函数单独编译。如下#include <stdlib.h>#include <string.h>#include <stdio.h>#include <sys/types.h>#include <unistd.h>#include <stdlib.h> int main(int argc, char **argv){int fd = 0;int off = 0;#if 1if (llseek(fd, (loff_t)off, SEEK_SET) == (loff_t)-1) {                return(-1);        }        return 0;#endif}                                               根本原因分析:大数据重新定位读/写文件偏移量时,llseek接口函数在GCC 7.3.0编译器中被lseek64替代3、结论、解决方案及效果将测试工具的disk.c源码文件中的llseek接口函数全部替换成lseek64,重新编译。 
  • [云上求助] ipcc二次开发接口测试
    利用postman 调用接口文档中的登录接口,根据格式要求传入参数。接口无响应
  • [技术干货] 请问华为手机能否提供接口测试短信是否被拦截?
    华为手机对短信的骚扰拦截特别严格,想在营销短信下发前测试短信是否会被拦截,请问华为方是否能提供接口?这个问题能直接联系技术同学吗?或者商务层面洽谈
  • [热门活动] 华为云DevCloud 2019年10月31日12:00(北京时间)免费额度调整通知
    尊敬的华为云客户:华为云将于2019/10/31 12:00(北京时间)对DevCloud正式调整免费额度。具体详情如下。服务状态调整前调整后已开通以下服务或基础套餐:项目管理、代码托管、代码检查、编译构建、流水线、云测(测试管理)、部署、发布提供5人免费使用额度;提供500M免费存储;提供600分钟免费构建时长;提供30分钟免费接口测试时长;5人免费使用额度取消,按实际用量收费;500M免费存储取消,按实际用量收费;未用完的600分钟免费构建时长取消,按实际用量收费;未用完的30分钟免费接口测试时长取消,按实际用量收费;免费使用额度截止后服务将按实际用量进行收费,请您提前做好相应的调整,避免对业务开展造成影响。未开通服务或套餐的限量免费试用用户不受本次调整影响。为了感谢新老客户对DevCloud的持续支持,避免这次调整影响您的正常使用:1、同步提供“1元体验套餐”(覆盖八大服务,可叠加其他套餐使用,长期有效,购买地址:https://www.huaweicloud.com/pricing.html#/devcloud)2、面向部分用户赠送1000~3000元不等的使用代金券。 如您有任何问题,可随时通过工单或者服务热线(950808)与我们联系。感谢您对华为云的支持!
  • [热门活动] 华为云DevCloud 2019年10月31日12:00(北京时间)免费额度调整通知
    尊敬的华为云客户:华为云将于2019/10/31 12:00(北京时间)对DevCloud正式调整免费额度。具体详情如下。服务状态调整前调整后已开通以下服务或基础套餐:项目管理、代码托管、代码检查、编译构建、流水线、云测(测试管理)、部署、发布提供5人免费使用额度;提供500M免费存储;提供600分钟免费构建时长;提供30分钟免费接口测试时长;5人免费使用额度取消,按实际用量收费;500M免费存储取消,按实际用量收费;未用完的600分钟免费构建时长取消,按实际用量收费;未用完的30分钟免费接口测试时长取消,按实际用量收费;免费使用额度截止后服务将按实际用量进行收费,请您提前做好相应的调整,避免对业务开展造成影响。未开通服务或套餐的限量免费试用用户不受本次调整影响。为了感谢新老客户对DevCloud的持续支持,避免这次调整影响您的正常使用:1、同步提供“1元体验套餐”(覆盖八大服务,可叠加其他套餐使用,长期有效)2、面向部分用户赠送1000~3000元不等的使用代金券。 如您有任何问题,可随时通过工单或者服务热线(950808)与我们联系。感谢您对华为云的支持!
  • [技术干货] 如何利用模拟器来调试自助测试?
    看到论坛有人发帖求助,IoT开发中心的应用订阅如何进行,虽然看了文档,但还是云里雾里的感觉不太会弄,希望有个系统的详细教程。其实我觉得我们的文档还是够详细的,就是文字太多,没有认真去看。该帖子主要以截图为主,尽可能减少文字的描述,根据截图操作就好了零 . 测试之前的准备1. 设备模拟器(模拟南向设备,绑定设备使其在线)使用参考:https://bbs.huaweicloud.com/forum/thread-24716-1-1.html2. Postman测试工具(模拟北向应用,主要是调北向接口,注册设备、订阅和下发命令)使用参考:https://support.huaweicloud.com/qs-IoT/iot_05_0004.html#section33. 北向 SDK Demo(模拟北向应用,主要是作为一个接收端,接收平台推送过来的消息)这里以 Java Demo 为例使用参考:https://bbs.huaweicloud.com/forum/thread-24891-1-1.html一 . 设备绑定测试1. 这里要选择有应用的测试用例2. 这里注意看第二点,如果这个产品已经注册了设备,需要把之前的设备删除3. 输入设备信息4. 之后页面显示 等待应用注册,然后需要用到上面说的 Postman 测试工具5. Postman 注册注册设备 接口说明:https://support.huaweicloud.com/api-IoT/iot_06_0010.html注意,注册设备之前需要先调鉴权接口获取token6. 注册成功之后会显示 应用注册成功,等待设备上线,然后需要用到上面说的设备模拟器7. 设备模拟器绑定设备8. 平台显示设备上线成功二 . 其他测试只需要使用相应的模拟器测试相应的步骤就好了1. 测试步骤(1) 用设备模拟器3, 数据上报测试4, 无线参数上报测试6, 命令下发响应测试(2) 用Postman5, 控制命令下发测试7, 应用订阅事件测试(3) 用北向 SDK Demo8, 应用接收推送数据测试
  • [分享交流] “静默式”精准测试,让企业零成本完成黑盒测试的升级对接
     导读:精准测试是一个软件测试界最新的测试技术,它的高效与精准性为使用者所称赞,但如果公司已经有了一些开发测试管理系统,如何最大成本减少学习成本,悄无声息的进行“精准测试”技术的升级改造?本文以Jira系统为例,给出了详实可信的技术解决方案。 精准测试是目前系统级测试的一匹黑马,它比白盒测试使用起来简单,但功能更强大,普通黑盒测试工程师也能轻松掌握。另外,使用它的同时,由于测试数据收集的细致与完整性,也为用户带来一个极具价值的战略性资源--测试大数据,因此很多企业非常重视精准测试对本单位软件系统测试技术的升级作用。精准测试最核心的技术关键就是:用例和相关执行代码之间有很强的对应和追溯关系。这个强追溯关系的建立,通过精准测试专属客户端上的“软件示波器“,用人工点击开始和结束按钮来标记测试用例的执行,进而确定对应代码执行路径的边界。但是,目前很多公司内部都有开发测试管理系统或者类似于JIRA这样的通用产品来管理和执行用例,如果同步使用精准测试客户端,则有指令重复之嫌。因此,星云精准测试做了具有深远意义的客户化改进-“静默式“精准测试。它可平滑实现JIRA系统与精准测试的幕后对接方案:JIRA中的用例执行指令从后台直接传递给精准系统,测试工程师不用改变任何日常工作行为。这一里程碑式的改进办法,使得几乎全部依赖人工、数据不可见的黑盒测试,突破天花板成为具备系统质量分析高度可视化的有力抓手。实现了企业在“不知不觉中”彻底提高黑盒测试整体效能的大目标。“静默式“精准测试的创新,使系统内部可智能获取精准测试的基础数据,完成测试用例与代码覆盖的追溯关系建立。下图是精准测试(星云测试www.teststars.cc 的ThreadingTest产品系列)与JIRA系统对接的架构示意图:                                               现在,就“静默式“精准测试的技术原理做进一步解析阐述:由于JIRA的前端基于velocity模板技术开发,它本身也在不断升级迭代,为避免对JIRA本身运行系统造成干扰,我们采用了替换VM模版的技术方案,即通过JIRA前端页面,将用例执行数据发送给星云TT系统。对接采用异步方式,在TT后台服务链路不开启的情况下也不影响JIRA本身的运行,完全实现高靠性、静默、零干扰的精准测试目标。第一步:JIRA端定制代码将当前执行的测试用例名称,用户名,以及项目名称传递给一个对接中转平台,对接中转平台将数据转换为TTFront可识别的命令发送给TTFront,TTFront收到命令以后,会根据指令中的用户信息,得到对应用户所登录的客户端的IP地址(星云TT系统中用户登录后,其IP会自动记录在TTfront端)。第二步:将对应的命令分发到对应的用户,组织成TTC命令结构方式发送(属于TT精准测试的客户端自动化指令集),触发客户端直接执行相关操作(包括用例的自动创建),例如点击用例开始等动作。当用例开启后,便可以全自动实现原有精准测试的手动操作流程。由于程序版本和星云精准测试生成的版本需要有一个对应关系,以前是由客户端由测试人员手动选择,在静默模式下,通过活动版本的设置,自动加载版本。用例将自动在星云TT系统中创建,无需导入和同步等二次动作。Jira与星云精准测试对接的步骤展示:1)     未开始测试界面的状态:星云测试的软件示波器缩略会显示在界面上,在没有开启和执行用例之前示波器实时采集覆盖率的状态值均为0。2)     开始用例并进行数据结束:当开始执行用例后,通过JIRA 与TT系统的对接,TT系统自动创建了用例,并且处于等待数据接收状态,当用户在JIRA系统选择好要执行的用例,并到被测试系统实际执行用例时,安装在客户端的示波器浮动窗就会开始显示进行对应用例的覆盖率采集。浮动窗会默认显示在测试人员桌面的最前方,半透明的模式不会对被测试应用产生遮挡。3)     示波器数据接收展示:打开星云软件示波器窗口,可以看到示波器接收数据的波形已经创建好,当前选择的测试用例的所有信息已接收清晰而完整。 由此可以看出,使用者不用在“星云客户端”上实施任何操作,即可实现精准测试数据的静默式记录、传输与分析。星云测试“静默式精准测试“技术的发布,为各领域实现企业级精准测试技术改造和能力提升,打下坚实基础。
  • [管理与监控] 鲲鹏性能测试工具哪家合适
    #化鲲为鹏,我有话说#想看看系统在实际运行情况下的性能,但是不太确定软件兼容情况。我以前用过windows下的Z-tools,android的安兔兔等小程序做benchmarking。请问在当前鲲鹏支持的操作系统下,一般用什么工具做benchmarking比较好呢?谢谢。
  • [上云精品] “静默式”精准测试,让企业零成本完成黑盒测试的升级对接
    “静默式”精准测试,让企业零成本完成黑盒测试的升级对接 导读:精准测试是一个软件测试界最新的测试技术,它的高效与精准性为使用者所称赞,但如果公司已经有了一些开发测试管理系统,如何最大成本减少学习成本,悄无声息的进行“精准测试”技术的升级改造?本文以Jira系统为例,给出了详实可信的技术解决方案。 精准测试是目前系统级测试的一匹黑马,它比白盒测试使用起来简单,但功能更强大,普通黑盒测试工程师也能轻松掌握。另外,使用它的同时,由于测试数据收集的细致与完整性,也为用户带来一个极具价值的战略性资源--测试大数据,因此很多企业非常重视精准测试对本单位软件系统测试技术的升级作用。精准测试最核心的技术关键就是:用例和相关执行代码之间有很强的对应和追溯关系。这个强追溯关系的建立,通过精准测试专属客户端上的“软件示波器“,用人工点击开始和结束按钮来标记测试用例的执行,进而确定对应代码执行路径的边界。但是,目前很多公司内部都有开发测试管理系统或者类似于JIRA这样的通用产品来管理和执行用例,如果同步使用精准测试客户端,则有指令重复之嫌。因此,星云精准测试做了具有深远意义的客户化改进-“静默式“精准测试。它可平滑实现JIRA系统与精准测试的幕后对接方案:JIRA中的用例执行指令从后台直接传递给精准系统,测试工程师不用改变任何日常工作行为。这一里程碑式的改进办法,使得几乎全部依赖人工、数据不可见的黑盒测试,突破天花板成为具备系统质量分析高度可视化的有力抓手。实现了企业在“不知不觉中”彻底提高黑盒测试整体效能的大目标。“静默式“精准测试的创新,使系统内部可智能获取精准测试的基础数据,完成测试用例与代码覆盖的追溯关系建立。下图是精准测试(星云测试www.teststars.cc 的ThreadingTest产品系列)与JIRA系统对接的架构示意图:                                               现在,就“静默式“精准测试的技术原理做进一步解析阐述:由于JIRA的前端基于velocity模板技术开发,它本身也在不断升级迭代,为避免对JIRA本身运行系统造成干扰,我们采用了替换VM模版的技术方案,即通过JIRA前端页面,将用例执行数据发送给星云TT系统。对接采用异步方式,在TT后台服务链路不开启的情况下也不影响JIRA本身的运行,完全实现高靠性、静默、零干扰的精准测试目标。第一步:JIRA端定制代码将当前执行的测试用例名称,用户名,以及项目名称传递给一个对接中转平台,对接中转平台将数据转换为TTFront可识别的命令发送给TTFront,TTFront收到命令以后,会根据指令中的用户信息,得到对应用户所登录的客户端的IP地址(星云TT系统中用户登录后,其IP会自动记录在TTfront端)。第二步:将对应的命令分发到对应的用户,组织成TTC命令结构方式发送(属于TT精准测试的客户端自动化指令集),触发客户端直接执行相关操作(包括用例的自动创建),例如点击用例开始等动作。当用例开启后,便可以全自动实现原有精准测试的手动操作流程。由于程序版本和星云精准测试生成的版本需要有一个对应关系,以前是由客户端由测试人员手动选择,在静默模式下,通过活动版本的设置,自动加载版本。用例将自动在星云TT系统中创建,无需导入和同步等二次动作。Jira与星云精准测试对接的步骤展示:1)     未开始测试界面的状态:星云测试的软件示波器缩略会显示在界面上,在没有开启和执行用例之前示波器实时采集覆盖率的状态值均为0。2)     开始用例并进行数据结束:当开始执行用例后,通过JIRA 与TT系统的对接,TT系统自动创建了用例,并且处于等待数据接收状态,当用户在JIRA系统选择好要执行的用例,并到被测试系统实际执行用例时,安装在客户端的示波器浮动窗就会开始显示进行对应用例的覆盖率采集。浮动窗会默认显示在测试人员桌面的最前方,半透明的模式不会对被测试应用产生遮挡。3)     示波器数据接收展示:打开星云软件示波器窗口,可以看到示波器接收数据的波形已经创建好,当前选择的测试用例的所有信息已接收清晰而完整。 由此可以看出,使用者不用在“星云客户端”上实施任何操作,即可实现精准测试数据的静默式记录、传输与分析。星云测试“静默式精准测试“技术的发布,为各领域实现企业级精准测试技术改造和能力提升,打下坚实基础。  
总条数:239 到第 页
上滑加载中