自动化测试——回顾与展望

没人带,自学慢,不在BAT怎么学产品?人人都是产品经理联合200+BAT资深产品经理带你学 点此查看详情

2013年已经过去,在这篇文章里,我希望和大家一起来整理一下2013年自动化测试领域一些比较值得关注的变化,也展望一下2014年可能发生的变化,希望读者可以从中可以发现一些线索,进而做相关延伸阅读。

在过去的2013年里面,自动化测试领域发生了几大变化:

  • 自动化测试的重要性不断提升随着敏捷的热度不断提升,持续集成、持续交付作为敏捷的核心实践之一,越来越受到重视。然而大家很快发现,自动化测试是持续集成、持续交付的灵魂,没有有效的自动化测试保证,持续集成和持续交付就仅仅是一个无用的躯壳了。
  • 分层测试观念受到进一步重视自动化测试是一个老大难问题了,这里面一个非常重要的思路就是分层自动化测试(或测试金字塔),有兴趣可以参见Martin Fowler的这个博客:http://martinfowler.com/bliki/TestPyramid.html

    在2013年里,我们高兴地看到从分层自动化测试方面,出现了一部力作——@公公直直-黄利 翻译的《Google如何测试软件》,这本书对分层自动化测试给出了非常具体的解析,个人认为此书是2013年度最值得阅读的自动化测试书籍,强烈推荐。我自己也建立了一个“分层自动化测试”QQ群:20442181,也成为了一个有800成员的大群了,欢迎大家加入分享讨论。

  • 商用工具昨日黄花,开源工具如日中天自动化测试工具方面几年前一直是商用工具的天下,这几年以Selenium为首的一系列开源工具不断攻城掠地,不但国内的互联网公司,国内的大型行业客户(如金融行业,交通行业)也纷纷拥抱开源自动化测试工具。Selenium的WebDriver测试接口协议也成为了W3C规范草案(http://www.w3.org/TR/webdriver/),被各大浏览器厂商认可,这说明了Selenium的江湖地位已经牢不可破了。坦率地来讲,在Web界面自动化测试领域,已经没有任何理由采用商用工具了。从下面两张趋势图可以看出,在世界范围内,QTP2009年就已经开始走下坡路;而在国内,Selenium的绝地反击是在2012、2013年开始的。如果大家对这方面的内容感兴趣,可以考虑参加QCon 2014北京大会的技术训练营:http://www.qconbeijing.com/node/468

接下来说说我对2014年的展望吧:

  • 移动测试成为热点随着移动互联网的爆发,移动测试自动化很快地被提到议事日程上面来了。这方面今年会有几本国内作者原创的图书出版:@厚脸皮-芈峮的《iOS测试实践》,@Monkey陳曄曄-陈晔的《大话测试——移动互联网Andoird、iOS应用测试》。
  • 从工具方面,很高兴地看到这方面的开源工具风起云涌,如Robotium、Frank等等,但是,从目前趋势来看,我个人非常看好Appium:一种支持WebDriver W3C协议,同时支持Android,iOS 的开源测试工具(参见Appium支持测试原生、混合及Web Android应用:http://www.infoq.com/cn/news/2013/05/appium-android)。
  • REST接口测试成为Web自动化测试的补充:随着前端MVC框架的大范围应用,REST接口应用范围也越来越广,基于REST接口的自动化测试成为一种投入产出比很理想的测试方式,相对于Web界面自动化,REST接口相对而言更加稳定,测试案例也更容易维护。REST接口测试可以成为Web自动化测试的有益补充:REST接口测试可以关注于服务器逻辑验证,而Web自动化测试可以关注于页面展示逻辑及界面前端与服务器集成验证。REST接口测试框架有许多种不同的实现方式,我个人会推荐使用开源工具Robot Framework加上Requests库来进行REST接口测试。(感兴趣的读者可以参见下面的文章,其中有对Robot Framework的介绍: 功能测试工具研讨会:http://www.infoq.com/cn/news/2009/09/functional-test-tools/,Robot Framework作者建议如何选择自动化测试框架 ,http://www.infoq.com/cn/news/2012/06/robot-author-suggest-autotest )
  • 用例辅助生成技术初露端倪:用例录制回放技术一直是许多测试人员(领导)心中的一个梦想,但是,我要残酷地告诉大家,这是一个白日梦,所有宣称能够通过录制回访技术来全自动获取可维护测试脚本的个人和厂商无疑都是骗子。测试脚本也是程序,也需要经过仔细设计,应用若干设计模式,才能达到简洁、易读、易维护的目标。(有兴趣的读者可以参考:Martin Fowler对将page对象用于Web测试的基本经验法则 http://www.infoq.com/cn/articles/martin-fowler-basic-rule-of-thumbon-for-Web-testing,以及GUI功能测试自动化模式:http://www.infoq.com/cn/articles/gui-automation-patterns)。
    但是,我们不能否认,确实可以利用录制技术,在特定工具的帮助下,自动捕获一些信息,再自动应用一些设计模式来辅助案例的编写工作,尤其在接口测试方面,可行性非常大,这一块会是本人今年的一个研究重点。对这方面有兴趣的读者,可以参见这两个工具vcr(https://github.com/vcr/vcr)和BetaMax(http://freeside.co/betamax/)。

  • Mock系统技术逐步普及:在自动化测试过程中,构建稳定的测试环境至关重要,其中一个重要手段就是将外部系统或不稳定的系统Mock起来。这方面去年@dreamhead-郑晔已经开源了一个支持HTTP协议的Moco框架(感兴趣的读者可以参见:郑晔谈Moco框架的开发:写一个好的内部DSL,写一个表达性好的程序,http://www.infoq.com/cn/news/2013/07/zhengye-on-moco),@横刀天笑-余昭辉也分享过他们在去哪儿网的实践 (参见:为功能测试构建通用mock server系统,http://www.infoq.com/cn/articles/auto-test-mock-server)。

    诚然由于环境的复杂性,上述工具未必可以完全解决大家在各自测试中的各种系统隔离需求,但是我相信他们解决这些问题的思路,应对会让大家深受启发。

  • 测试DSL, 实例化需求走向前台:《实例化需求》一书是2012年Jolt图书大奖的获得者,当年就引进中国。实例化需求的思想其实和验收测试驱动(Acceptance Test Driven Development)类似,限于篇幅这里就不详细展开解释了。但是两者都需要测试案例具备很高的抽象层次,可以被业务人员和开发人员很容易地读懂,这就需要实现测试DSL(Domain Specific Language),也就是说需要在一个特定领域之内,将特定测试能力封装成一门易于业务、测试、开发理解沟通的专用测试语言,然后用这门DSL来编写实际测试案例。Robot Framework作为一个关键词驱动框架,可以很好地支持测试DSL的定义。下面就是我们团队在一个客户出实现的测试DSL,供大家参考:

我本人认为,作为一名测试人员,不应该区分手工测试人员和自动化测试人员,自动化测试技术是每个测试人员都必须掌握的技能,希望在2014年所有InfoQ的测试行业读者都能在自动化测试技术方面更上一层楼。

来源:吴穹—资深敏捷专家,Agilean联合创始人