如何减少测试套件的大小和运行时间？

Question

在添加功能和代码库增长时，我反复看到我们添加自动化测试的模式。不幸的是，当“几分钟”测试套件变成20-30分钟，然后是一个小时，然后2-3个小时，当然，开发速度急剧减慢时，这就不太好了。更不用说士气了。

我们可以使用什么方法来减少测试的数量和减少运行时间？如果可能的话，我们希望使测试尽可能接近被更改的代码(即几分钟内)。

Answer 1

以下是一些选择：

• 根据已更改的内容选择要运行的测试。这可能需要在版本控制系统和测试框架之间进行一些交互。我相信书中的“谷歌如何测试”声称Google以这种方式运行测试。这可能很难做到，也很难维持。
• 将测试划分为紧急程度，例如大多数紧急测试立即运行，其次是最紧急的测试在半小时内运行，依此类推。
• 在多台机器上并行运行测试。

Answer 2

对于Python，coverage模块可以检测哪些测试覆盖了源代码的哪些行。然后，在提交时，版本控制只能执行涵盖更改的测试。IIRC，有人正在处理(或解决)这个问题，请在http://lists.idyll.org/listinfo/testing-in-python邮件列表上查询详细信息。

当然，这并不是100%的精确性，但它给您95% (WAG)保证更改是好的(您可以在以后运行完整的多小时测试集)。