如何处理成熟应用程序的测试

Question

在决定为一个已经在市场上运行了很长一段时间(3-4年)但仍然收到更新的应用程序添加自动化测试时，应该优先考虑什么呢？假设大多数明显的bug已经被发现，除了新的添加之外，GUI不应该改变。

例如，假设此应用程序是具有登录功能的计算器，如果使用该功能，则允许您访问科学和财务视图。通常情况下，我会测试下拉菜单是否有所有可用的选项，按钮大小相同，在正确的位置，登录功能，科学/财务视图只有在登录后才能使用，当然，核心功能也就是按下每个按钮时会发生的情况。新的更新可以包括一个新视图(例如编程)或现有视图中的附加按钮。

这些测试中的哪一个我还应该自动完成？

相关书籍，文章建议，欢迎您的经验。

编辑:添加了计算器示例。

Answer 1

绝大多数自动化测试并不是为了发现新的bug而进行的。这样做是为了保证更新不会改变应用程序的预期行为。自动化测试最常见的问题是“这些新的更改是否破坏了一些现有的功能”。这种测试不会根除不明显的but，但会检测新开发过程中是否引入了but。

在确定哪些测试需要对自动化进行优先排序时，有许多权衡因素。其中一些考虑因素包括:功能崩溃的可能性、在发布前不捕获已损坏的特性的相关成本、手动测试该功能的容易程度、功能自动化测试的困难以及通过未来开发维护自动化测试的成本。虽然它是由技术通知的，但这完全是一个商业决定。

行业间质量变化的定义。当我做作业的时候，我认为什么是足够好的东西，和如果我在开发医疗设备或飞机的软件时，我认为足够好的东西是完全不同的。

Answer 2

对于这种“旧”应用程序，您可能不是为了通过自动检查来验证新功能，而是为了在新版本之后对应用程序产生信心。因此，回归测试出现在脑海中，因为新功能可能是在部署之前由某人测试的。

正如Joao所写的，要想得到最好的结果，你应该从风险和价值的角度来考虑感兴趣的群体。

因此，询问自己或产品所有者、客户或以前使用应用程序的同事：

• 什么是用户最重要的？他们最常用的是什么？这有助于至少获得一些关于应用程序的确定性，并且核心功能可以像用户所期望的那样工作。
• 在发布新版本之前，您会反复测试什么？这对于不浪费时间在你已经重复的事情上是有用的。您将有更多的时间以新的方式探索您的应用程序。
• 有什么耗时的操作吗？它们重要吗?它们是否可以被合理的自动化检查？
• 什么已经在其他水平上测试过了？例如，作为开发人员创建的单元测试。也可能是其他部门。它有一个好的单元测试套件，由开发人员开发，那么您可以假设一些基本的东西是通过这种方式进行测试的，并且可以将它们省略到一定的级别。
• 虫子回来了吗？

创建一个问题的答案列表，也许在那个时候，测试的优先次序会更加清晰。

有无数的问题，但它们取决于背景。

可能不会期望在自动化过程中发现大量的but，但是在自动化检查的开发过程中可能会发现一些but。

我刚找到150万行代码。0次测试。我们该从哪里开始？，也许那篇文章能给你提供更多的线索