我应该使用什么样的测试管理系统？

Question

站点上肯定有很多这样的问题，但我有一些独特的需求，影响了我对测试管理/ QA过程管理系统的选择。这是用于管理测试用例和记录结果，而不是用于执行实际测试，这将由手动和其他自动化工具完成。

1. 我们正在为一个每天至少有一些行为变化的网站建立测试。因此，如果有1000个测试，由于新特性或设计更改，每天至少有5个测试肯定会中断。我之所以提到它，是因为我不想使用假设一旦定义了测试用例，它就永远不会改变或改变的东西，它需要一个正式的评审过程。
2. 我想写一个测试用例1次，然后记录相同结果的许多变化。一种设备类型，浏览器，操作系统，变体在其他。例如，“用户注册”主测试用例只定义一次，然后每天记录每个浏览器/设备/OS组合的结果。
3. 我希望它是基于网络的。也可以使用某种API让我们的自动化测试工具(主要使用Selenium)对测试结果进行事后测试。

Answer 1

有许多系统可以处理这个问题。我很熟悉Test和TFS，它们都有API (虽然TFS有点挑战性--就像一个已经通过API向TFS发布测试结果的人)，两者都有处理需要更改的测试用例的方法。

这在很大程度上取决于您的预算-- Test是免费的(在开放源码中，就像在啤酒中一样)，TFS不是(如果您不熟悉缩写，则是)。SmartBear的QA Complete是另一个商业工具，它提供了您想要的功能。

以下是这些工具(我怀疑其他主要的商业产品)是如何工作的：

定义一个或多个测试环境--这包括设备类型、浏览器、OSs等等。取决于您定义测试套件、测试计划或测试用例级别所需的环境的工具。用于通信工具的API各不相同，但可以使用。对于TFS，在开始测试之前，它需要相当数量的代码和各种各样的其他依赖项。在启动之前，Test还需要在工具中设置依赖项。

对于测试用例更新，通常的安排是，测试用例一旦运行就会进行版本化(也就是说，有一个结果发布到工具中)。理由是，如果测试用例必须更改，则历史结果将无效，除非您保留测试用例本身的历史记录。更新更改后的测试用例通常是创建一个新版本(并递增测试用例版本)，然后根据它运行，直到出现另一个更改。

根据工具的不同，您可以将您的测试用例分解为可重用的步骤，从而最小化您需要进行的重新版本控制的数量。

我知道通过它所称的“共享步骤”(它们所听起来的基本内容)来允许这一点，测试用例中的一个或多个步骤可以被多个测试用例使用。(注意-需要使用来定义测试套件和测试计划-目前，通过TFS接口创建测试套件和测试计划是不可能的，没有TFS就不能使用MTM )。

我通常会将单个步骤设置为共享步骤，以便它可以被任何测试用例使用(例如“单击登录按钮”，它不关心用户凭据是什么)。您还可以参数化步骤，这样您的测试将输入到特定字段中的每个不同值的步骤不多，而是有一个步骤将"@ value“输入到字段中，其中包含可以由测试用例或附加的数据文件定义的值。

据我所知，Test没有那么高的可重用性。我对其他工具还不太了解，无法给出任何建议。

在测试部测试工具列表的test部分中有一个很好的测试管理工具列表。(名单很长.你需要在这方面做大量的研究)

好的一面是，大多数商业工具确实提供了某种形式的试用。我知道微软为TFS提供了免费的服务()，并且包含了最新的功能集。这是免费的多达5个用户每个帐户-我不知道任何其他细节。

祝你好运，找到能满足你需要的东西。

Answer 2

我想推荐www.testlodge.com，这是我参与开发的一个测试管理工具。

就您的要求而言：

1. TestLodge允许您在需要时编辑您的案例。在编辑任何未运行的测试时，都会更新，但是任何已经有结果的现有测试都将维护旧的内容。这允许您的测试随着时间的推移而发展。
2. TestLodge允许您定义测试配置，因此您可以创建一个浏览器、设备等列表.并选择您的测试应该针对的对象。
3. 该工具是完全基于web的，并且还有一个REST，用于您想要添加自己的任何集成。