内部验收测试(非自动化)：需要多长时间？

Question

考虑到每个测试环境是不同的，对于内部手动验收测试应该花费多长时间，是否有一个通用的经验规则？

定义/澄清:当我们准备好新特性时，QA对核心功能进行了30分钟的基本验收测试。“如果这个特性坏了，我们就沉没了，公司倒闭了，我们都丢了工作”是关于内部验收测试结果的决定性因素。

我现在所处的位置，当我来到这里时，他们会构建，并且没有人重新测试核心功能。所以我去找了我的(非常耐心的)经理，一周做一次内部验收测试，就把他卖了。(由于构建是连续进行的，每次推动新构建都是不现实的)。真高兴我做到了！许多重要的错误已经被发现了！

当我设计这个测试时，我尽力让它保持在30分钟以内。随着时间的推移，越来越多的功能被增加。我们必须在3个版本上测试1个平台，而且，就像我们通常发现的错误一样，这种验收测试在糟糕的一天很容易花上2个小时。我们有通常的工作流程的客户& QA缺陷来验证，我很紧张，这需要这么长的时间-它可能会发现，它从来没有完成，因为时间的长度来执行。

我的问题是:我是否应该保留30分钟？这是当时我唯一需要经过的例子。

提前谢谢。

Answer 1

听起来这是对现有功能的唯一回归测试，对吗？听起来你在测试中发现了有价值的缺陷，你的经理也很欣赏它的价值。

这听起来也像是与执行此测试有冲突的其他工作。

“我们必须在3个版本上测试1个平台，而且，正如我们通常发现的那样，这种接受测试在糟糕的一天中很容易花上2个小时。”

这也是一个重要的问题:如果您正在查找和报告bug，这将占用您可以进行测试的时间。足够了，实际上您可能只需要花费30分钟的时间进行测试，而其余的时间则报告您发现的bug。

我不认为解决您的两难处境的方法必然在于确定验收测试需要多长时间。听起来，你有更多的潜在工作要比你拥有的时间更多:考虑到测试本质上是一个提供信息的角色，那么你的利益相关者应该决定哪些信息对他们最有价值。

我的建议是你尝试两件事：

1. 错误分析:试着分析你所得到的关键错误类型(根据你的利益相关者的判断)--不要太担心对每一个错误进行准确的分类，因为这会变成一个巨大的时间链接。相反，试着建立一幅关于大多数bug似乎来自哪里的概括性描述，这样你就可以去找你的经理，说“我们似乎得到了很多这种类型的bug，这需要花费大量的测试时间来查找和报告。是否有什么可以做的事情可以减少这种性质的bug被引入的可能性，或者降低发现和修复它们的成本，这可能是值得研究的。”
2. 测试的优先顺序:在验收测试期间检查正在测试的区域。当你开始的时候，这些都是“如果这个破了我们就完蛋了”的测试。这些测试是否仍然同样重要，还是在这段时间内对业务的重要内容发生了变化？从那以后一切都变得那么重要了吗？回顾这些可能会发现，有些测试虽然很好，但并不像您可能正在做的其他工作那么重要。

如果您可以得到测试中按优先级排序的区域，您可能需要建议您尝试对您的验收测试进行时间装箱:一旦您达到了商定的时间限制(包括用于错误报告的时间！)，您就停止了。如果你有一个优先排序的领域，你通常会看，你知道，然后你看了哪些领域是最重要的，你的利益相关者首先。

这也使他们更容易决定什么信息对他们最有价值。考虑到你的时间有限，你不可能做任何事情:当你停下来时，去找你的经理说

• 他说：“这些地区并没有经过测试。
• 你觉得我们现在停下来好吗，
• 或者，我们是否应该搁置/推迟对一些客户bug的测试，以便继续？
• 如果是这样的话，我们应该在这个名单上到达哪里，以便你对释放感到舒服？“

Answer 2

听起来好像你指的是烟度测试，所以我就是这么说的。

烟雾测试的长度取决于您的产品、组织的风险厌恶程度以及用于烟雾测试的可用资源。在我的第一份QA工作中，烟雾测试可能占用一个人整个上午的时间，但是在烟雾测试期间发现灾难性的缺陷可以为整个QA和开发团队节省很多倍，因此值得投资。

只有您和您的团队才能决定如何与使用“如果这个特性被破坏，我们就被击沉”缺陷的构建的风险权衡冒烟测试时间。您可以随意更改烟雾测试，这取决于哪些功能是应用程序其余部分的瓶颈，哪些功能正在经历最大的变化，以及开发人员在这些特性上的历史缺陷率。

以下是一些需要考虑的问题:您能自动完成部分烟雾测试吗？在我的第一份QA工作中，安装该产品可能需要几个小时。我们找到了一种自动化流程的方法，这使得烟雾测试人员的工作更加容易，而不会产生任何重大风险。

Answer 3

验证构建所需的时间取决于各种因素。

确定在您的场景中应该采取的最佳时间的一种方法是为以下内容输入数字：

• 不是的。测试员
• 不是的。特征
• 平均每个测试人员每项功能所需时间
• (就你而言)不。要测试的版本

一旦有了这些数字，就需要一个测试人员花时间来测试一个版本的所有特性(假设其他两个版本有相同数量的特性)。然后对所需的总时间进行所需的计算。

在我们的项目中，我们观察到，由两个测试人员对大约100个特性运行验收(烟雾)测试所需的总时间从4到6个小时不等。