如何确保与应用程序一起测试所有常用的应用程序？

Question

我有一个在XP，Vista，Win7，Win8，Win 8.1上工作的Windows应用程序.

这是一个非常复杂的程序，可能会出现计算机减速和与其他常用软件的兼容性问题。

如何确保与应用程序一起测试所有常用的应用程序？

*操作系统和应用程序的组合可以与我的应用程序一起运行，这是天文数字的，不适合测试所有的东西。对这类场景进行测试的好方法是什么，以确保您与所有其他软件和操作系统的兼容性。

**这可以是手工测试或自动测试

Answer 1

根据定义，测试一切都需要无限的时间。我敢打赌这并不是最理想的(除非你的老板对此没意见-然后你就找到了一份终身安全的工作:-)

因此，你需要与你的老板就一些指标达成一致，以限制“一切”并确定其轻重缓急。

对您的客户进行一次调查，他们使用哪些其他应用程序，在哪个平台上使用。或者根据文献、你的具体行业等进行有教养的猜测。

然后，根据平台和使用情况进行排序。将可用资源用于最广泛使用的平台/应用程序。随着有更多的测试资源可用(或者您能够自动化部分测试)，您可以测试更多晦涩的平台/应用程序。冲洗，重复。

计划你的应用程序从现在起的2年(营销部门有想法)的地方，以及预期的使用模式。

一些建议: XP已经死了，我无法想象在这个问题上浪费任何资源。现在开发的测试/场景在将来也应该是有价值的。如果你现在的能力有限，在未来有限的平台上使用它是没有意义的。诸若此类。

如果你不能和你的老板就优先事项达成一致，比如“从哪里开始”。只有一个是第一位的。然后从那里出发。

如果您的需求之一是测试自动化，并且您不能在一个平台上运行自动化测试:好消息！你刚刚消除了你的问题空间的一个维度！(如果平台的模糊性足以被忽略)。

为更晦涩的平台/应用程序组合开发一些简单的智能测试，对于更重要的平台/应用程序开发更详细的/特定的/自动化的测试。没有规则说你需要对重要的平台和模糊的平台给予同等的关注，恰恰相反。与任何工程任务一样，它是关于找到好的妥协(对不太重要的事情关注较少)。

Answer 2

由于或多或少你没有无限的时间，所以你不能测试所有的东西。

正如Peter所说，您需要计算出哪一个子集的“一切”获得最高优先级。在这方面，我有几点建议：

• 如果你有客户使用什么操作系统的数据，那就太好了。如果不是，那就去拿。您想知道哪个开放源码软件在您的客户群中最受欢迎，哪些是您使用的最大/最响亮/最有影响力的客户。
• 如果您有客户使用的其他应用程序的数据，也是很棒的。如果不是，那就去拿。在这里，您想知道他们使用最多的应用程序，以及他们在使用这些应用程序时是否遇到过任何问题。挖掘您的问题跟踪系统和支持部门为这一信息。
• 现在来了有趣的部分-组合数学和网格。我发现在一个简单的电子表格中映射这一点是最简单的：
  • 列A=支持软件的版本(希望只有一个版本，但我的团队一直在支持多个版本的软件)
  • 列B=受支持的操作系统，从最常用到使用最少的操作系统排序。我会分别计算32位和64位的口味，因为他们的行为是不同的。如果这是商业(业务)软件而不是消费者软件，你应该向你的老板提出一个强有力的论点，即XP支持必须消失。在美国，使用XP的企业不遵守与信息安全和隐私有关的多项法规。我不知道其他地方的法律情况，但我不会惊讶地发现同样的问题。
  • 列C=按主要版本划分的其他应用程序(例如，IE8从IE9获得一个单独的列表，等等)，从大多数使用到最少使用。
  • 列D通过您认为必要的数量(可选)-重复应用程序列表，以涵盖多个其他应用程序与您的软件结合使用。实际上，您可能只需要考虑一个或最多两个额外列(因为使用中的其他应用程序很可能是电子邮件客户端、办公应用程序，也可能是浏览器)。

一旦获得了这些信息，要测试的组合的总数是A中的项目数乘以B中的项目数乘以C等中的项目数。您需要的时间是彻底测试应用程序所需的时间(这本身是不平凡的)乘以组合的数量--这种情况可能在几个月到几年的范围内，而且肯定会超过您的发布周期。

接下来，对您的问题跟踪系统进行一些挖掘，并找到给您的软件带来最大问题的组合。我会在电子表格上突出显示这些内容(使用颜色编码)。

下一步是和你的老板讨论这个问题，并给出所有的数字。这里的目标是优先考虑。

如果您拥有自动化，您希望配置符合最高优先级方案的虚拟/实际机器，并定期针对这些场景运行自动化。取决于资源配置，这意味着一台或多台虚拟/实际机器，因为这样的东西需要通过GUI自动化来模拟使用模式，而且您真的不想安装/卸载软件，更不用说操作系统了。运行频率将取决于构建应用程序的频率以及只升级应用程序所需的时间。

如果您没有自动化，那么您的目标将是更少的组合和一组不太全面的测试，因为您仍然在测试功能更改和软件的其他方面。