评估团队测试信心的技术？

Question

我试图确定我的开发团队对我们的自动化测试库(单元、集成、网络测试)有多大的信心。我最希望得到以下问题的合理答案：

• ，您希望测试涵盖哪些重构？
• ，您会信任绿色构建来自动部署验收测试环境吗？
• ，您会信任绿色构建直接部署到生产中吗?

。

我希望有一些预先存在的指标和可能的调查问卷，我可以用来探索这一领域。我的目标是提高自动化部署的水平，但我真的相信我们能够实现开发人员所信任的事情的自动化。

有人知道这方面的技术吗？

Answer 1

我不知道在这方面有什么工作。你的问题很好，把它们放在一张每道题都有1-5颗星的纸上，这会给你一个想法。需要考虑的其他因素：

• 在测试之后发现错误的频率应该是测试应该捕获的吗？您可以通过bug数据库
• 中的一个特殊字段跟踪这一点--开发人员多久运行一次测试？这里，置信度== 1/频数。如果他们相信这些测试，他们就会经常进行测试。如果他们不相信它们，他们就不会运行它们，甚至认为它们是痛苦的。
• 在您的CI服务器上构建是否经常失败？这通常表明测试很脆弱，只在开发人员机器上运行，或者开发人员在提交之前不运行测试。

Answer 2

你有没有想过要开个会问他们？

讨论它可能会带来数字和度量无法表达的可能的缺陷。

Answer 3

直接问他们这些问题。

特别重要的是关于“自动部署以供接受”的内容。找出是否会有很大的犹豫，如果会，你如何解决它。

这里有另一个想法:考虑试用3天，或1周，自动部署到接受。然后再进行第二次讨论，并评估它的进展情况。工作到自动化的生产建设。

很明显，这里有很多指标

coverage

• regressions

• bug发现
• 代码与修复集成服务器

发现的

• 错误

收集这些可能对团队来说是一个有趣的素材，但最终，正如你所说的，这是一个信心问题，因此有点情绪化。什么数字会给他们更多的信心。