自动化工具与手动审查

Question

与手动检查相比，使用自动化工具有什么好处？缺点是什么？

这既适用于外部黑盒漏洞扫描，也适用于静态代码分析。

来自原始的Area51 提案

Answer 1

这里有一些很好的答案，但我认为有些地方遗漏了：

• 自动工具完成的速度比手工测试快得多，按数量级计算。
• 自动工具覆盖宽度，但您需要手动测试深度。(攻击/测试的范围和探测所有接口/代码行的宽度)。
• Autotools对于普通的低挂水果是很好的，但是如果您需要提高安全性级别，则需要手动进行更深入的操作。
• 手工测试不可能涵盖系统的每一个部分(无论是代码行、反编译程序集、网页和参数、web服务等等)，而自动工具对此非常有用。
• 正如@Andreas所说，有时会有一个复杂的向量，这是自动工具无法想象的，但对专家来说却是显而易见的。
• Autotools无法测试业务逻辑缺陷，它们只搜索技术缺陷--以及更常见的缺陷。
• 手工测试不一致。
• 手工测试取决于单个测试人员的技能(哦，可怕！！)，但是你真的需要知道你在寻找什么。
• 同样，通过手动测试，您无法获得回归测试。
• Autotools会根据最新的成果自动更新，但是人类通常不会记住他两年前读到的所有载体.
• 另一方面，autotools只会偶尔更新一次，但是人类可以了解一种新技术，并在第二天实现它。
• Autotools通常包含非常高比例的假阳性(根据方法和产品的选择，从30%到90%以上)。
• Autotools通常附带一个体面的报告套件。

底线？它们都有一个位置，都应该在正确的上下文中使用。对于低质量的应用程序，首先从修复自动工具可以找到的所有东西开始，现在还不用花时间进行适当的手动检查。当你提高安全水平，并摆脱低挂水果，走的距离，并进行深入的手动审查。当你做手工测试的时候--第一步，运行自动工具，过滤结果，然后开始真正的测试。

Answer 2

自动化专业：

• 每次快速检查；
• 不需要注意(大部分)；
• 可以安排和报告；

自动攻击：

• 不覆盖智能攻击向量；
• 并非总能确保全过程控制；

手动方法基本上将自动的优缺点转换为它们的缺点/优点。但是，手工方法需要更深入的学科知识。

Answer 3

半自动化才是答案。人类智能引导自动化工具是最大限度地扩大测试覆盖范围和深度的最佳选择，而不是两者之一。

工作原理:聪明的人驾驶工具。

其他一切都失败了。