一个好的报告生成软件用于报告和跟踪软件基准测试结果的特点是什么？

Question

这是一个从这个回答到前一个问题的子问题，其中突出显示http://speed.pypy.org是一个很好的演示文稿。

(然而，在我看来，这个项目并没有分离execution/tracking/report-generation/web-service，的组件，这使得其他人更难采用。)

我对这类软件的功能和UI需求都感兴趣。我希望能够根据标准选择一个现有的，这样我就可以在我的项目中使用它。

现在，我唯一能想到的是，执行UI应该类似于一个单元测试工具，但是Reporting应该与xUnit系列软件完全不同。网页似乎是浏览结果的更好方法。

此外，还有一些小想法：

• 应该有一个跟踪组件来跟踪所有级别的性能变化。
• 然而，表示层应该只突出“相关”的性能更改，也就是说，在严重到需要开发人员关注的重要领域，性能下降。

我还感兴趣的是，是否可以在这里应用爱德华·图夫特的任何建议。

Answer 1

您可能会发现这是关于java (宏)基准测试工具的问题.很有趣(即使使用不同的语言)：

1. 对于运行时测量，有许多技术方面需要考虑，主要是优化；
2. 对于运行时度量，统计信息是非常重要的，但是很少有工具实现它们；
3. 有许多监控工具，它们提供了像控制板这样的单元测试或日志记录，以及标准化的报告接口(JMX) --就像您所想到的那样；
4. 第2点和第3点有些矛盾:执行必须了解报告才能正确地进行统计，即能够决定执行和度量某些代码的频率，以获得足够高的统计可信度；
5. 一个很好的工具，是相当独立的语言是自动驾驶。