开源分析框架？

Question

您是否曾经想过测试和定量地显示您的应用程序作为静态构建或共享构建、剥离或不剥离、upx或无upx、gcc -O2或gcc -O3、散列或btree等应用程序的性能是否会更好。如果是的话，这就是您的思路。有数百种优化应用程序的方法，但是我们如何收集、组织、处理、可视化每个实验的结果。

几个月来，我一直在寻找一个与Mozilla的透脂类似的开源应用程序性能工程/分析框架，在该框架中，我可以开发/构建/测试/配置数百个不同调优实验的化身。

一些要求：

平台

SUSE32和SUSE64

数据格式

非常灵活，紧凑，简单，分层。有几种可能性包括

• 自定义CSV
• RRD
• 协议缓冲器
• JSON
• 没有XML。有大量的数据，而XML太冗长了。

数据采集

灵活和可定制的插件。从应用程序中可以收集到大量的数据，包括来自/proc、sys时间、壁时间、cpu利用率、内存配置文件、泄漏、增值日志、竞技场碎片、I/O、本地主机套接字、二进制大小、开放fds等的数据，还有一些来自主机系统。我选择的语言是Python，我将开发这些插件来监视和/或解析所有不同格式的数据，并将它们存储在框架的数据格式中。

贴标

所有实验都将被标注，包括GCC版本和编译选项、平台、主机、应用程序选项、实验、构建标签等数据。

图形化

历史，比较，等级，动态和静态。

• 应用程序的构建是由一个定制的CI服务器完成的，它每天发布几次新的应用程序版本，连续三年发布。这就是为什么我们需要一个持续的趋势分析。当我们添加新特性、修复bug、更改构建选项时，我们希望自动收集分析数据并查看趋势。这里需要生成各种静态构建。
• 对于分析，Mozilla动态图是很好的比较图。有不同标签之间的比较图将是很好的。例如，比较N个版本，比较平台，比较构建选项等。
• 我们有一个测试套件的3K测试，数据将收集每个测试，并分组从测试间的数据，每个测试，每个标签组，完成回归套件。
• 可能性包括RRDTool，Orca，Graphite

分组分析

• 最小
• 最大值
• 中位
• Avg
• 标准差
• 等

演示

所有这些都将通过应用服务器来呈现和控制，最好是Django或TG。

灵感

• Centreon
• Cacti

Answer 1

本周在PyCon上进行了一次讨论，讨论了今天关于Python的各种分析方法。我不认为任何东西都像你想要的那样完整，但也许值得一看。http://us.pycon.org/2009/conference/schedule/event/15/

你应该能在本周晚些时候在blip.tv http://blip.tv/search?q=pycon&x=0&y=0上找到真正的谈话。

Answer 2

我不知道您的问题到底是什么，但是对于分析Java (Web)应用程序，您可以使用netbeans分析器和profiler4j (可以在sourceforge上找到)。我使用了这两种方法，并可以在eclipse上推荐它们。

请参阅如何设置Eclipse

和http://profiler4j.sourceforge.net/

编辑:对不起，刚刚注意到你把这个问题标记为Python问题，所以这肯定不是你的有效答案。

Answer 3

你可能需要建立你想要的东西，但你可能会从

• 瓦兰
• 卢克·斯塔克沃克
• 很多其他的开源项目

另外，如果目的不是为了衡量性能，而是为了提高性能，您可能会从这那里得到一些想法，其中这就是使用它的一个例子。