协作科学/数据处理项目的仪表板

Question

像Hudson这样的持续集成服务器是软件开发中一个非常令人惊叹的补充。我在一家学术研究实验室工作，我很乐意将类似的原则应用于科学数据分析。我想要一个类似仪表板的视图，了解哪些数据集合是正常的，哪些数据集合没有通过测试(主要是简单的shell脚本)，等等。很像Chromium dashboard (警告:页面需要很长时间才能加载)。

将我们的数据(来自行为研究)从原始形式转化为最终的、易于分析的形式，至少需要4个人的工作，可能需要10或12个小时的计算机时间。我尝试过Hudson和buildbot，但它们都不适合我们的工作流程。我们只想对大约50个独立的主题数据集合运行一系列测试，并很好地显示结果。

所以!有没有人推荐一种容易生成这种报告的方法？或者，您能想出一个好方法将这种工作流硬塞到一个持续集成服务器中吗？或者，你能推荐一个单元测试仪表板，它可以处理小的shell脚本而不是小函数的测试吗？

谢谢!

Answer 1

我猜您的数据每天都在变化，因此您希望在-ly的基础上对新批数据运行相同的测试。

Buildbot可以运行shell脚本的测试。您只需要编写一点Python来扩展Buildbot即可实现。也就是说，如果您不想使用Buildbot或Hudson，而只是想每隔24小时左右运行一次测试，那么您可以将脚本作为cron作业安装，或者编写一个主脚本来运行所有测试并将其作为cron作业进行安装。如果您想要某种仪表板，那么您很可能需要编写一些代码来将测试结果生成为HTML，让您的主脚本生成它，并让apache或twistd或其他工具提供它。

否则，我不知道CI系统会做与Buildbot或Hudson有很大不同的事情。

Answer 2

检出https://my.infocaptor.com

它可能会满足你的需求。您可以在google电子表格上聚合信息，在您自己的数据库中预先汇总它们，或者直接访问它

作为一个活生生的例子，我们在首页仪表板上公开跟踪我们自己的指标。此仪表板从SAAS mysql数据库收集信息，并且是实时的。

有很多预建的适配器，对于自定义需求，您可以在and服务器上编写脚本，然后使用http post http://infocaptor.com/help/http_post.htm将其与infocaptor连接。