在DRMAA集群上运行许多作业时，是否有一种方法可以获得一个很好的错误报告摘要？

Question

我需要在DRMAA集群上运行一个snakemake管道，其总数为>2000个作业。当一些作业失败时，我想最终收到一份容易阅读的摘要报告，其中只列出失败的作业，而不是日志中给出的整个作业摘要。

是否有一种无需自己解析日志文件就能实现这一目标的方法？

这些是(不完整)集群选项：

jobs: 200 latency-wait: 5 keep-going: True rerun-incomplete: True restart-times: 2

Answer 1

我不确定是否有其他方法可以自己解析日志文件，但是我已经用grep做过几次了，我对结果很满意：

cat .snakemake/log/[TIME].snakemake.log | grep -B 3 -A 3 error 

当然，您应该为要检查的运行更改TIME占位符。