这是部分图像传输的结果吗？

Question

我有从JPEG生成缩略图的代码。它从S3中提取一个图像，然后生成拇指。

每3000份文件中就有1份看起来像这样。分批发生。高分辨率看起来像这样，它们都被调整到低分辨率。它在调整尺寸时不会失败。我可以进入我的S3桶，并看到原始文件确实完好无损。

我用Ruby编写了这段代码，并将其全部移植到clojure中，希望它能解决我的问题，但它仍在发生。

什么样的JPEG会像这样呢？

​

​

我正在使用标准的图像复制代码，如下所示

(with-open [in (clojure.java.io/input-stream uri)
                out (clojure.java.io/output-stream file)]
      (clojure.java.io/copy in out))

有没有什么方法可以检测到在clojure中传输的不太顺利？想像力？还有其他命令行工具吗？

Answer 1

我猜这是两个可能的问题之一(您知道您的代码，所以您可能很快就可以排除其中一个)：

1. 你的记忆快用完了。如果整个处理过程同时发生，那么在整个过程完成之前，可能不会释放第一个批处理。
2. 你快没时间了。您可能会达到脚本的最大执行时间。

在处理批处理时实现一些日志记录可以告诉您问题何时发生，以及当时的总体状态如何。