到Google Cloud ML引擎的数据流

Question

我发现Google ml引擎需要云存储中的数据，大查询等。有没有办法将数据流式传输到ml-engine。例如，假设我需要使用WordPress或Drupal站点中的数据来创建tensorflow模型，比如垃圾邮件检测器。一种方法是将整个数据导出为CSV，然后使用google- cloud --php库将其上传到云存储。这里的问题是，对于每一个微小的变化，我们都必须上传整个数据。有没有更好的办法？

Answer 1

所谓的小更改，是不是指“当您获得新数据时，您必须将所有内容--新旧数据--再次上传到gcs"？一种想法是按一定的计划将新数据导出到gcs，随着时间的推移生成许多csv文件。您可以编写训练器，使其采用文件模式，并使用get_matching_files/Glob或多个文件路径对其进行扩展。

您还可以修改训练代码，使其从旧的检查点开始，然后在几个步骤中只训练新数据(在其自己的文件中)。