Kiba-etl多重转换-多目标

Question

我正在尝试进行多个转换，将其分发到多个目的地。例如：

orginal.csv: 
title 
movies1
movies2
movies3
movies4

添加到.themoviedb中，并将其转换为

better_movies.csv:
title
movies1=9
movies2=5.5
movies3=7
movies4=8

我想再次转换并将此文件推送到s3 rated_movies.csv: movies1=9 movies=8

这应该是输出，我如何做到这一点，然后将其推送到我的s3文件夹？

Answer 1

根据你的问题标题，不清楚你到底在问什么，你能澄清一下吗？

如果我们假设你有一个源文件(CSV)，它被你的转换转换，然后写成一个目标文件(CSV )，你想要发送给S3，一种方法是一旦目标文件准备好，就使用post_process块来作用于目标文件。

粗略地说，它会给出：

source CSVSource, file: my_source_file

transform
transform
transform

destination CSVDestination, file: my_target_file

post_process do
  # send your file to s3, by shelling out to `aws s3 cp`
  # (but make sure to check the exit code if you do so!)
  # or by using the AWS ruby SDK
end

当然，还有许多其他的可能性，比如在第一个目的地下面添加一个新的目的地。

希望这能有所帮助！