AWS个性化:增量更新

Question

要使个性化功能正常运行，我们需要：

• Users.csv
• Items.csv
• Interactions.csv

目标是导入历史(交互)数据，然后使用实时事件对其进行更新。一切都很好也可以理解。

我们如何进行interactions.csv的历史初始上传，万一有大量的数据，一个巨大的CSV。

理想的情况是，我可以把这个怪物分成几块，然后把它们都喂给个性化。

我看到有人在谈论增量上传，但我认为这是不可能的。你们是怎么做的？

Answer 1

您可以将大量数据拆分为多个CSV，将您的个性化导入作业指向包含您的CSV的S3“文件夹”，并且个性化将导入所有文件。

根据文档

如果您的CSV文件位于S3桶中的一个文件夹中，并且您想要将多个CSV文件上载到一个数据集中，并且有一个数据集导入作业，请使用此语法而不使用CSV文件名。

只需确保将每个数据集类型的CSV拆分到桶中的单独的“文件夹”中。另外，从文件夹导入的过程不是递归的，所以将CSV直接放在文件夹中而不是子文件夹中。

例如：

interactions/
interactions/file1.csv
interactions/file2.csv
interactions/file3.csv
items/
items/file1.csv
items/file2.csv
items/file3.csv
users/
users/file1.csv
users/file2.csv
users/file3.csv

然后，要导入所有交互CSV，请使用interactions/文件夹作为数据位置(例如，s3://bucket-name/interactions/)。