使用python和51一个api将文件上传到s3

Question

我正在尝试创建一个自动管道，从这个api 51获取文件并将其加载到s3。据我所见，51软件包只能在本地下载。

import fiftyone as fo
import fiftyone.zoo as foz

dataset = foz.load_zoo_dataset(
"open-images-v6",
split="validation",
classes=["Cat","Dog"],
max_samples=100,
label_types=["detections"],
seed=51,
dataset_name="open-images-pets"

这是我用来下载文件的代码，问题是它们是本地下载的。任何有这方面经验的人，怎么能做到这一点？

谢谢!

Answer 1

您说得对，您共享的代码片段将将文件从Open下载到您正在使用的任何本地机器上。在那里，您可以使用类似boto3的工具将文件上传到s3。然后，您可能需要查看使用和FiftyOne的示例，看看如何挂载这些云文件并在FiftyOne中使用它们。

在FiftyOne笔记本中直接使用正在发展中。

注意，FiftyOne团队对云数据有更多的支持，使用的方法是上传/下载到云端，直接使用云对象，而不是使用s3fs-fuse。