将我的数据集存储在我的笔记本实例中是个好主意吗？

Question

我是AWS的新手，我正在考虑使用amazon来训练我的深度学习模型，因为我的记忆问题是由于我必须训练的大数据集和神经网络。我很困惑是将数据存储在我的笔记本实例中，还是存储在S3中？如果我把它存储在我的s3中，我能用它来训练我的笔记本吗？我对这些概念很困惑。有人能解释S3在AWS机器学习中的应用吗？

Answer 1

是的，您可以使用S3作为培训数据集的存储。

请参阅此链接中的图表，描述一切是如何工作在一起的：https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html

您还可能希望查看以下博客，其中详细介绍了文件模式和管道模式，这两种传输培训数据的机制：

1. https://aws.amazon.com/blogs/machine-learning/accelerate-model-training-using-faster-pipe-mode-on-amazon-sagemaker/

在文件模式下，在开始培训之前，先将培训数据下载到附加到培训实例的加密EBS卷。然而，在管道模式下，输入的数据在运行时直接流到训练算法中。

1. https://aws.amazon.com/blogs/machine-learning/using-pipe-input-mode-for-amazon-sagemaker-algorithms/

使用管道输入模式的

，您的数据可以在不涉及任何磁盘I/O的情况下实时输入到算法容器中。这种方法缩短了冗长的下载过程，大大减少了启动时间。它还提供了比文件输入模式更好的读取吞吐量。这是因为您的数据是通过高度优化的多线程后台进程从Amazon获取的。它还允许您对比16 TB亚马逊弹性块存储(EBS)容量限制更大的数据集进行培训。

该博客还包含python代码片段，使用管道输入模式作为参考。