amazon sagemaker中的内存错误

Question

在预处理存储在s3中的2 gb数据时，亚马逊sagemaker中出现内存错误。加载数据时没有问题。数据维度为700万行64列。一个热编码也是不可能的。这样做会导致内存错误。Notebook实例是ml.t2.media。如何解决这个问题？

Answer 1

我假设您正在处理notebook实例上的数据，对吗？t2.medium只有4 4GB的RAM，所以很有可能是内存不足。

你有没有试过更大的实例？规格在这里：https://aws.amazon.com/sagemaker/pricing/instance-types/

Answer 2

你能在https://forums.aws.amazon.com/forum.jspa?forumID=285下面删掉一篇亚马逊网络服务论坛的帖子吗？带着你的问题。这样，SageMaker团队将能够帮助您解决问题。