因此,我有超过3000万个对象,我需要使用作为我的训练数据。我的问题很简单:当我通过迭代的append编程过程创建训练数组时,在一定的阈值下,列表变得太大,python就会被杀死。创建训练数组的代码示例for ...: data_array = [x forx in data] #some large array, 2-3 million objects
for item in data_
我按照教程"Pre-training FairSeq RoBERTa on Cloud TPU using Pytorch“设置了一个可抢占(v2-8) TPU环境,并训练了我的RoBERTa模型。但是,它不会像往常一样在GPU中输出任何训练日志,并且会在2-3天内(间隔12小时)抛出两次RPC故障警告(参见下文-此处删除网络端点)。 我的训练步数是161,529步。