首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >tensorflow -在大批量上运行优化器op

问tensorflow -在大批量上运行优化器op
EN

Stack Overflow用户
提问于 2017-03-02 20:15:16
回答 1查看 886关注 0票数 0

通常,我们调用run命令并将优化器操作作为输入,以更新某些模型的可训练参数:

代码语言:javascript
复制
session.run(model.optimizer_op, feed_dict={model.X: X_batch, model.y: y_batch})

但是当批处理较大时,X_batch无法装入图形处理器内存。如何拆分此任务以处理大批量?

EN

回答 1

Stack Overflow用户

发布于 2017-03-02 22:26:25

这主要取决于您的GPU内存大小。然而,很难将整个数据集与模型及其所需的操作(即预测概率)一起拟合。因此,您需要从不同的角度来考虑批处理。我假设你的代码是这样的:

代码语言:javascript
复制
# Model Definition    
X = tf.placeholder(tf.float32, shape=[None, DIM,DIM,3], name='X')
y = tf.placeholder(tf.float32, shape=[None, N_CLASSES], name='y')

...

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

...

# Training your model
sess.run([train_step], feed_dict={X: X_batch, y: y_batch})

而不是使用X和y作为train_step的feed_dict。您可以只累计所有批次的cross_entropy (即整个数据集)。然后,您可以运行一次train_step。例如:

代码语言:javascript
复制
cross_entropy_all = []
for X_batch, y_batch in batches_generator():
    cross_entropy_all += sess.run([cross_entropy], feed_dict={X: X_batch, y: y_batch})

# Numpy or Tensorflow equivalent for `vstack`
cross_entropy_all = np.vstack(cross_entropy_all)

# Run the optimizer on the entire dataset (not just on a specific batch)
sess.run([train_step], feed_dict={cross_entropy: cross_entropy_all})

这应该可以在不使GPU内存不足的情况下实现您的目标。建议的方法针对所有交叉熵运行优化步骤。因此,您不需要提供x和y(用于/需要生成cross_entropy,因为它已经被提供给优化步骤)。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42555276

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档