tf.truncated_normal和tf.random_normal有什么区别？

Question

tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从正态分布输出随机值。

tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从截断正态分布输出随机值。

我试着用谷歌搜索‘截断正态分布’。但不太理解。

Answer 1

documentation说明了一切:对于截断正态分布：

从具有指定平均值和标准差的正态分布中提取值，丢弃并重新绘制距平均值超过两个标准差的任何样本。

通过自己绘制图表，很可能很容易理解其中的区别(%magic是因为我使用jupyter笔记本)：

import tensorflow as tf
import matplotlib.pyplot as plt

%matplotlib inline  

n = 500000
A = tf.truncated_normal((n,))
B = tf.random_normal((n,))
with tf.Session() as sess:
    a, b = sess.run([A, B])

而现在

plt.hist(a, 100, (-4.2, 4.2));
plt.hist(b, 100, (-4.2, 4.2));

​

​

使用截断法线的要点是克服像sigmoid这样的tome函数的饱和度(如果值太大/太小，神经元停止学习)。

Answer 2

tf.truncated_normal()从均值接近0且值接近0的正态分布中选择随机数。例如，从-0.1到0.1。它被称为截断，因为你从正态分布中去掉了尾部。

tf.random_normal()从均值接近于0的正态分布中选择随机数，但值可以稍远一些。例如，从-2到2。

在机器学习中，实际上，您通常希望权重接近于0。

Answer 3

API documentation for tf.truncated_normal()将该函数描述为：

从截断正态分布输出随机值。

生成的值遵循具有指定平均值和标准差的正态分布，但幅度超过平均值2个标准差的值将被丢弃并重新选取。