对于处理分类数据,tensorflow是否有类似于scikit learn的一个热编码器的东西?使用tf.string占位符会表现为分类数据吗?
我意识到在将数据发送到tensorflow之前,我可以手动预处理数据,但是让它内置是非常方便的。
发布于 2015-11-12 21:57:38
从TensorFlow 0.8开始,现在有了一个tf.one_hot,它可以将一组稀疏标签转换成一种密集的单热点表示形式。这是对tf.nn.sparse_softmax_cross_entropy_with_logits的补充,在某些情况下,可以让您直接计算稀疏标签上的交叉熵,而不是将它们转换为单一热。
前面的答案,如果你想用旧的方式去做的话:@萨尔瓦多的答案是正确的--(过去)没有原生的op来做它。但是,您可以在tensorflow中使用稀疏到密集的运算符,而不是在numpy中这样做:
num_labels = 10
# label_batch is a tensor of numeric labels to process
# 0 <= label < num_labels
sparse_labels = tf.reshape(label_batch, [-1, 1])
derived_size = tf.shape(label_batch)[0]
indices = tf.reshape(tf.range(0, derived_size, 1), [-1, 1])
concated = tf.concat(1, [indices, sparse_labels])
outshape = tf.pack([derived_size, num_labels])
labels = tf.sparse_to_dense(concated, outshape, 1.0, 0.0)输出标签是batch_size x num_labels的一个热矩阵.
还请注意,在2016-02-12 (我认为它最终将是0.7版本的一部分),TensorFlow也有tf.nn.sparse_softmax_cross_entropy_with_logits op,在某些情况下,它可以让您进行培训而不需要转换为一个单一的热编码。
编辑以添加:在结尾,您可能需要显式设置标签的形状。形状推断不能识别num_labels组件的大小。如果您不需要使用derived_size的动态批处理大小,这可以简化。
编辑2016-02-12,以改变以下每条评论的形状分配。
发布于 2015-11-12 21:28:56
tf.one_hot()在TF中是可用的,并且易于使用。
假设你有4个可能的类别(猫,狗,鸟,人)和2个实例(猫,人类)。所以你的depth=4和indices=[0, 3]
import tensorflow as tf
res = tf.one_hot(indices=[0, 3], depth=4)
with tf.Session() as sess:
print sess.run(res)请记住,如果您提供了index=-1,您将在一个热向量中得到所有的零。
旧答案,当此函数不可用时.
在查看了python文档之后,我没有发现任何类似的东西。我认为它不存在的一个原因是,在他们自己的例子中,他们手动编写one_hot。
def dense_to_one_hot(labels_dense, num_classes=10):
"""Convert class labels from scalars to one-hot vectors."""
num_labels = labels_dense.shape[0]
index_offset = numpy.arange(num_labels) * num_classes
labels_one_hot = numpy.zeros((num_labels, num_classes))
labels_one_hot.flat[index_offset + labels_dense.ravel()] = 1
return labels_one_hot您也可以在科学学习中这样做。
发布于 2016-10-16 06:22:42
是numpy干的!
import numpy as np
np.eye(n_labels)[target_vector]https://stackoverflow.com/questions/33681517
复制相似问题