首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Tensorflow一个热编码器?

问Tensorflow一个热编码器?
EN

Stack Overflow用户
提问于 2015-11-12 21:16:01
回答 15查看 85.1K关注 0票数 73

对于处理分类数据,tensorflow是否有类似于scikit learn的一个热编码器的东西?使用tf.string占位符会表现为分类数据吗?

我意识到在将数据发送到tensorflow之前,我可以手动预处理数据,但是让它内置是非常方便的。

EN

回答 15

Stack Overflow用户

回答已采纳

发布于 2015-11-12 21:57:38

从TensorFlow 0.8开始,现在有了一个tf.one_hot,它可以将一组稀疏标签转换成一种密集的单热点表示形式。这是对tf.nn.sparse_softmax_cross_entropy_with_logits的补充,在某些情况下,可以让您直接计算稀疏标签上的交叉熵,而不是将它们转换为单一热。

前面的答案,如果你想用旧的方式去做的话:@萨尔瓦多的答案是正确的--(过去)没有原生的op来做它。但是,您可以在tensorflow中使用稀疏到密集的运算符,而不是在numpy中这样做:

代码语言:javascript
复制
num_labels = 10

# label_batch is a tensor of numeric labels to process
# 0 <= label < num_labels

sparse_labels = tf.reshape(label_batch, [-1, 1])
derived_size = tf.shape(label_batch)[0]
indices = tf.reshape(tf.range(0, derived_size, 1), [-1, 1])
concated = tf.concat(1, [indices, sparse_labels])
outshape = tf.pack([derived_size, num_labels])
labels = tf.sparse_to_dense(concated, outshape, 1.0, 0.0)

输出标签是batch_size x num_labels的一个热矩阵.

还请注意,在2016-02-12 (我认为它最终将是0.7版本的一部分),TensorFlow也有tf.nn.sparse_softmax_cross_entropy_with_logits op,在某些情况下,它可以让您进行培训而不需要转换为一个单一的热编码。

编辑以添加:在结尾,您可能需要显式设置标签的形状。形状推断不能识别num_labels组件的大小。如果您不需要使用derived_size的动态批处理大小,这可以简化。

编辑2016-02-12,以改变以下每条评论的形状分配。

票数 68
EN

Stack Overflow用户

发布于 2015-11-12 21:28:56

tf.one_hot()在TF中是可用的,并且易于使用。

假设你有4个可能的类别(猫,狗,鸟,人)和2个实例(猫,人类)。所以你的depth=4和indices=[0, 3]

代码语言:javascript
复制
import tensorflow as tf
res = tf.one_hot(indices=[0, 3], depth=4)
with tf.Session() as sess:
    print sess.run(res)

请记住,如果您提供了index=-1,您将在一个热向量中得到所有的零。

旧答案,当此函数不可用时.

在查看了python文档之后,我没有发现任何类似的东西。我认为它不存在的一个原因是,在他们自己的例子中,他们手动编写one_hot。

代码语言:javascript
复制
def dense_to_one_hot(labels_dense, num_classes=10):
  """Convert class labels from scalars to one-hot vectors."""
  num_labels = labels_dense.shape[0]
  index_offset = numpy.arange(num_labels) * num_classes
  labels_one_hot = numpy.zeros((num_labels, num_classes))
  labels_one_hot.flat[index_offset + labels_dense.ravel()] = 1
  return labels_one_hot

您也可以在科学学习中这样做。

票数 54
EN

Stack Overflow用户

发布于 2016-10-16 06:22:42

是numpy干的!

代码语言:javascript
复制
import numpy as np
np.eye(n_labels)[target_vector]
票数 18
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/33681517

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档