Tensorflow TextVectorization adapt() --检查生成的词汇表

Question

文本TextVectorization层用于文字编码，典型的工作流调用adapt()方法。

接下来，您将调用

以适应数据集预处理层的状态。这将导致模型生成字符串到整数的索引。

(https://www.tensorflow.org/tutorials/keras/text_classification)

或

如果需要，用户可以在dataset上调用该层的

()方法。当该层适应时，它将分析数据集，确定单个字符串值的频率，并从它们创建一个“词汇表”。

(https://www.tensorflow.org/api_docs/python/tf/keras/layers/TextVectorization#adapt)

adapt()操作的确切结果是什么，以及如何具体检查创建的词汇表的内容？

我的一小部分代码

seq_length = 100
vocab_size=50000

vectorize_layer = TextVectorization(
    max_tokens=vocab_size,
    output_mode='int',
    output_sequence_length=seq_length)

# build the vocabulary
vectorize_layer.adapt(text_ds)

Answer 1

layer.get_vocabulary()这样做：

>>>data = tf.constant([["a", "c", "d"], ["d", "z", "b"]])
>>>layer = tf.keras.layers.StringLookup()
>>>layer.adapt(data)
>>>layer.get_vocabulary()

['[UNK]', 'd', 'z', 'c', 'b', 'a']

https://www.tensorflow.org/api_docs/python/tf/keras/layers/StringLookup