如何使用tensorflow模拟n元语法模型？

Question

如何使用tensorflow创建预测/计算单词频率的N元语法模型？

假设模型将返回一个与单词频率相对应的值。

frequency = model("word")

print("Frequency of a word: ",frequency)

>>> Frequency of a word: 0.567

Answer 1

您可以使用Tensorflow Transofrm。tf.Transform是用于使用TensorFlow预处理数据的官方库。例如，使用tf.Transform.ngrams，您可以创建一个n元语法的SparseTensor。

注意库只生成ngram而不生成频率。

请确保安装tensorflow transform：

pip install tensorflow-transform