评价神经网络生成词的度量

Question

我手头有这项任务，我希望能得到一些指示。完全不是最终的解决办法，因为我想自己做。

假设我需要在现有水果名称的基础上创建新的水果名称。

我是用textgenrnn库制作的。

现在我有了一个潜在的新名字的列表。我想建立一个度量来计算这一点，例如：

1. (Fabic，Alis，Brooty，Morange等)是很有潜力的水果名字。
2. (Ssae，Sriew，Adeoie，Seeea)是潜在的坏水果名称。

是否有用于生成单词的指标列表？

到目前为止，我发现了以下资源：

• 文本生成https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1174/reports/2737434.pdf生成模型的评价
• 基于层次递归神经网络http://150.162.46.34:8080/icassp2017/pdfs/0005720.pdf的字符级语言建模
• 用递归神经网络https://arxiv.org/pdf/1308.0850.pdf生成序列
• 基于神经网络的子词语言建模。http://www.fit.vutbr.cz/~imikolov/rnnlm/char.pdf

但是，由于我今天了解到了它们，我需要对这个验证主题做一个更有意义的介绍。

Answer 1

也许有人会有更好的主意，但默认的方法是生成一组名称，然后让几个注释者将其标记为好的或坏的(可能从非常糟糕的1到5非常好)，最后训练一个监督模型来识别好的和坏的。这种方法还可以让您有机会检查带注释者间的协议，即评估选择的好坏是多么主观。一般来说，一个主观的任务很难(或者不可能)用一个无监督的度量来完成。