如何学习常识常量？仔细观察身体的细节

Question

如果我想学习常数--例如，周-> 7天，鸡-> 2腿，-> 24，1km -> 1000米，等等--能从像维基百科单词这样的正确数据集上训练的伯特模型中提取这些信息吗？如果没有，我要用什么型号？

Answer 1

绝对一点儿没错。您可以使用林宇晨的要旨从伯特获得正确的答案：

predict_masked_sent("There are [MASK] days in a week.", top_k=1)
> [MASK]: 'seven'  | weights: 0.1132921576499939

predict_masked_sent("A chicken has [MASK] legs.", top_k=1)
> [MASK]: 'four'  | weights: 0.25219154357910156

predict_masked_sent("1 km = [MASK] m", top_k=1)
> [MASK]: '500'  | weights: 0.08255643397569656

predict_masked_sent("1 day = [MASK] hours", top_k=1)
> [MASK]: '24'  | weights: 0.06566877663135529
```

Answer 2

以下是你可能想探索的方向-

您可以使用大量的文本构建一个封闭域问答模型。然后给出一个单词作为模型的输入。有关此问题的更多详细信息，请参阅这里。简而言之，在封闭式问答中，大型语言模型(如T5或GPT-3 )会在预培训期间记忆一些事实，并且可以在没有明确上下文的情况下生成答案(与正常的问答模型不同)。

您将需要为您的任务构建和注释相应的数据集。