在Distilbert中使用哪种类型的位置嵌入？

Question

在Distilbert配置文件中，有一个选项为"sinusoidal_pos_embds"，并设置为"true“。这是否意味着distilbert在实践中利用了正弦位置嵌入？

Answer 1

当它被设置为True时，它确实意味着它使用正弦嵌入。

但是，当您查看文档中列出的DistilBERT模型时，其中大多数(distilbert-base-uncased、distilbert-base-uncased-distilled-squad、distilbert-base-cased、distilbert-base-cased-distilled-squad、distilbert-base-multilingual-cased、distilbert-base-uncased-finetuned-sst-2-english)都不使用正弦嵌入，而是使用学习嵌入。

标准DistilBERT模型中唯一具有正弦嵌入的是distilbert-base-german-cased。