寻找max_embeddings为1024而不是512的LayoutLM型号

Question

我目前正在尝试在一个项目中使用LayoutLM模型。但是，最大嵌入量是512。我想看看是否可以找到一个最大嵌入次数为1024次的预训练模型。有没有人知道这样一个模型，或者有没有办法绕过它？

谢谢

Answer 1

训练这样的模型将是耗时的，但我们会考虑这一点。