哪个HuggingFace摘要模型支持超过1024个令牌？哪种模式更适合于相关文章的编程？

Question

如果这里不是问这个问题的最佳地点，请带我去找最准确的问题。

我计划使用一个拥抱脸摘要模型(tag=summarization)来总结我的演讲视频记录。

到目前为止，我已经测试了facebook/bart-large-cnn和sshleifer/distilbart-cnn-12-6，但它们只支持最多1,024个令牌作为输入。

下面是我的问题：

1. 是否有任何摘要模型支持较长的输入，如10,000字文章？
2. 给定输入长度的最佳输出长度是多少？假设一个1000字的输入，最优(最小)输出长度(最小)是多少。摘要案文的长度)？
3. 哪种模式可能适用于与编程相关的文章？

Answer 1

问题1

是否有任何摘要模型支持较长的输入，如10,000字文章？

是的，由Beltagy等人出版的隆弗编码器-解码器( [1] )模型。能够处理多达16k的令牌。在这里上有不同的HuggingFace型号。也有飞马-X [2]最近由彭格等人发表。它还可以处理高达16k的令牌。模型也可以在这里上使用HuggingFace。

或者，您可以查看以下两种方法：

1. 采掘，然后是摘要，或
2. 将一个大型文档分割成块max_input_length (例如1024)，对每个文档进行汇总，然后连接在一起。需要注意的是，文档是如何分块的，以避免在特定的主题中间分块，或者有一个相对较短的最后部分，可能会产生一个无法使用的摘要。

问题2

给定输入长度的最佳输出长度是多少？假设一个1000字的输入，最优(最小)输出长度(即最小)是多少。摘要案文的长度)？

这是一个很难回答的问题，因为很难用经验来评价总结的质量。我建议自己使用不同的输出长度限制(例如20、50、100、200)运行几个测试，并找到主观上最有效的方法。每一种模式和文档类型都会有所不同。有趣的是，我会说50个单词将是一个好的最少，与100-150提供更好的结果.

问题3

哪种模式可能适用于编程相关的文章？

我可以想象构成编程相关文章的三种可能的情况。

1. 源代码摘要(涉及生成代码的自然(非正式)语言摘要(正式语言))。
2. 传统的抽象摘要(即自然语言摘要，但对于讨论编程的文章却没有代码)。
3. 1和2的结合。

对于案例(1)，我不知道HuggingFace上有任何针对这个问题的实现。然而，这是一个积极的研究课题(参见[3]，[4]，[5])。

对于案例(2)，您可以使用您已经使用过的模型，如果可行的话，可以对您自己的编程相关文章的特定数据集进行微调。

对于案例(3)，只需根据输入是正式(代码)还是非正式(自然)语言来组合来自(1)和(2)的实现。

参考文献

[1] Beltagy，I.，Peters，M.E.和Cohan，A.，2020。长文件变压器。arXiv预印版arXiv:2004.05150。

[2] Phang，J.，Zhao，Y.和Liu，P.J.，2022年。有效扩展变压器用于长输入汇总的研究。arXiv预印版arXiv:2208.04347。

[3] Ahmad，W.U.，Chakraborty，S.，Ray，B.和Chang，K.W.，2020。一种基于转换器的源代码摘要方法。arXiv预印版arXiv:2005.00653。

[4]魏，B.，李，G.，夏，X.，傅，Z.和金，Z.，2019年。代码生成是代码摘要的双重任务。神经信息处理系统的进展，32。

[5]湾，Y.，赵，Z.，杨，M.，徐，G.，英，H.，吴，J.和余，P.S.，2018年9月。通过深度强化学习改进源代码自动摘要。第33届ACM/IEEE自动化软件工程国际会议记录(第397-407页)。