文本分割问题

Question

我对ML很陌生，试图解决文本切分的问题。

我有一个新闻节目的成绩单，我想把这份成绩单按主题分成几部分。我试着搜索google，询问chatgpt，发现了很多信息，但是我不知道如何正确地运行这个任务。

这看起来像一个经典的问题，我找不到合适的命名它。

我正在寻找帮助找到这个问题的正确名称，以及如何使用现有的工具来处理它。

我最初的想法是使用带有滚动平均值的word嵌入->语句向量来检测主题的变化，但是这种方法不起作用。解决这个问题的其他方法是什么？

Answer 1

您所描述的问题不是一个经典的NLP问题。

有一个类似的经典NLP问题叫做“主题建模”，它包括在文本文档集合中发现主题。主题由与主题本身相关的单词列表定义。解决这个问题的最典型的方法可能是潜在的Dirichlet分配(LDA)。这是一种无监督的学习方法。

然而，您的问题在某种程度上也是从机器学习的角度来处理的，至少部分是这样的。我可以参考Meta的文章伯特嵌入会议的无监督主题分割。这是它的摘要：

会议主题分割是将多人会议记录分成主题块的任务。由于在收集和准确注释大型数据集方面存在困难，对该问题的监督方法已被证明是难以解决的。本文介绍了如何利用预训练的神经结构来改进以往的无监督主题分割方法。我们介绍了一种基于BERT嵌入的无监督方法，与现有的两种常用的会议记录数据集相比，该方法的误码率降低了15.5%。

作者在github上发布了他们的源代码。

要理解它的内容，您需要了解一些伯特的背景知识，这是一个基于变压器体系结构的编码器部分的NLP神经网络。在https://datascience.stackexchange.com/上，你可以找到很多关于它的具体问题和答案(如果你没有发现你的具体疑问，你可以问得更多)。