文本挖掘、NLP与诸如令牌化、离题化、停止词删除等任务之间的联系如何？

Question

我对大数据和文本挖掘的整个世界都很陌生。

我花了一段时间才了解所有的联系，并能够对流行词进行分类。

但有一件事我还是不明白。NLP、文本挖掘与标记化、柠檬化、停止字删除等任务之间的联系。

我指的是这两份文件，例如：

• https://www.elderresearch.com/wp-content/uploads/2020/10/Whitepaper_这个_七_实践_区域_的_文本_分析_第二章_2_Excerpt.pdf
• https://www.researchgate.net/publication/311394659_文本_采掘_技法_应用程序_和_问题

我该怎么联系这件事？

备选案文1：

• 诸如标记化、柠檬化等任务是NLP的任务。
• NLP是文本挖掘的一个应用领域。

备选案文2：

• 标记化、柠檬化等任务是文本挖掘的任务。
• 它们在NLP中的用法是什么？

有人能给我解释一下吗？

Answer 1

从研究的角度来看，这个领域被称为自然语言处理(NLP)。这是人们用来描述他们的专业、命名他们的 团队、大型会议等的术语。为了完整起见，我必须提到计算语言学这个术语也被大量使用(很抱歉给您添加了另一个术语！)

据我所知，“文本挖掘”一词从来没有作为一个科学领域使用，实际上也没有那么多。维基百科将文本挖掘定义为从文本派生信息的一般过程，因此从这个角度来看，它是一个包含大多数NLP的通用术语。因此，从技术上讲，您的选项1可能是最正确的，但是我认为没有人会说"NLP是文本挖掘的应用领域“，这听起来不正确，因为文本挖掘不是域的名称。

在用法中，“文本挖掘”通常是指应用程序的探索性(通常是无监督的)方面，其方式有点类似于数据挖掘对于机器学习的意义。但老实说，我不认为尝试正式定义这些概念的关系或确切界限是不值得的，因为这些概念重叠很多，而且发展得很快。换句话说:不要想得太多;)

对于记录而言，NLP与语音处理、信息检索、知识表示、数据挖掘等多个领域或子领域相交叉。

无论如何，欢迎来到这个领域:)