数据挖掘是否支持英语以外的其他语言？

Question

我是数据挖掘的新手。我想做一些数据挖掘，而这些数据不是英文，而是日语或中文的措辞。

数据挖掘支持这些语言吗？如果是，我们如何实现？任何工具和博客。

如果你能帮忙，我将不胜感激。

Answer 1

答案和往常一样:既是也不是。

虽然实际上没有理论上的问题，但亚洲语言存在一些实际问题。一个典型的文本数据挖掘管道包括

词干分析(running -> run)

• 删除停止字(a，->，...)以及不包括步骤的其他单词，例如，将短语help

• enrichment放入词袋(Hello World，Hello detection

• tokeniztion

• transformation word.

• application (Hello:2，World:1，->：1))，其统计您最喜欢的文本挖掘技术(如LDA或SVM

)的每个词组的出现频率

在一些亚洲语言中，第一步和第四步实际上是一个问题。在欧洲语言中，尤其是在英语中。英语中的单词以空格开始，以空格结束。在一些亚洲语言中，如果不理解句子的意思，就不能将字符序列标记为单词。事实上，在某些语言中，这是非常困难的。(c.f.( Wiki on Tokenization Tokenization对于用无单词边界的脚本编写的语言，如古希腊语、汉语、1或泰语，尤其困难。)

此外，词干提取可能会带来问题。在英语中，它是非常容易理解的。在其他语言中则视情况而定。

如果能解决这两个问题，就可以将典型的文本挖掘技术应用于亚洲语言。