我的任务是为Rails应用程序实现一个基于黑名单的脏话过滤器。我知道基于黑名单的过滤有一大堆问题,但这个决定是我无法理解的。挑战:我正在寻找一个很好的西班牙语亵渎列表来运行过滤器。对于英语,我们建立在一个列表上,该列表详尽地列出了共轭/复数/等,文本文件的每一行都有一个。在西班牙语的公共领域中是否存在这样的列表?
发布于 2010-10-22 00:34:00
找到好的列表并对其进行调整是很困难的。这听起来也像是你在做很多可以自动完成的手动工作(例如,共轭)。我为我公司的profanity filter named CleanSpeak做了很多这方面的工作,其中大部分都可以使用词性标识符自动完成,在许多情况下,你可以手动进行词性标记或查找词性来源。
您还需要考虑列表的质量以及过滤器的维护和管理。许多人认为这很简单,然后意识到防止假阳性是极其困难的。
尽管如此,我们发现我们的大多数其他语言的列表很难从网上获得,最终我们花钱从其他公司购买了许多构建或购买的语言。我们在网上找到的列表在我们翻译后几乎一文不值。我们还试图删除黑名单并将其翻译,但这是一个彻底的失败,因为大多数英语亵渎在其他语言中没有对应的内容。我建议购买列表或与当地大学的学生一起生成列表。我们的一些客户发现这种方法相对较好,而且不是太贵。
我还建议您查看一些资源,这些资源定义了管理用户生成内容的最佳方法。这些将帮助你完成任何构建还是购买的决策。
https://stackoverflow.com/questions/3979652
复制相似问题