文本聚类技巧的不同方法

Question

考虑一个人才库，每个成员都有一些技能。这些人才中有一些是作为潜在的候选人提交订单的，其中一人是被选中的。合理的假设是，提交的天赋在他们的技能集(让我们称之为片段)中有一些占主导地位的东西，使他们有资格获得订单。例如，“前端网页设计师”或“小册子/短跑设计师”。

鉴于所有技能的全部技能提交给一个订单(如2-5和比方说每个技能10，所以20-50技能总数)，我正在寻找主导部分。然后，我在寻找每一个人才的主导部分。

我的计划是使用潜在的Dirichlet分配(LDA)，以便所有提交订单的人才的技能都是包含某些片段或“主题”的“文档”，并且有一定的可能性。可能会有一个或两个主要的主题取决于主题总数。然后，我将使用这个模型来预测每个天赋的主导部分，其中个人天赋技能集是一个“文档”，其中包含一些片段或“主题”。

我很好奇是否有人对我对LDA的使用有反馈，或者其他关于我如何发现这些片段的想法？

Answer 1

您可能需要考虑预处理--将同一类型人才的不同措辞转换为相同的措辞。例如，机器学习方面的人才被称为Coursera站点的数据科学家、Udacity作业站点的数据工程师或数据分析员。这种预处理在概念上类似于堵住。