回归分析中如何实现潜在Dirichlet分配

Question

我有一个数据集，包括酒店评论，评级，和其他功能，如旅行者类型，和字数的评论。我希望执行主题建模(LDA)，并使用从评论中派生的主题以及其他特性来识别最影响评级的功能(评级作为因变量)。

如果我想用线性回归来做这件事，这是否意味着我必须用派生的主题来标记每个评论？是否有办法在R中做到这一点，或者我必须手动标记每一次评审？(我对一般的文本挖掘和数据科学都是新手。)

Answer 1

简短的回答是:您不必用派生的主题来标记每个评论，因为您将依赖于您培训的主题模型来确定评审的主题，然后将其用于为您的回归模型构造特性。

使用代码示例(在R中)很好地解释了主题建模

www.tidytextmining.com/topicmodeling.html。6.2.1和6.2.2部分应该可以帮助您快速入门。

记住以下两条原则

• 每一份文件(酒店评论)都是各种主题的混合体。
• 每一个话题都是词的混合。

一旦对一个主题模型进行了审查方面的培训，每一次审查，

• 文档主题概率可以用作特性。
• 每个主题中的顶部N个术语可以用来构造一个文档项矩阵(每个评审都映射了零个或多个顶级术语)，然后可以将其用作附加功能。

--一个简化的示例：可能有4个主题广泛地属于评论范围。

• 主题1可能是关于位置(最重要的术语:方便、位置、train_station、walk_distance、购物等等)
• 主题2可能是关于酒店员工(顶级条款:接待，友好，专业，快速，late_checkout等)
• 主题3可能是关于酒店客房(顶级条款: clean_room，装饰，雅致等)
• 主题4可能是关于酒店设施(顶级条款:游泳池、wifi、fitness_centre等)。

文档主题概率与每个主题的顶部项相结合，可用作类似于以下功能的功能：

• topic_1_location_probability
• topic_2_hotel_staff_probability
• topic_3_hotel_room_probability
• topic_4_hotel_amenities_probability is_convenient_location
• is_train_station_nearby
• is_walk_distance
• is_clean
• is_late_checkout
• is_fitness_centre
• 等。

用于更新评论，：

• 上面的示例显示了如何创建初始培训数据集--您将基于该数据集来培训模型。
• 对于较新的评论(即以前不用于训练模型的评论)，您不必重复上面的全部练习。相反，可以使用经过训练的主题模型来识别以前未见过的文档(评论)的主题。这问题的答案有示例代码来帮助完成这一任务。

希望这能帮到你。