使用评分将大数据集映射到类别

Question

试图找出解决这个问题的最好方法。

我有一个数十万种食物的清单。我拥有的数据有:描述(基本上是项目名称)，食品类别，配料(食品项目表)

我正在尝试将每个食物项与存在于不同数据集中的食物类别进行匹配。这些食品类别的划分略有不同，因此在食品项目表中不存在与食品类别的一对一映射。该数据集的字段有:主类别、子类别和产品示例。(食物类别表)

在食品项目表中，食品类别可能是错误的或泛化的。基本上，食品项目表中的食品类别是一般的，而食品类别表中的食品类别更为具体。

我希望创建一个算法，查找特定的食品项目(在食品项目表中)，并将其与食品类别表中的“推荐”条目进行匹配。可能会给我前5个选择和每个选择的分数(或百分比匹配)。

如果可能，我希望随着时间的推移，基于手动更正/干预，过去的映射等学习。不确定在这里使用AI是不是正确的术语。

此数据存储在SQL Server 2016中。它周围的应用程序在ASP.Net (C#)中

再次寻找实现这一目标的最佳方法。

Answer 1

我假设您已经对一些样本数据进行了正确的分类，以用作算法的指导。

让我们假设你有一些已经分类的食物：

Name          Category  Ingredients
Apple         Fruit     Apple
Cheesecake    Dessert   Apple, Butter, Flour, Sugar, Cheese
Cheeseburger  Junk      Bread, Tomato, Cheese, Meat

算法应该计算每种成分被归类到哪一类，给出一个相对百分比。就像这样

Ingredient    Category  Percentage
Apple         Fruit     56
Apple         Dessert   34
Apple         Salad      6
Apple         Drink      4
Cheese        Sandwich  70
Cheese        Junk      21
Cheese        Dessert    7
Cheese        Salad      2

然后，当你有一个未分类的食物时，你只需将所有成分的百分比加起来，并按类别排序即可。

你应该考虑添加一些权重，这样一种食物的所有配料的总分总是1。例如，如果你有一个有4种配料的食物，每种配料的总分只有0.25分。这将降低成分在非常复杂的食谱中的重要性。