机器学习数据泄漏

Question

我有一个数据集，其中包含客户在商店中进行的事务处理的信息。目标是表明交易中是否有欺诈行为。

我的一个特性是SuspiciousWords_Score。这个特征的意思是在交易的发票上出现了多少可疑的词。

可疑词是根据过去两年中该词在欺诈交易中出现的次数来确定的。

<#>Of课程，对于某些记录，单词被计算为在当时出现在发票中的单词并不可疑，因为在交易之前存在欺诈的交易的发票中没有出现这个词，但是由于在创建数据集时确定了可疑的字库，那么这个词就被计算为该交易。

我的问题是-这到底是数据泄露吗？

Answer 1

是的，这可能是数据泄漏:这些特性包含从目标变量中获得的信息，包括在测试中找到的目标。

从评估的角度来看，这显然违背了在评估之前不能使用测试集的原则。对于这个问题，解决方案是将测试集排除在计算“可疑单词”集的阶段(顺便说一下，这种情况相当于特征归一化)。

但是，更合适的方法是考虑时间因素:可以在不同的时间点计算“可疑词”集，并且在每一种情况下，特性SuspiciousWords_Score都将根据交易时的最新集合来计算。