模型选择准则

Question

除了火车和试验不同(例如:火车90%的型号和试验80%的模式优先于90%的列车和75%的试验)和简约，在选择模型时还有其他的标准吗？

Answer 1

这是一个很好的问题，一个没有经常被问到。

在一般的上下文中，以及您提到的准确性和简约的效率，您应该考虑两个细微之处，在简约和精确中有点丢失。

1. 敏感的、特异的、积极的预测值和其他度量值通常比直接上升的精确性更有用，因为它们使您了解模型的正确和错误，并在部署时告知预期的行为。确保您根据您的模型所预测的、最终的用途以及不平衡的目标可能带来的潜在偏差选择一个度量。
2. 给定两个同样精确(或敏感或特定)的模型，总是选择最简单的模型来训练、测试、部署和解释。

关于第二个问题，最终越普遍有用和部署越好。这意味着考虑模型是如何培训的，需要哪些资源，以及如果您要频繁地更新它，它需要多少维护。您应该始终考虑部署模型的资源消耗和速度。

如果您创建的NLP模型包含4000个目标类别，但是该模型需要每个目标配置30个，并且您需要准备好每分钟接收100个传入的观测结果，那么您可能不喜欢每天在AWS上将所有这些都保存在内存中所花费的费用。

同样地，如果你使用5000万个观测来训练一个kNN，每个新的预测都必须与deployment...is中的5000万个训练值相比较，如果你的速度和资源以及这个模型所提供的值是可行的或负担得起的？

另外，迟早有人会问为什么模型会像它一样工作，所以如果你可以解释一个模型和另一个模型是如何工作的，并且它们几乎是相同的，那么使用您可以解释的模型。

我的个人哲学非常不受欢迎，但它有坚实的实践基础。如果我能够建立一个线性或logistic回归模型，即87.12% (选择一个度量，比方说敏感)和一个敏感的神经网络( 88.00% )，而不是在.88%中出现一些重大灾难，我将使用一个回归模型，它的部署是紧凑的(只是将值插入一个方程)，具有可承受的可扩展性，无论是实用的还是每次统计的，都是可以解释的。

话虽如此，但我不能总是使用回归模型，我也不会强迫它。但我也不会回避一个非常有用的模型，因为它看起来很平庸，或者说不够灵巧。有很多关于建立思想上性感的模型的喧嚣。在我看来，这实际上只是职业上的虚荣心。

此外，我不会简单地使用回归，因为如果其他的事情更合适的话，这是很容易的。

它总是关于成本效益的权衡，你必须做出额外的.xx%，以及这将转化为您的业务。