如何在医疗保健中验证推荐模型？

Question

为了验证推荐模型，通常的方法是创建一个延迟集，提供随机建议(类似于A/B测试设置)。然而，在医疗保健应用中，这是不可能的，因为随机的建议可能会危及病人的生命。因此，验证模型的合理方法是什么？

Answer 1

您仍然应该能够使用验证集来评估模型，无论您是否追求一种实验性的方法。(您的模型和调查的具体特性可能会改变这些特性，但这是基于已经单独发布的内容)。

在医学背景下，A/B组分配和测试没有任何问题，但有几个注意事项(这份清单并不详尽)：

• 相关的临床/医学知识必须处于平衡状态(目前还不清楚一种方法是否比另一种方法更好，或者哪个更好是真正不知道的)。
• 个人应意识到他们正在参加一项研究，他们被转到A组或B组，并有权选择拒绝他们的任务(或相反，他们已被告知实验任务，并已同意预先参加)。
• 机构评审委员会应该对你提议的实验进行评估并签字。当然，这是前提条件是，你可以接触这样一个由能够作出这些评估的成员组成的委员会。

这可能是一个很高的要求，但你不必为了收集一些信息而进行一项前瞻性的、双盲的实验研究。回顾性研究也可以提供一些洞察力，验证集的过程如下：

1. 准备你的推荐模型
2. 在模型中输入数据，而不查看实际结果。
3. 将您的模型输出与实际结果相匹配，以查看人们是否遵循建议(无论他们是否曾看到该建议)。
4. 比较那些最终采用每种推荐方法的人的结果(A比B)，以及那些“遵循”建议的人(推荐的-A-确实-A-确实-B，等等)。

回顾性研究通常不如精心设计、执行良好的前瞻性实验研究好，但它们仍然可以提供大量的信息。在前瞻性试验不可能或不受欢迎的情况下，回顾性研究提供的信息可能是你实际能得到的最好的信息。