克利斯朵夫·莫尔纳在他的书“可解释机器学习”中写道
人层次评价(简单任务)是一种简化的应用层评估。不同的是,这些实验不是与领域专家一起进行的,而是与外行人一起进行的。这使得实验更便宜(尤其是如果领域专家是放射学家的话),而且更容易找到更多的测试人员。例如,向用户展示不同的解释,用户将选择最好的解释。
(第一章=可理解性,第一节=评价可理解性质量的方法)。
为什么有人会选择/信任一个人支持的(而不是专家)模型,比如一个领域专家支持的模型,甚至一个功能评估的模型(即准确性/精确度/召回/F1评分等等都相当好)?
发布于 2021-03-27 09:12:00
这是专门为结果的可解释性,即非专家的人类表现优于机器的任务。
在机器学习中收集标签存在一个问题,即标记数据集非常昂贵且耗时(因为数据集的大小和专家的时间开销)。
所以更多的是实用性,而不是信任。考虑雇佣一位数据科学家来开发一种基于专家启发式的自动标注数据集的算法(例如,“如果数据看起来像红色的话,将其标记为癌变”),收集数据、计划、开发和测试(因此对某些用途而言)可能需要6个月的时间--因此,雇用10名非专家并告诉他们启发式可能更便宜、更快。
这本书使用了一个例子“向用户展示不同的解释,人类会选择最好的。”在放射学的背景下,它可以是这样的:“看病人的图像,并将其与这个图像和诊断词典进行比较,将多个来源结合起来,然后报告诊断结果。”
当然,如果您有一个优于非专家的算法,您可能只需要一些专家标签来验证您的算法,而忘记了非专家。
https://datascience.stackexchange.com/questions/92227
复制相似问题