非确定性学习过程的伦理后果？

Question

大多数先进的监督学习技术都是不确定的。模型的最终输出通常取决于学习过程中的一些随机部分。(神经网络的随机权初始化或梯度增强树的变量选择/分裂)。这一现象可以通过绘制对给定随机种子的预测与对另一种种子的预测来观察:预测通常是相关的，但不完全一致。

一般来说，这并不是一个问题。当尝试将绿色番茄和红色番茄分开时，只有分类器的整体性能才有问题。个人预测并不重要，因为没有番茄会不高兴/会起诉你。然而，对于更多的问题，更具体而言，与人有关的问题(教育、工作、贷款申请.)由于非确定性学习过程造成的个人分数的差异可能成为一个问题。基本上，有些人可能会得到一个生活影响的结果，基于一个给定的种子，而相反的结果，如果你使用另一个种子。对我来说，这似乎不太公平，也不道德。选择种子有点像手推车的问题..。

除了可以用来减少这种“种子依赖性”(正则化/集成等)的技术之外，我还想了解与随机种子相关的输出中这种差异的伦理方面。但我在道德问题上找不到任何资源。(我几乎找不到一些关于种子依赖问题的资源-我怀疑这一现象并没有被广泛披露，因为它可能会阻止人们使用“人工智能”)。

在影响人们生活的模型中，非确定性学习过程的伦理后果是否得到了形式化/评估？

Answer 1

您可以通过培训几个模型来衡量这一影响并减轻可能的道德问题，每个模型都有自己的随机种子。

当预测可能影响到某人的生活时，如果这些预测结果的行动的变化超过了选定的阈值，就不要自动做出预测。

如果决策必须在循环中没有人的情况下进行，那么在选择不同的模型(参考不同的模型体系结构，而不是种子)时，可以将预测的差异作为决策标准的一部分。

Answer 2

你似乎把一些东西扔进了一个袋子里，每个东西都应该被单独评估，而且实际上正在进行深入的研究：

• 模型输入的随机方面
• 模型输入的不公平方面
• 模型输入的有偏方面
• 过程的随机方面(学习行为)
• 进程的不公平方面
• 进程中有偏见的方面
• 输出的随机方面
• 产出的不公平方面
• 产出的有偏方面
• 可解释性(XAI)作为自己的子字段
• 结果再现性
• 结果一致(两个或多个独立的人工智能研究小组对同一数据集得出相同的结论吗？)或者如果没有，他们的结果有多大不同，在什么模式？)

在现实世界中，也出现了一些影响人工智能方法伦理应用的实际问题：

• 用旧数据训练模型的过时性
• 减少了人类阻止机器做出决策的可能性(即使当人类仍然处于循环状态并做出最终决定时，他们可能只监督所有决策的一小部分，比如边缘案例和忽略其他决策，那么在哪里设置这个门槛呢？)
• 在之前的决策过程中，人类可能会失去工作(影响道德的社会方面，主要问题是：“为一份工作而不是一台有电的机器付钱给人更合乎道德吗？”

因此，我反对把这看作是一件未公开的事情，相反，我认为这是一个正在进行的辩论和研究主题，目前获得了一些支持。

这正是模型透明度计划的目标在于用可解释的人工智能取代黑匣子模型。

例如，在你提出问题之后，目前正在进行的这项新的研究表明，也许在将来，非概率播种是不必要的(这还没有解决上面提到的所有其他要点)：

• 零初始化:仅用零和零初始化神经网络

这意味着，特别是考虑到非确定性的学习过程和模型初始化方面，与其他伦理考虑相比，这种随机性可能有相当小的影响，这也许可以解释，与更为紧迫的伦理困境相比，它更容易被忽视，尽管它是伦理考虑的一个绝对有效的方面。