是否有可能证明一个基于人工智能的安全关键系统解决方案？

Question

首先，我读了this。但我想扩展一下。概括地说：

1. 在设计安全关键系统时，设计人员必须对一些指标进行评估，以获得系统将按预期工作的信心。这是一种数学证明，它的复杂性很低，足以为人类所用。它与问责制、可靠性、可审计性等有关.
2. 另一方面，在这一点上，人工智能是一个似乎运行良好的黑匣子，但大多数情况下，我们做而不是都有一个证明来证明它的正确性(主要是因为盒子中的东西太复杂，无法进行分析)，它更像是一种统计确定性:我们训练了系统，系统在所有测试中都表现得很好。

那么，有问题吗？

Q1。这两个模糊的想法现在有意义吗？

Q2。是否可以将人工智能用于安全关键系统并确保其性能？我们能确定人工智能的确定性行为吗？有什么推荐信吗？

Q3。例如，我想已经有一些公司在汽车领域销售基于人工智能的安全关键系统。他们如何才能为这样一个限制性的市场证明他们的产品？

编辑

关于Q1:多亏了Peter，我意识到，例如，在汽车方面，没有关于完全确定性的要求。对于汽车系统来说，亚洲D级是最具限制性的水平，它只需要一个失效概率的上限。其他ISO26262标准和级别也是如此。我将进一步阐述这一问题：

Q1。在系统设计中，在任何级别/子组件上，在任何领域/领域中，是否有任何安全标准要求完全的确定性？

关于Q2:尽管不需要完全的确定性，但问题仍然存在。

关于Q3:现在我明白了他们是如何获得认证的。无论如何，任何参考都将是非常欢迎的。

Answer 1

实际上，没有任何解决方案或技术能够获得安全关键系统的认证。在指定系统时，确定了危害，定义了要求，以避免或减轻这些危害，使之达到适当程度的可信度，并提供证据表明设计和实现符合这些要求。认证只是简单地表明，在特定系统的范围内，已经提供了适当的证据来证明风险(某些事件发生的可能性的乘积，以及如果发生该事件时的不利影响)低得可以接受的说法。最多是为某一特定产品(在你的情况下是人工智能引擎)提供或开发一套证据，这些证据将在其他系统组件(为此也需要获得或提供证据)和将这些部件组装成一个工作系统的手段的背景下加以分析。将获得认证的是系统，而不是用于建立认证的技术。与某一特定技术或子系统一起提供的证据很可能被重复使用，但它将根据所使用的技术或子系统的每个完整系统的要求加以分析。

这就是为什么有些技术被描述为“可认证的”而不是“认证的”。例如，一些实时操作系统(RTOS)的版本带有一组证据，可以用来支持接受它们所使用的系统。然而，这些操作系统没有被证明可用于安全关键系统，因为必须根据使用实时操作系统的每个系统的总体需求来评估证据。

支持形式证明为某些类型的系统或子系统提供所需的证据。通常情况下，形式证明方法不能很好地扩展(证明的复杂性至少和系统或子系统的复杂性一样快)，所以通常采用证明以外的方法。无论如何提供证据，都必须根据正在建立的整个系统的要求对其进行评估。

现在，人工智能会在哪里适应这个呢？如果要使用人工智能来满足与减轻或避免危害有关的要求，就必须提供证据，证明它们在整个系统中适当地做到了这一点。如果人工智能未能满足这些要求，则整个系统(或因人工智能未能满足要求而受到影响的其他子系统)必须控制或减轻这些影响，这样整个系统才能满足其整套要求。

如果大赦国际的存在妨碍提供充分的证据，证明整个系统符合其要求，那么就无法使用人工智能。无论在技术上是否不可能提供这类证据，或者如果现实世界的限制因素妨碍在系统开发的情况下交付该证据(例如，对现有人力、时间和其他资源的限制影响了交付系统和提供符合其要求的证据的能力)，这种情况也是如此。

对于不确定行为的子系统，如人工智能的学习，随着时间的推移，任何重复的结果都会使提供所需的证据变得更加困难。所提供的证据差距越大，就越有必要提供证据证明系统的其他部分减轻已查明的危险。

一般来说，测试本身被认为是提供证据的糟糕手段。基本原因是，测试只能根据需求确定是否存在缺陷(如果测试结果表明了的话)，而不能提供没有缺陷的证据(即通过所有测试用例的系统不能提供任何未经测试的证据)。困难在于提供了一个理由，即测试提供了足够的需求覆盖率。这就引入了在具有安全相关需求的系统中使用人工智能的主要障碍--在系统级别的工作中有必要提供满足要求的证据，因为向AI提供足够的基于测试的证据是非常昂贵的。

在系统级别上使用的一种策略是分区。人工智能与其他子系统的相互作用将受到极大的限制.例如，AI可能不会直接与可能造成危险的执行器交互，而是会向其他子系统提出请求。然后将证据的负担放在其他子系统满足需求的程度上，包括它们与执行器的交互方式。作为提供这一证据的一部分，其他子系统可以检查来自人工智能的所有数据或请求，而忽略任何可能导致不适当的驱动(或任何其他违反系统总体要求的行为)。因此，AI本身可能根本不符合任何与安全相关的要求--它可能只是获取信息或向其他子系统提供信息，而那些其他子系统实际上更直接地为满足整个系统需求做出了贡献。鉴于人工智能的开发者可能无法提供所有所需的证据，因此，系统开发人员将试图限制人工智能(如果使用)对整个系统的行为可能产生的影响，这是合理的。

另一种策略是限制人工智能的学习机会。例如，将提供每一套培训的证据-在人工智能本身的范围内-说明人工智能以可预测的方式运作。每次更新培训集时，总共都需要提供这些证据，然后需要重新对整个系统进行分析。这可能是一项重要的工作(即一个漫长而昂贵的过程)，因此，人工智能或其培训集可能不会以特别高的速度得到更新。