隐私丢失是一个随机变量吗？

Question

“标准”一书(Dwork & Roth，2014年)对隐私损失的定义如下(第18页)

数量

\mathcal{L}^{(\xi)}_{\mathcal{M}(x) || \mathcal{M}(y)} = \ln \left( \frac{\Pr[\mathcal{M}(x) = \xi]}{\Pr[\mathcal{M}(y) = \xi]} \right)

对我们来说很重要；我们将其称为由于观察\xi而引起的隐私损失。...和往常一样，概率空间在机构\mathcal{M}的硬币上。

所以它没有说它是一个随机变量。

在我看来，它只是一个实值函数\mathcal{L}: (\mathcal{M} \times x \times y \times \xi) \to \mathbb{R}，因为它输出两个概率的比率(数字β)的日志。0和1)。

“概率空间在硬币上”有点令人困惑，但我想它们是指\Pr[.]函数，因为\mathcal{M}是概率密度或离散分布。

然而，在许多地方，我遇到了隐私丢失的随机变量，例如：

阿巴迪，M.，楚，A.，古德费罗，I.，McMahan，H. B.，Mironov，I.，Talwar，K.，& Zhang，L. (2016)。有差别隐私的深度学习。2016年ACM SIGSAC计算机与通信安全会议纪要，308-318。https://doi.org/10.1145/2976749.2978318

隐私损失是一个随机变量，依赖于算法中加入的随机噪声。...我们计算隐私损失随机变量的日志矩，它们是线性组成的。然后利用矩界，结合标准的马尔可夫不等式，得到尾部界，即差别隐私意义下的隐私损失。

或者在这里：

http://www.gautamkamath.com/CS860notes/lec5.pdf

定义2.让Y和Z是两个随机变量。隐私丢失随机变量\mathcal{L}_{Y||Z}为...

我的问题是:如果隐私损失是一个随机变量，它必须有一个相应的概率分布，即积分为1。但这似乎不是两个PDFs (Laplace，Gaussian)或离散分布(指数机制等)的对数的一般情况。它也从来没有被提到作为一个条件的隐私损失。

那么:我是遗漏了什么，还是它只是一个误导性(语义错误)的名字？

Answer 1

它是观察\xi的函数，因此，如果您的观察本身是从合理的概率分布中提取出来的(例如，对于M(x)和M(y)不可能出现的观测值)，那么它就是一个随机变量。通常，我们考虑从匹配M(x)或M(y)的分布中获取观测结果的情况。请注意，函数本身并不表示概率分布，因此不需要将其和/积分为1。

举个例子也许会有帮助。假设我有两个四边骰子，其中一个(如模x)分别产生1、2、3、4的概率分别为1/4、1/4、1/6、1/3，而另一个(如y)则分别以1/4、1/4、1/3、1/6的概率产生它们。以\xi作为模具滚动的数字，在基数2中使用对数，然后\mathcal L(\xi)根据\mathcal L(1)=0、\mathcal L(2)=0、\mathcal L(3)=-1和\mathcal L(4)=1取三个可能的值。

如果轧制的模具是模具x，那么\mathbb P(\mathcal L(\xi)=0)=1/2，\mathbb P(\mathcal L(\xi)=-1)=1/6和\mathbb P(\mathcal L(\xi)=1)=1/3。我们确认概率之和等于1。

同样，如果轧制的模具是模具y，那么\mathbb P(\mathcal L(\xi)=0)=1/2、\mathbb P(\mathcal L(\xi)=-1)=1/3和\mathbb P(\mathcal L(\xi)=1)=1/6。

请注意，第一种情况下的预期隐私损失为1/6，而在第二种情况下为-1/6。在这两种情况下，它都是一种衡量预期信息(以位)的度量，以支持一种信念，即每个模具辊都会获得x模具。