python中离散点的极限密度(LDDP)

Question

信息论中的香农熵衡量了离散随机变量经验分布中的不确定性或无序性，而微分熵衡量的是连续随机变量的经验分布。然而，微分熵的经典定义是错误的，并用离散点的极限密度(LDDP)进行了修正。scipy或其他计算LDDP吗？如何在python中估计LDDP？

Answer 1

由于LDDP等同于从密度函数m(x)到概率分布p(x)的负KL散度，因此您可以使用KL散度的许多实现之一，例如scipy.stats.entropy。

一个合适的步骤(假设你有有限的支持)是通过对连续分布的支持进行采样，并计算KL散度来用离散分布近似连续分布。

如果这是不可能的，那么我能想到的唯一选择可能是使用数值(或者可能是分析？)集成方法，你应该有很多这样的方法。一个简单的第一步是尝试蒙特卡洛方法。