从实际数据估计微分熵的最新进展

Question

我正在寻找一个最先进的图书馆来估计有限样本的微分熵。在理想世界中，它将具有以下特点：

• 处理实值多维数据
• 为高性能进行优化(例如在C中实现)
• 注意样本熵估计器中的偏差并加以纠正(例如，Paninski2003)
• 使用比朴素二进制估计更好的方法(例如，克拉斯科夫估计)

我有什么选择？

Answer 1

首先:非主题，因为这类问题有https://softwarerecs.stackexchange.com/ (但就我个人而言，我并不介意)。

第二，你不能证明是否定的，但如果你的数据是连续的，多维的，我想说的是，所有这些框中没有任何东西是从盒子里勾出来的。

我已经在python中实现了Kraskov估计器和一系列相关的度量，当时除了在Mathworks (我的项目可以在这里找到)上用MATLAB编写的几个可疑的脚本之外，没有其他任何东西可供公开使用。大多数重物要么向下推到C(因为我使用cKDTree查找最近的邻居)，要么推到LAPACK/BLAS (即Fortran)，因此我认为进一步优化不会有什么收获。至少对于我的数据集来说，python“开销”比其他所有东西都要小。在已发布的存储库版本中，我不做任何偏差校正。这是通过设计来实现的，因为我认为，如果变量之间的交互足够小，您需要担心偏差，那么真的需要来担心它。所有的偏倚校正方法都有一堆假设，提供任何东西的盒子外，弊大于利，海事组织。

还有NPEET，它也在python中，也是围绕Kraskov估计器构建的，非常非常类似于我的东西(事实上，当我第一次阅读源代码时，我以为他们已经分叉了我的回购，直到我看到他们在我之前一个月第一次发布了他们的代码)。

最后是约书亚·本吉奥团队开发的一种算法水雷。他们的方法在概念上与Kozachenko/Kraskov有很大的不同，而且读起来非常有趣。他们去年发布了他们的方法，但是已经有几个在github上实现了。我没有机会亲自尝试它，也没有详细地看过任何实现，所以我对它没有一个知情的意见(除了我是约书亚·本吉奥总体工作的忠实粉丝之外)。这篇论文看上去很有希望，但到目前为止我还没有看到一个独立的评估(但这并不意味着没有)。然而，他们在小批量上训练一个梯度下降的神经网络来估计相互信息，所以我不期望它是快速的。完全没有。

对于离散/二进制数据，有Ilya Nemenman估计量，它会勾除第一个框之外的所有框，这大概是您的关键标准。