使用机器学习算法数据结构存储信息(内存)

Question

免责声明:我是机器学习领域的新手，如果我的问题有些天真，请原谅.我已经在网上搜索过这个话题，没有发现什么有趣的东西，所以我在这里问.

我想知道ML算法是否可以作为存储数据的一种方式？有一些程序会“包含”成千上万小数点的PI (例如https://www.quora.com/What-is-the-smallest-C-program-generating-pi-without-using-the-math-library)：在某种程度上，它是最初千位小数点PI的“压缩”版本，对吗？

同样，ML (例如深层神经网络)似乎存储信息。我们能弄清楚一个深度神经网络中存储了多少位吗？我们是否可以使用ML算法数据结构来压缩和检索信息(即使不是100%的精确性)？

是否有(不太技术性的)论文来讨论这些可能性？

谢谢:)

Answer 1

在链接你张贴完整(无限长)的PI信息存储，而不仅仅是1000个小数。但是它需要有限的时间/迭代才能得到所有信息;-)。

对于你的问题:就像你提到的那样，学习/分类器存储关于你训练他们的数据的信息。但它们的目的并不是检索原始数据，而是对新数据进行分类/评估。因此，我谨慎地说：“不，我们不能简单地用人工智能算法压缩数据，也不能得到原始数据。”

一个特例是K近邻算法。在这里，您可以恢复原始数据，但这是因为它不是压缩的，而是以多维数据点的形式保存的。

你问题的最难的部分是我们如何量化存储在分类器(深层神经网络)中的信息。如果您有一个Hopfield-网络 (wich保存和识别图像/模式)。但不是深层神经网络)，你可以通过计算保存的模式和它们的大小来量化信息。对于决策树，您可以计算规则(以及每条规则的信息增益)。对于一个神经网络，你可以得到神经元的数目，也许是每个或全部的熵。但是，正如你所看到的，指定存储在经过训练的学习算法中的信息是一个很难回答的问题。

我希望我能回答你的一些问题。

干杯