带阈值的潜在变量

Question

估计潜在变量的ML技术有很多，如EM算法。是否有允许每个潜在变量的阈值的技术？

我有一个包含10个变量(X_1,\dots,X_{10})和结果Y的特性空间。7的X特性是已知的(我有他们的观察)，3是未知的。每个未知数都可以在从0到一个正定数的范围内。

您会推荐什么ML技术来用上面描述的设置来估计上面的潜在变量？

Answer 1

re.“估计潜在变量”

在一组模型中，为了适应“最佳”模型而训练的数量称为超参数。对于模型的任何实例，它们都是固定的。对于优化例程而言，它们是搜索空间的索引。增加对超参数范围的约束，既减少了优化的搜索空间，又需要在典型梯度下降期间进行额外的“可行性”检查。

当变量纯粹是模型的内部变量，即不可观测的变量时，它是“潜在的”。它的意义将取决于上下文和你的解释，因为它不能与任何观察到的东西相比较。您很少希望在模型中限制该范围。

我建议让超参数和潜在变量不受约束，如果你想读一个输出，一个“神经元”-like响应，以得到你想要的:例如sigmoid / tanh / softmax。

Answer 2

好的。只需将范围视为潜在变量的先验变量即可。通常我们使用乏味的先验(例如，正态分布，均匀分布)，但在您的情况下，如果X_7是未知的，并且在范围[0, 7.3]中，那么X_7的先验可以是该范围上的均匀分布。然后应用EM算法的机械原理，使其全部工作。