数值稳定实现

Question

我需要在Matlab中计算向量的归一化指数。

简单写字

res = exp(V)/sum(exp(V))

V元素中的溢出大于log(realmax) = 709.7827。(我不确定地下水流的情况。)

我应该如何实现它以避免数值不稳定？

更新:关于如何避免溢出，我收到了很好的答复。然而，我仍然很高兴听到你的想法，可能在代码下流动。

Answer 1

下面的方法避免了溢出，方法是减去指数，然后取指数，而不是将指数除以：

res = 1./sum(exp(bsxfun(@minus, V(:), V(:).')))

一般情况下，只要在日志域中尽可能长时间地工作，并且在结束时才取指数，就可以避免溢出。

Answer 2

答案与你之前的问题非常相似。用数学！

exp(V)=exp(V-max(V))*exp(max(V))
sum(exp(V))=sum(exp(V-max(V))*exp(max(V)))=exp(max(V)*sum(exp(V-max(V))))

将两者结合在一起：

res=exp(V-max(V))*exp(max(V))/exp(max(V)*sum(exp(V-max(V)))=exp(V-max(V))/sum(exp(V-max(V)))

对输入范围具有鲁棒性的代码：

res=exp(V-max(V))/sum(exp(V-max(V)))