用pymc3进行伽马分布的曲线拟合

Question

假设我使用pymc3为伽马分布生成一些样本数据：

import pymc3 as pm
import arviz as az

# generate fake data:
with pm.Model() as model2:
    g = pm.Gamma('g', alpha=1.7, beta=0.097)
    
syn = g.random(size=1000)
plt.hist(syn, bins=50);

​

​

现在，我将创建一个模型来拟合该数据上的伽马分布：

model = pm.Model()

with model: 

    # alpha
    alpha = pm.Exponential('alpha', lam=2)

    # beta
    beta = pm.Exponential('beta', lam=0.1)

    g = pm.Gamma('g', alpha=alpha, beta=beta, observed=syn)

    trace = pm.sample(2000, return_inferencedata=True)

这将正确地获得创建原始假数据的值和分布。现在，我想绘制pdf (但我不知道该怎么做！)。我看到了一个这样的例子：

with model:
    post_pred = pm.sample_posterior_predictive(trace.posterior)
# add posterior predictive to the InferenceData
az.concat(trace, az.from_pymc3(posterior_predictive=post_pred), inplace=True)

其创建包含来自估计的pdfs的样本的矩阵。我用以下命令绘制结果：

fig, ax = plt.subplots()
az.plot_ppc(trace, ax=ax)
ax.hist(syn, bins=100, alpha=.3, density=True, label='data')
ax.legend(fontsize=10);
plt.xlim([0,60])

这就给出了：

​

​

这不是我要找的。相反，我想从alpha和beta的后部进行采样，以绘制许多gamma pdf。我可以通过采样和绘制线条来做到这一点，但我认为这必须是pymc3或arviz已经实现的东西，但我就是不知道。如果你能告诉我如何规划我想要的东西，那就提前谢谢。

Answer 1

对于这个特定的任务，我建议结合使用xarray (ArviZ的InferenceData基于xarray数据集)和scipy来生成pdf。

如果使用正确的维度，以便广播所有内容，则可以使用scipy.stats.gamma.pdf为特定的alpha和beta值生成pdfs。假设后部被存储为xarray数据集，我们可以使用xarray.apply_ufunc来处理广播，这样我们就可以使用scipy来生成要绘制的pdf。

第一步是将xrange存储为xarray对象，否则xarray将不知道如何正确广播。第二种方法是使用apply_ufunc生成pdf。请注意，我在这里为每一张画生成pdf，下面还有一种选择随机子集的方法。

import scipy.stats as stats
import xarray as xr

xrange = xr.DataArray(np.linspace(0, 90, 100), dims="x")
xr.apply_ufunc(
    lambda alpha, beta, x: stats.gamma(a=alpha, scale=1/beta).pdf(x),
    trace.posterior["alpha"], 
    trace.posterior["beta"], 
    xrange
)

为了快速地仅绘制对应于绘图子集的pdfs，有几种选择，这里是使用上面的想法的一种可能性。

# get random subset of the posterior
rng = np.random.default_rng()
idx = rng.choice(trace.posterior.alpha.size, 200)
post = trace.posterior.stack(sample=("chain", "draw")).isel(sample=idx)
pdfs = xr.apply_ufunc(
    lambda alpha, beta, x: stats.gamma(a=alpha, scale=1/beta).pdf(x),
    post["alpha"], post["beta"], xrange,
)
# plot results, for proper plotting, "x" dim must be the first
plt.plot(xrange, pdfs.transpose("x", ...));

​

​

Answer 2

一个极其缓慢和低效的解决方案是：

alphas = np.random.choice(trace.posterior["alpha"].data.flatten(), size=500)
betas = np.random.choice(trace.posterior["beta"].data.flatten(), size=500)
xrange = np.linspace(0, 90, 1000)
pdfs = []
for alpha, beta in zip(alphas, betas):
    with pm.Model() as gammamodel:
        gam = pm.Gamma("gam", alpha=alpha, beta=beta)
    pdf = gam.distribution.logp(xrange).eval()
    pdfs.append(np.exp(pdf))

fig, ax = plt.subplots()
ax.hist(
    data, bins=np.arange(0, len(np.unique(data))), alpha=0.3, density=True, label="data"
)
for pdf in pdfs:
    ax.plot(xrange, pdf, "grey", alpha=0.2)