- 综合排序
- 最热优先
- 最新优先
- 来自专栏前行的CVer
VAE介绍
VAE，即变分自编码器，是常见的生成模型其中一类。常见的生成模型类型还有GAN、flow、DDPM等。 前置知识 1. VAE不将输入图片映射成“数值编码”，而将其映射为“分布”，VAE可以生成没有见过的图片。 以下是AE和VAE的对比图： VAE的结构图如下： 训练VAE时，损失函数包括两部分： 为了让输出和输入尽可能像，所以要让输出和输入的差距尽可能小，此部分用MSELoss来计算，即最小化 MSELoss VAE适合生成未见过的数据，但不能控制生成内容。而CVAE（Conditional VAE）可以在生成数据时通过指定其标签来生成想生成的数据。 注意label并不参与Loss计算，CVAE的Loss和VAE的Loss计算方式相同。
1.2K91编辑于 2023-10-18 - 来自专栏CreateAMind
vae学习笔记
https://kexue.fm/archives/5383 三篇vae写的非常好，个人学习记录如下： 建议直接阅读原文。
75810发布于 2019-06-20 - 来自专栏CreateAMind
Deep feature vae
此次介绍一下基于vae的一个经典改进DFC-VAE，所谓的dfc就是deep feature consistent，原文是这样说的“Instead of using pixel-by-pixel loss , we enforce deep feature consistency between the input and the output of a VAE, which ensures the VAE the output to have a more natural visual appearance and better perceptual quality. “ １．原始ＶＡＥ的不足 对于VAE 关系的重建好坏的主要是第一项loss，即reconstraction loss,正常的VAE中，此项为两张图片之间的ＭＳＥ ｌｏｓｓ,然而ＭＳＥ ＬＯＳＳ并不能捕捉到图片中的空间关系与知觉信息，原文是这样说的
1K20发布于 2019-10-14 - 来自专栏CreateAMind
理解β-Vae中的disentangling
https://www.groundai.com/project/understanding-disentangling-in-vae/ 了解β- Vae中的disentangling Christopher 考虑到率失真理论的观点，我们展示了随着训练的进行，在优化β- VAE中修改后的ELBO界限时，出现与数据变化的基本生成因素相一致的表示的情况。 从这些见解中，我们提出对β- VAE 培训体制的修改，逐步增加培训期间潜在代码的信息容量。这种修改有助于β- VAE 中解缠结表示的强大学习，而无需在重建准确性方面进行折衷。 ?
1.2K20发布于 2018-07-20 - 来自专栏CreateAMind
vae 相关论文 表示学习 1
We demonstrate that beta-VAE with appropriately tuned beta > 1 qualitatively outperforms VAE (beta = SCAN: Learning Hierarchical Compositional Visual Concepts 基于beta vae 抽象还不够，符号化的思路还不错 VAE with a VampPrior Through a series of experiments we show how such a hyperspherical VAE, or-VAE, is more suitable for https://github.com/nicola-decao/s-vae-tf ? ? ? ? Understanding disentangling inβ-VAE Christopher P. https://arxiv.org/pdf/1807.09245.pdf 两年前出的更新的 代码下面: 视频展示运动的VAE ?
1.5K20发布于 2018-09-27 - 来自专栏又见苍岚
对 VAE 的理解与实现
之前我们介绍过 ELBO 和 VAE，本文记录我自己的理解与实现。 问题描述 假设我们有来自某一未知分布 p 的随机变量观测样本集 X，如何从 X 获取 p？ 贝叶斯评估器 的道路 ELBO 的神奇之处在于同时结合了生成器和评估器的分布描述方式，在多处受阻的境况中巧妙运用贝叶斯公式找到了一种可以参数化、可以优化、贪心最大化变量 (ELBO) 的方法 VAE 我理解 VAE 是对 ELBO 的直接实现 VAE 具象化了 ELBO 推导中的分布 p(z) = N(0,1) p(z|x)=N(z;\mu (x), diag(\sigma(x)^2 解码器）可以依赖 N(0,I) 上的采样生成近似 X 的样本，也就得到了近似 p 的生成器，以此近似描述 p 的分布 实现 以瑞士卷(Swiss Roll) 数据作为目标分布 p 在瑞士卷数据集上实现 VAE /vae/ https://www.zywvvd.com/notes/study/probability/elbo/elbo/ https://github.com/zywvvd/SwissRoll-VAE-pytorch
49030编辑于 2022-09-28 - 来自专栏CreateAMind
Variational Autoencoder (VAE) 代码demo
注释解释了loss的两部分计算方法 from https://jmetzen.github.io/2015-11-27/vae.html ?
1K20发布于 2018-07-25 - 来自专栏AI科技评论
VAE 的前世今生：从最大似然估计到 EM 再到 VAE
本文旨在为 VAE 和 EM 提供一种统一的视角，让具有机器学习应用经验但缺乏统计学背景的读者最快地理解 EM 和 VAE。 此时，ELBO 的梯度为： 其中， 是两个各向同性高斯分布之间的 KL 散度，其解析解为： VAE 算法的流程如下： 7 VAE 的前沿研究话题 （1）VAE 中的解耦 VAE 和普通的自编码器之间的最大差别在于隐变量具有先验 VAE 需要最小化 ，因此限制了 z 的空间。同时，VAE 也需要在模型中最大化训练数据 x 的对数似然。 VAE 的简单变体 β-VAE 为 KL 损失引入了一个大于 1 的放缩因子，从而提升解耦的重要性。 近期，许多工作（例如，VQ-VAE）将 VAE 与自回归模型结合，成功地提升了保真度。利用大规模文本-图像对预训练的 CogView 将 VQ-VAE 扩展到了图文生成领域。
1.7K20编辑于 2023-04-12 - 来自专栏CreateAMind
Nonparametric VAE for Hierarchical Representation Learning
The recently developed variational autoencoders (VAEs) have proved to be an effective confluence of the rich repre- sentational power of neural networks with Bayesian meth- ods. However, most work on VAEs use a rather simple prior over the latent variables such as standard normal distribu- tion, thereby restricting its applications to relatively sim- ple phenomena. In this work, we propose hierarchical non- parametric variational autoencoders, which combines tree- structured Bayesian nonparametric priors with VAEs, to en- able infinite flexibility of the latent representation space. Both the neural parameters and Bayesian priors are learned jointly using tailored variational inference. The resulting model induces a hierarchical structure of latent semantic concepts underlying the data corpus, and infers accurate representations of data instances. We apply our model in video representation learning. Our method is able to dis- cover highly interpretable activity hierarchies, and obtain improved clustering accuracy and generalization capacity based on the learned rich representations.
38710发布于 2018-07-24 - 来自专栏CSDNToQQCode
Stable Diffusion——外挂VAE模型
stablediffusion种的vae作用是什么? Stable Diffusion 是一种基于变分自编码器（VAE）的深度学习模型，其作用主要是用于文本生成图像。 具体来说，VAE是一种生成模型，可以学习到数据的潜在表示空间，并将其用于生成新的数据样本。 Stable Diffusion 的 VAE 模型在训练过程中会学习到一组潜在变量，这些潜在变量可以捕捉到图像中丰富的语义和结构信息。 我们平时主要应用的是：Vae-ft-mse-840000-ema-pruned. Safetensors 因为它是最能接近实际拍摄的效果的。 其它的vae ClearVAE-NansLessTest.safetensors madebyollin-sdxl-vae-fp16-fix.safetensors 对应的还有vae-ft-mse
2.9K10编辑于 2023-12-25 - 来自专栏CreateAMind
Adversarial Variational Bayes: Unifying VAE and GAN 效果
https://github.com/LMescheder/AdversarialVariationalBayes
59530发布于 2018-07-24 - 来自专栏CSDN社区搬运
AIGC之VAE详解与代码实战
那么VAE是怎么做的，通过我们前面那么多介绍，想必应该很清楚了，单独只有一个G网络，根本是无法实现生成任务的。GAN是在后面加的判别器能更好的求解损失。 那么能否在前面加一个什么网络，使我们的损失函数好做一些，能够求解呢，当然VAE便是如此，在前面加上一个解码网络，接下来我们看看VAE这个过程。 而如果想要有生成能力，VAE巧妙的使laten space满足正太分布，这样在正太分布上采样即完成了一个生成模型。 ，在加上一个KL散度来约束编码器，而事实上VAE中的V（变分）就是因为VAE的推导就是因为用到了KL散度（进而也包含了变分法）。 此次采用miniset来作为训练数据，看VAE的实战效果。
62810编辑于 2025-01-02 - 来自专栏人工智能LeadAI
花式解释AutoEncoder与VAE
最后是VAE的代码实现 class VAE(nn.Module): def __init__(self): super(VAE, self). self.encode(x) z = self.reparametrize(mu, logvar) return self.decode(z), mu, logvar VAE VAE的缺点也很明显，他是直接计算生成图片和原始图片的均方误差而不是像GAN那样去对抗来学习，这就使得生成的图片会有点模糊。 现在已经有一些工作是将VAE和GAN结合起来，使用VAE的结构，但是使用对抗网络来进行训练，具体可以参考一下这篇论文(https://arxiv.org/pdf/1512.09300.pdf)。
2.2K50发布于 2018-03-08 - 来自专栏AI算法能力提高班
VAE-变分自编码器
区别 VAE VAE 结构 image-20230906161221848 image-20230906162233823 结论 实现encoder和decoder就平常的方法来，CV的CNN ，NLP的LSTM等等，只是VAE在中间转化的时候多加了点东西。 ---- 向量量化变分自编码器（Vector Quantised，VQ-VAE ） https://github.com/ritheshkumar95/pytorch-vqvae VAE 学习连续的潜在表示 ，而 VQ-VAE 学习离散的潜在表示 VQ-VAE其实就是一个AE（自编码器）而不是VAE（变分自编码器） VQ-VAE 假定所有隐变量具有统一的先验，因此所有隐变量都被视为具有同等的可能性 隐空间 VQ-VAE 几乎比目前任何其他算法更好地表示多样化，复杂的数据分布。
1.1K10编辑于 2023-09-13 - 来自专栏CreateAMind
vae 相关论文 表示学习 2
Disentanglement in Variational Autoencoder https://arxiv.org/pdf/1804.03599.pdf Understanding disentangling inβ-VAE https://github.com/miyosuda/disentangled_vae https://github.com/rdevon/DIM 互信息最新论文代码 https://github.com Isolating Sources of Disentanglement in Variational Autoencoder 代码 https://github.com/nicola-decao/s-vae-tf 球形vae代码 https://github.com/miyosuda/disentangled_vae 互信息论文mine和这几篇的关系是？？ gqn 多维度信息跟patation vae mul sensor data？？ Structured Disentangled Representations ? ? ? ? ? ? ?
1.1K40发布于 2018-09-27 - 来自专栏开源心路
AI绘画中VAE压缩图像
概念 变分自编码器（Variational Autoencoder, VAE）中的潜在空间（latent space）是一个核心概念，对理解 VAE 的工作原理至关重要。 历史 变分自编码器（Variational Autoencoder, VAE）的历史和演变可以概述为以下几个关键阶段： 初始发展（2013年左右）： VAE 的概念最初由 Kingma 和 Welling VAE 提供了一种有效的方式来学习和推断复杂数据的潜在表示。 也出现了一些变体，如条件 VAE（CVAE）和序列变分自编码器（SVAE），这些变体扩展了 VAE 在特定场景下的应用。 = AutoencoderKL.from_pretrained('runwayml/stable-diffusion-v1-5', subfolder='vae') vae = vae.to(device
79910编辑于 2023-12-23 - 来自专栏又见苍岚
变分自编码器 VAE
在结构上，VAE 与自编码器相似。它也由编码器（也称为识别或推理模型）和解码器（也称为生成模型）组成。 VAE 和自编码器都试图在学习潜矢量的同时重建输入数据。 但是，与自编码器不同，VAE 的潜在空间是连续的，并且解码器本身被用作生成模型。 VAE即在AE的基础上引入变分的思想，使其能够进行数据生成。 VAE建模着重考虑 过程的有效性，其中 z 为隐变量特征的分布。 图片 图片 VAE原理 图片 图片 VAE 结构 图片 图片 VAE 确定方向的原因 图片 考虑所有可能的属性，最终得到描述输入的分布。 super(VAE, self).
2K20编辑于 2022-09-27 - 来自专栏CreateAMind
Adversarial Variational Bayes: Unifying VAE and GAN 代码
This repository contains the code to reproduce the core results from the paper Adversarial Variational Bayes: Unifying Variational Autoencoders and Generative Adversarial Networks.
65620发布于 2018-07-24 - 来自专栏CreateAMind
改进VAE的两篇论文-有代码
代码： https://github.com/jmtomczak/vae_householder_flow https://github.com/openai/iaf ? ? ? ? ? ? ? ?
1.2K30发布于 2018-07-25 - 来自专栏CreateAMind
代码：lossless 压缩 10x faster VAE
paper1： [1] Anji Liu, Stephan Mandt and Guy Van den Broeck. Lossless Compression with Probabilistic Circuits, In International Conference on Learning Representations (ICLR), 2022.
43020编辑于 2022-11-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号