- 综合排序
- 最热优先
- 最新优先
- 来自专栏产品经理的人工智能学习库
学习向量量化 – Learning vector quantization | LVQ
文章目录 什么是学习向量量化？ K邻近算法的缺点是你需要坚持整个训练数据集。 学习向量量化算法（或简称LVQ）是一种人工神经网络算法，允许您选择要挂起的训练实例数量，并准确了解这些实例应该是什么样子。 ? 学习矢量量化算法（简称LVQ） LVQ的表示是码本向量的集合。 百度百科版本 学习向量量化(Learning Vector Quantization,简称LVQ)属于原型聚类，即试图找到一组原型向量来聚类，每个原型向量代表一个簇，将空间划分为若干个簇，从而对于任意的样本
1.7K20发布于 2019-12-18 - 来自专栏每周聚焦
FaissPQ索引简介
索引召回率耗时暴力检索最优最差基于图的索引优优乘积量化次优优3.乘积量化3.1 向量量化在介绍乘积量化前，首先需要介绍向量量化的基本概念。 向量量化和信号编码的概念基本类似，就是将由连续值构成的向量xx从欧式空间映射到一个由有限离散值构成的集合C={c_i, i \in [1,l]}C=ci,i∈[1,l]中,定义该映射为qq,则q(x) 3.2 乘积量化 乘积量化的思路就是将向量分割成多段后，对每一段分别进行向量量化。 3.3 空间占用对比假设向量维度为D,向量量化的codebook大小为kk,存储codebook需要kDkD的空间;乘积量化每个分段只需要k^*k∗的codebook大小,存储codebook需要k^* 构建第一层的量化器q_cqc,codebook C_cCc,得到每个向量X的向量量化结果x_c=q_c(x)xc=qc(x) 2.
75410编辑于 2022-09-29 VQ-VAE：离散表征学习的图像压缩利器
具体表现为： 模糊性：生成的图像往往模糊，缺乏细节 表征效率低：连续表征难以精确捕捉数据的本质特征 VQ-VAE 的创新点 VQ-VAE 提出了 ** 向量量化 (Vector Quantization 向量量化 (Vector Quantization) 这是 VQ-VAE 的核心步骤。 对于编码器输出的每个向量\(z_e(x)\)，向量量化过程找到码本中最近的向量\(e_j\)： \(e_j = \arg\min_{e_i\in E} \|z_e(x) - e_i\|^2\) 然后用这个最近的码本向量 基础知识准备 熟悉变分自编码器 (VAE) 的原理 理解向量量化的基本概念 掌握深度学习的基本原理和常用框架 (如 PyTorch、TensorFlow) 2. 模型优化 探索不同的码本设计方法，提高表征效率 研究如何优化向量量化过程，减少计算复杂度 开发更高效的损失函数，提升模型性能 2.
1.2K10编辑于 2025-10-14- 来自专栏机器之心
学界 | 面向无监督任务：DeepMind提出神经离散表示学习生成模型VQ-VAE
选自arXiv 机器之心编译 参与：路雪、李泽南 DeepMind 最近提出的 VQ-VAE 是一种简单而强大的生成模型，结合向量量化和变分自编码器学习离散表示，实现在图像识别、语音和对话等任务上的无监督学习 该模型依赖于向量量化（vector quantization，VQ），易于训练，不会出现大的变量，避免「后验崩溃」（posterior collapse）问题，该问题通常由被忽略的隐变量引起，对很多具有强大解码器的 这篇论文介绍了 VQ-VAE，该模型使用离散隐变量，受向量量化的启发用一种新的方式进行训练。后验和先验分布是明确分类的，从这些分布中提取的样本可通过嵌入表进行索引。 我们提出了向量量化-变分自编码器（Vector Quantised-Variational AutoEncoder，VQ-VAE），它与 VAE 在两个关键的方面存在不同：1. 为了学习离散隐变量表示，我们吸收了向量量化（VQ）的思路。使用 VQ 方法可以让模型绕过「后期崩溃」的问题——隐变量在遇到强大的自回归解码器时被忽略，这种问题通常会在 VAE 框架中出现。
1.6K40发布于 2018-05-10 - 来自专栏机器之心
学界 | 分离特征抽取与决策制定，如何用6-18个神经元玩转Atari游戏
选自arXiv 机器之心编译 参与：路 本论文提出了一种在复杂的强化学习设置中同时又独立地学习策略和表征的新方法，通过基于向量量化和稀疏编码的两种新方法来实现。 这通过基于向量量化（Vector Quantization，VQ）和稀疏编码（Sparse Coding，SC）的两种新方法来实现，研究者将这两种方法分别称为「Increasing Dictionary 状态表征通过基于向量量化和稀疏编码的新算法生成，状态表征与网络一道接受在线训练，且能够随着时间不断扩大表征词典规模。我们还介绍了允许神经网络能和进化策略处理维度变化的新技术。
52900发布于 2018-07-30 - 来自专栏算法channel
机器学习常见的聚类算法(上篇)
3.2 学习向量量化 学习向量量化是一个监督学习的算法，但他的思想和一般的无聚类算法比较相似： 向量量化的思路是，将高维输入空间分成若干不同的区域，对每个区域确定一个中心向量作为聚类的中心，与其处于同一区域的输入向量可用该中心向量来代表
1.3K00发布于 2018-07-31 - 来自专栏arXiv每日学术速递
何凯明入职 MIT 首次带队提出Diffusion Loss，借鉴扩散模型思想让自回归模型抛弃矢量量化 ！
通过移除向量量化，作者的图像生成器在享受序列建模速度优势的同时，取得了强大的成果。 作者希望这项工作将激发在其他连续值领域和应用中使用自回归生成的兴趣。 如果提出每个标记概率分布的其他模型，自回归模型可以在没有向量量化的情况下处理。 基于这一观察，作者提出通过在连续值域上操作的扩散过程来对每个标记的概率分布进行建模。 向量量化分词器难以训练，且对梯度近似策略敏感。它们的重建质量通常比连续值对应物差[42]。作者的方法允许自回归模型享受高质量、非量化分词器的优点。 它消除了对向量量化分词器的需求，并一致提高了生成质量。作者的损失函数可以灵活地应用于不同类型的分词器。此外，作者的方法享有序列模型快速速度的优势。 这些模型不必受限于向量量化表示。 作者希望作者的工作将激励研究界在其他领域探索具有连续值表示的序列模型。
2.1K10编辑于 2024-06-25 - 来自专栏AI科技大本营的专栏
干货 | 上手机器学习，从搞懂这十大经典算法开始
▌ 7 - 学习向量量化 K-最近邻算法的一个缺点是你需要使用整个训练数据集。而作为人工神经网络，学习向量量化算法（简称LVQ）允许你选择训练实例的数量，并能准确地学习这些实例所应有的特征。 学习向量量化 学习向量量化算法所表示的是码本向量的集合。这些向量在初始化的时候随机选择出来，并在学习算法的多次迭代中优化成最能概括训练数据集的集合。 如果K-最近邻算法在你的数据集上已经给出了很好的预测结果，那么可以尝试用学习向量量化算法来减少整个训练数据集的内存存储需求。
1.1K100发布于 2018-04-27 - 来自专栏深度学习与python
详解SoundStream：一款端到端的神经音频编解码器
2 使用残差向量量化学习可扩展的编解码器 SoundStream 的编码器生成的向量可以采用无限的数量值。 为了使用有限数量的比特将它们传输到接收器，必须用来自有限集（称为码本，codebook）的近似向量替换它们，这一过程称为向量量化。 在 SoundStream 中，我们提出了一种新的残差向量量化器（RVQ）来解决这个问题。该量化器由多个层组成（在我们的实验中多达 80 个）。
2.3K30发布于 2021-10-15 - 来自专栏Elastic Stack专栏
ElasticON视频：Elasticsearch向量搜索新突破
近期我们加入了向量量化，向量量化通常是对每个维度中的数据进行四字节存储的，但是对于300、1500或2000维的数据，您不需要这些维度的信息量，因此，您可以将其减少，以节约成本，仅使用INT 8，或者更进一步
1.7K30编辑于 2023-10-20 - 来自专栏瓜大三哥
竞争型神经网络
学习向量量化(Learning Vector Quantization,LVQ)是一种用于训练竞争层的有监督(supervised learning)方法。 5.1向量量化 向量量化的思路是，将高维输入空间分成若干不同的区域，对每个区域确定一个中心向量作为聚类的中心，与其处于同一区域的输入向量可用该中心向量来代表，从而形成了以各中心向量为聚类中心的点集。 在图像处理领域常用各区域中心点（向量）的编码代替区域内的点来存储或传输，从而提出了各种基于向量量化的有损压缩技术。 在二维输入平面上表示的中心向量分布称为Voronoi图，如下图所示，前面介绍的胜者为王的学习规则以及SOFM竞争学习算法都是一种向量量化算法，能用少量聚类中心表示原始数据，从起到数据压缩作用。 且让我把第二步：学习向量量化，采用监督机制，在训练中加入教师信号作为分类信息对权值进行细调，并对输出神经元预先指定其类别。 5.2 LVQ网络结构与工作原理 结构如下图所示： ?
2.5K50发布于 2018-02-26 - 来自专栏人工智能前沿讲习
AI综述专栏 | 图像物体分类与检测算法综述
最简单的特征编码是向量量化编码，它的出现甚至比词包模型的提出还要早。向量量化编码是通过一种量化的思想，使用一个较小的特征集合（视觉词典）来对底层特征进行描述，达到特征压缩的目的。 向量量化编码只在最近的视觉单词上响应为 1，因而又称为硬量化编码、硬投票编码，这意味着向量量化编码只能对局部特征进行很粗糙的重构。 ，这个时候使用向量量化编码就只使用了距离最近的视觉单词，而忽略了其他同样很相似的视觉单词。 2012 年冠军延续了 2010 年以来的算法框架，在词包模型表达方面，使用了向量量化编码、局部约束线性编码、Fisher 向量编码替代原来的单一向量量化编码。 考虑到经典的向量量化编码使用小的特征空间分块能够捕获更多图像细节，而丢失了分块内部的细节，而超向量编码和 Fisher 向量量化编码等差异编码方法则可以很好的描述分块内部细节，更大空间分块可以描述更大范围的图像细节
1.5K10发布于 2020-05-14 - 来自专栏机器学习算法工程师
《机器学习》笔记-聚类（9）
学习向量量化 与k均值算法类似，“学习向量量化”（Learning Vector Quantization，简称LVQ）也是试图找到一组原型向量来刻画聚类结构，但与一般的聚类算法不同的是，LVQ假设数据样本带有类别标记
58050发布于 2018-06-07 - 来自专栏机器之心
Roblox发布3D智能基础模型Cube，一句话生成游戏资产
其中一个关键区别在于会通过一个额外的向量量化过程来离散化这个连续的隐含表征，而由于其不可微分的性质，这又会带来额外的难题。 为此，他们提出了两种技术：随机梯度捷径和自监督隐含空间正则化。 在 Toys4K 数据集上评估表面交并比（S-IoU）和体积交并比（V-IoU）表明，该研究的 VQ-VAE 模型和连续变体均优于 CraftsMan，但连续变体仍优于离散模型，表明向量量化过程存在几何保真度损失 连续变体仍然优于其对应的离散模型，这表明通过向量量化过程仍然存在一些几何保真度的损失。研究团队计划在未来的工作中弥合这一差距。
49110编辑于 2025-03-24 常见分类算法总结
神经网络(neural networks)8.学习式向量量化(learning vector quantization)9.bagging 装袋10.ANN 人工神经网络一般分类效果：boosting>
69410编辑于 2024-01-19- 来自专栏机器之心
机器学习必学10大算法
学习向量量化 KNN 算法的一个缺点是，你需要处理整个训练数据集。而学习向量量化算法（LVQ）允许选择所需训练实例数量，并确切地学习这些实例。 ? 学习向量量化 LVQ 的表示是一组码本向量。
76930发布于 2019-03-30 - 来自专栏奇点大数据
机器学习必学10大算法
学习向量量化 KNN 算法的一个缺点是，你需要处理整个训练数据集。而学习向量量化算法（LVQ）允许选择所需训练实例数量，并确切地学习这些实例。 ? 学习向量量化 LVQ 的表示是一组码本向量。
67120发布于 2019-04-29 大语言模型嵌入降维方法
量化技术：可以使用量化技术如乘积量化（Product Quantization, PQ）或向量量化（Vector Quantization, VQ）等方法，将高维度的embedding进行压缩。
63510编辑于 2024-06-24- 来自专栏圆圆的算法笔记
WWW 2022 | 信息检索方向值得一读的3篇论文详解
本文采用可导的向量量化的方法生成sparse embedding，并且引入了监督信号通过对比学习指导sparse embedding的学习。首先介绍一下什么是向量量化。 向量量化的方法，整体流程如下图，将向量分成多份，每份内部使用Kmeans进行聚类，这样每份内的元素都可以离散化为cluster id进行表示，每个类别都有一个对应的向量表示，实现了原始向量的压缩。
70030编辑于 2022-09-22 - 来自专栏PaddlePaddle
卷积神经网络的压缩
向量量化:向量量化:为了避免标量量化能力有限的弊端，也有很多算法考虑结构化的向量量化方法。其中最常用的一种算法是乘积量化。
1.2K20发布于 2018-07-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号