- 综合排序
- 最热优先
- 最新优先
🚀 KaLM-Embedding-V2: 小模型，大能量！重新定义高效文本嵌入
然而，一个强大的RAG系统的核心瓶颈，往往在于其检索模块的基石——文本嵌入（Text Embedding）模型 。 KaLM-Embedding-V2，一个通用、紧凑且性能卓越的嵌入模型。 更适配表示学习的模型架构 为了让模型更好地学习文本的深层含义，我们进行了一项关键改造： 移除因果注意力掩码 (Causal Attention Mask)：我们打破了传统语言模型单向看文本的限制，采用了完全的双向注意力机制 这使得模型在编码文本时能同时“左看右看”，充分理解上下文，生成更精准的表示。 平均池化 (Mean-Pooling)：我们采用简单而高效的平均池化层来生成固定长度的向量嵌入，效果显著。 2. 中文领域的新里程碑：在 MTEB 中文榜单上，KaLM-Embedding-V2 的表现甚至超越了9B参数的 bge-multilingual-gemma2，树立了中文文本嵌入领域的新标杆。 ️ 卓越的通用性：无论你的应用是RAG 系统、语义搜索、文本聚类还是分类，KaLM-Embedding-V2都能提供强大的支持。 我们已经开源了模型和代码，快来上手体验吧！
1.1K21编辑于 2025-06-29- 来自专栏软件测试学习
docker本地部署文本嵌入模型nomic-embed-text
之前在学习AI课程的时候，用到了nomic-embed-text模型，之前是使用ollama工具在自己电脑本地部署的，换电脑之后再使用的话又要重新部署 ，在公司和家里面电脑来回调试代码的话比较麻烦，因此就想着在服务器上部署一个 上图是在windows本地部署过的模型，那么在docker上的部署思路也是先安装一个ollama的镜像，然后再通过这个ollama的镜像去部署模型。 latest 启动 Ollama 容器 docker run -d --name ollama -p 11434:11434 ollama/ollama:latest 下载 nomic-embed-text 模型 docker exec -it ollama ollama pull nomic-embed-text:latest 验证模型是否下载成功 运行以下命令查看已下载的模型： docker exec -it ollama ollama list 如果看到 nomic-embed-text:latest 出现在列表中，说明模型下载成功。
1.1K10编辑于 2025-05-26 - 来自专栏AI研习社
文本嵌入的经典模型与最新进展
词嵌入和句子嵌入已成为所有基于深度学习的自然语言处理（NLP）系统的重要组成部分。它们在定长的密集向量中编码单词和句子，以大幅度提高文本数据的处理性能。 最近，迁移学习被证明可以大幅度提高 NLP 模型在重要任务（如文本分类）上的性能。Jeremy Howard 和 Sebastian Ruder (ULMFiT) 的工作就是一个最好的例子。 最常用的模型是 word2vec 和 GloVe，它们都是基于分布假设的无监督学习方法（在相同上下文中的单词往往具有相似的含义）。 这种通用的方法具有更深入而强大的理论动机，它依赖于一个使用语篇向量上的生成模型的随机游走来生成文本。 在过去的几个月中，文本嵌入已经呈现出了很多有趣的发展，在我们评估和探索这些嵌入的表现以及它们内在的偏见/公平性（这是当谈到通用嵌入时的一个实际问题）方面都有了巨大进步。
74510发布于 2018-07-26 - 来自专栏AI科技评论
干货 | 文本嵌入的经典模型与最新进展
易于泛化到多种任务的通用文本嵌入正受到热捧。 ? 词嵌入和句子嵌入已成为所有基于深度学习的自然语言处理（NLP）系统的重要组成部分。它们在定长的密集向量中编码单词和句子，以大幅度提高文本数据的处理性能。 最近，迁移学习被证明可以大幅度提高 NLP 模型在重要任务（如文本分类）上的性能。Jeremy Howard 和 Sebastian Ruder (ULMFiT) 的工作就是一个最好的例子。 最常用的模型是 word2vec 和 GloVe，它们都是基于分布假设的无监督学习方法（在相同上下文中的单词往往具有相似的含义）。 这种通用的方法具有更深入而强大的理论动机，它依赖于一个使用语篇向量上的生成模型的随机游走来生成文本。
2.1K30发布于 2018-07-27 - 来自专栏小石不识月
文本的词嵌入是什么？
这种学习嵌入层的方法需要大量的训练数据，并且训练速度低下，但是会学习到针对特定文本数据和 NLP 任务的嵌入。 2. Word2Vec Word2Vec 是一种统计学方法，它可以从文本语料库中高效地学习独立的词嵌入。 有两种不同的学习模型被引入，它们可以作为 word2vec 方法的一部分来学习词嵌入： 连续词袋模型（CBOW，Continuous Bag-of-Words） 模型。 经典的向量空间模型的词表示是使用矩阵分解技术（例如潜在语义分析 [LSA，Latent Semantic Analysis]）开发的，这些技术在使用全局文本统计这方面表现优异，但它们并不像 word2vec 使用整个文本语料库的结果，是得到一个通常能获得更好的词嵌入的学习模型。
4.7K100发布于 2018-02-11 - 来自专栏机器学习算法与Python学习
文本嵌入的经典模型与最新进展（下载PDF）
它们在定长的密集向量中编码单词和句子，以大幅度提高文本数据的处理性能。 最近，迁移学习被证明可以大幅度提高 NLP 模型在重要任务（如文本分类）上的性能。Jeremy Howard 和 Sebastian Ruder (ULMFiT) 的工作就是一个最好的例子。 最常用的模型是 word2vec 和 GloVe，它们都是基于分布假设的无监督学习方法（在相同上下文中的单词往往具有相似的含义）。 这种通用的方法具有更深入而强大的理论动机，它依赖于一个使用语篇向量上的生成模型的随机游走来生成文本。 无监督方案将句子嵌入学习作为学习的副产品，以预测句子内连贯的句子顺序或句子中连贯的连续从句。这些方法可以（理论上）使用任何文本数据集，只要它包含以连贯方式并列的句子/子句。
92930发布于 2018-06-25 - 来自专栏DeepHub IMBA
使用Python和GloVe词嵌入模型提取新闻和文章的文本摘要
让我们进入下一部分，我们将创建一个简单的函数来从链接中获取新闻文章文本。 提取新闻文章 在本节中，我们将通过分析网页的HTML链接来提取新闻文章文本。 网页HTML应该进行被彻底分析，以能够识别所需新闻文本的标签。我创建了一个简单的函数来从链接中获取新闻文本。我将使用BeautifulSoup来提取特定html标签中可用的新闻文本。 为了进行文本清理，我使用了文本的预处理，这些步骤是删除HTML标记，特殊字符，数字，标点符号，停用词，处理重音字符，扩展收缩，词干和词形等。 这些单词嵌入的大小为822 MB。大小可能会因嵌入tokens而异。嵌入越多，精度越高。让我们使用这些单词嵌入为归一化的句子创建向量。 nx_graph) # print final values of sentences scores 输出： {0: 0.0651816121717921, 1: 0.0642861521750098, 2:
2.2K30发布于 2020-05-09 - 来自专栏小徐学爬虫
如何在ElementTree文本中嵌入标签
下面是一个简单的示例，演示了如何在 ElementTree 文本中嵌入新的标签：1、问题背景我正在使用Python ElementTree模块来处理HTML。 但是，这种方法存在两个问题：它在text属性中嵌入了HTML标签，当渲染时会被转义，因此我需要用代码对标签进行反转义。它需要移动'text'和'tail'属性，以便强调的文本出现在相同的位置。 2、解决方案方法一：使用XSLT和自定义XPath函数from lxml import etreestylesheet = etree.XML(""" <xsl:stylesheet version 在这个示例中，我们首先创建了一个根元素 root，然后创建了一个子元素 child，并设置了其文本内容。接着，我们创建了一个新的标签 new_tag，并将其嵌入到子元素 child 中。 <new_tag>New tag content</new_tag></child></root>这就是如何在 ElementTree 文本中嵌入新的标签。
3K10编辑于 2024-06-12 - 来自专栏喔家ArchiSelf
解读文本嵌入：语义表达的练习
文本嵌入的演变 将文本转换为向量的最基本方法是使用词袋模型（bag of words，BoW）。获得一个单词向量的第一步是将文本分割成单词(标记) ，然后将单词减少到它们的基本形式。 2.文本嵌入的计算 如今，已经有很多的嵌入模型可以供我们参考和使用，例如 OpenAI 的text-embedding-ada-002和text-embedding-3-large，当然，我们也可以通过 Huggingface的嵌入模型排行榜进行选择并探索。 文本嵌入的应用示例 文本嵌入的主要目的不是将文本编码为数字向量，或者仅仅为了将其可视化。我们可以从捕捉文本含义的能力中受益匪浅。 一句话小结 文本处理方法的演变导致了文本嵌入的出现，从词汇的语义表达到句子嵌入，多种距离度量方法可以帮助理解文本是否具有相似的意义，文本嵌入的可视化可以帮助我们了解数据的内在模式，常见的应用示例包括聚类
35010编辑于 2024-11-07 - 来自专栏腾讯开源的专栏
Youtu-Embedding 正式开源：腾讯优图推出高性能通用文本嵌入模型
高质量的文本嵌入（Embedding）是驱动智能搜索、检索增强生成（RAG）以及推荐系统等应用的核心技术。 文本嵌入（Embedding）技术通过深度神经网络将文本映射到高维向量空间，使语义相似的句子在该空间中距离更近。 在 RAG（Retrieval-Augmented Generation） 场景中，高质量的文本嵌入模型可以为大语言模型（LLM）提供更准确、更上下文相关的外部知识，使生成的答案更加精确、可控与可解释。 我们在此开源模型权重、推理代码及完整的训练框架，首个模型版本已在HuggingFace上发布，这是一个拥有20亿（2B）参数的通用语义表示模型。源代码已在GitHub上开源。 、计算文本嵌入并输出相似度矩阵。
1.6K10编辑于 2025-10-20 - 来自专栏信数据得永生
【论文笔记】PTE：预测性文本嵌入
除了本地上下文之外，文档层面的单词共现也在经典文本表示中被广泛探索，例如统计主题模型，例如潜在的 Dirichlet 分配 [4]。 由于异构文本网络由三个二分网络组成，我们首先介绍一种嵌入单个二分网络的方法。 4.1 二分网络嵌入 在我们之前的工作中，我们引入了 LINE 模型来学习大规模信息网络的嵌入 [27]。 采样过程解决了学习网络嵌入中随机梯度下降的显着不足。 有关详细的优化过程，读者可以参考 [27]。 通过上述模型可以学习单词单词，单词文档和单词标签网络的嵌入。 一种解决方案是使用不带标签的数据（单词单词和单词文档网络）和带标签数据同时训练模型。 我们将此方法称为联合训练。 另一种解决方案是首先使用无标签的数据学习嵌入，然后使用单词标签网络微调嵌入。 一旦学习了单词向量，就可以通过简单地平均该段文本中的单词的向量来获得任意一段文本的表示。 也就是说，一段文本d = w[1], w[2], ..., w[n]的向量表示可以被计算为。
73920编辑于 2022-05-07 《词嵌入技术：开启文本理解的大门》
在自然语言处理领域，词嵌入技术为我们理解文本提供了强大的工具。其中Word2Vec和GloVe是两种常见且重要的词嵌入技术，它们在原理和应用上有着各自的特点。 Word2Vec的原理Word2Vec是一种基于神经网络的词嵌入模型，它通过训练来学习词与词之间的关系。其核心思想是将词表示为向量，使得具有相似语义的词在向量空间中距离相近。 实际应用在实际应用中，我们可以根据具体的需求选择合适的词嵌入技术。例如，在文本处理中，如果需要快速地进行词与词之间的关系分析，可以选择Word2Vec。 而如果需要对文本进行更深入的语义理解，可以选择GloVe。同时，我们也可以将Word2Vec和GloVe结合起来使用。例如，在一些复杂的自然语言处理任务中，可以将它们的优势互补，从而提高模型的性能。 总之，词嵌入技术为我们理解文本提供了重要的工具。无论是Word2Vec还是GloVe，它们都在各自的领域发挥着重要作用。
32100编辑于 2025-01-03- 来自专栏媒矿工厂
2D 扩散模型 + Nerf，实现文本生成 3D 模型
目录 摘要 引入：扩散模型 方法 摘要 在数十亿图像-文本对上训练的扩散模型，在文字生成图像的任务上大获成功。 在这项工作中，作者通过使用预训练的 2D 文本-图像的扩散模型，实现文本到 3D 合成。他们引入了基于概率密度蒸馏的损失函数，这也允许了2D扩散模型作为先验，用以优化参数图像生成器。 在该方法中，给定文本生成的 3D 模型可以从任意角度观察，通过任意照明重新点亮，或合成到任何 3D 环境中。 文字生成图片的扩散模型学习 \epsilon_\phi\left(\mathbf{z}_t ; t, y\right) ，这个网络的条件是文字的嵌入（embedding）。 基于视角的文本嵌入 对于仰角较大的数据，文本中将会加入“overhead view”；对于小于60°的仰角，他们将会根据方位角加入文本“front view”，“side view”或是“back view
3.1K20编辑于 2022-11-07 - 来自专栏DeepHub IMBA
解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践
文本嵌入模型能够将文本转换为具有语义意义的向量表示，广泛应用于检索、分类等多种任务场景。然而，通用嵌入模型在处理特定领域任务时往往存在性能瓶颈。微调技术为解决这一问题提供了有效途径。 检索增强生成中的嵌入应用 检索增强生成（Retrieval-Augmented Generation, RAG）是文本嵌入模型的重要应用场景之一。 基于嵌入的检索过程遵循标准的三步骤流程：首先为知识库中的所有文档计算向量表示，然后使用相同的嵌入模型将输入文本转换为向量，最后通过计算输入向量与知识库向量间的相似度来识别最相关的文档。 该方法通过在相关文本对之间最小化嵌入距离，同时在不相关文本对之间最大化嵌入距离，训练模型区分有用和无用的检索结果。 多模态嵌入模型正成为研究热点，其能够在统一向量空间中融合文本、图像、音频等多种数据类型。
38410编辑于 2025-08-20 - 来自专栏人工智能
先进密集嵌入模型解析与实践：以 voyage-2 为例
2. voyage-2 模型架构解析voyage-2 是基于 Transformer 架构的一种密集嵌入模型，其特点在于融合了多种前沿技术，包括多头自注意力机制（Multi-head Self-attention 模型架构的主要组成部分如下：嵌入层（Embedding Layer）输入文本首先通过嵌入层，将离散的单词映射为低维的向量。 例如，在文本生成任务中，输出层通过 Softmax 函数计算每个词的概率分布。3. 真实案例分析：文本情感分类为了更好地理解 voyage-2 模型的实际应用，以下通过一个文本情感分类的案例来说明。 跨模态嵌入：将文本、图像、语音等多模态信息整合到一个共享的嵌入空间中。个性化优化：针对不同用户的需求，开发具有自适应能力的嵌入模型。 总结本文通过分析 voyage-2 模型，深入探讨了先进密集嵌入模型的设计理念与实际应用。通过实例与代码，我们验证了该模型在文本情感分类任务中的高效性与准确性。
44010编辑于 2025-01-08 - 来自专栏FunTester
动态模型中嵌入静态模型实践
在之前的动态模型之动态增减【FunTester测试框架】中分享了动态的性能测试模型的实现，后面在实际工作中也是受益匪浅，有文为证动态压测模型让工作更轻松。 这个时候我又想起来了静态模型的好处来。就是过程不需要中途干预，可以按照预定的测试计划执行。 那么问题来了，如何才能将动态模型和静态模型结合在一起呢？ 经过权衡，还是将静态的模型融入动态模型比较方便，毕竟还是先启动再说，后续过程随意设置参数调整压力比较方便。 思路 非常简单，就是在异步线程中增加对命令的支持即可。 这里我以动态QPS模型为案例，修改异步控制器。
37520编辑于 2022-12-09 - 来自专栏追不上乌龟的兔子
文本嵌入，语义搜索与sentence-transformers库
如果要用向量数据库处理文本数据，就需要将文本转换为向量表示，机器学习术语叫做文本嵌入（Text Embedding）。 传统的文本嵌入方法是基于统计的，比如 TF-IDF，Word2Vec 等。 随着 transformer 架构的出现和发展，基于 transformer 的文本嵌入方法也越来越流行，并且在很多任务上取得了很好的效果。 sentence-transformers 就是一个基于 transformer 的文本嵌入工具包，可以用于生成句子的向量表示。 我们这里使用的是 paraphrase-multilingual-MiniLM-L12-v2 模型，支持多语言，模型尺寸也比较大（480M）。 只处理英文文本的话，可以使用 all-MiniLM-L6-v2 模型（80M）。
2.5K10编辑于 2023-12-24 - 来自专栏Soul Joy Hub
ASR文本纠错模型
n个中文字符X=(x1，x2，… ，xn)经过embeddings得到的E = (e1，e2，…，en),该embeding是word embeding+position embeding+segment ，而是直接end-to-end，使用Bert的per-trained模型，损失函数由Detection和Correction线性组合，如下： 2. spm=1001.2014.3001.5502 上述模型考虑到了文本错字进行纠错，但在中文ASR的场景下，很多情况是由于中文拼音读音相同或相近导致的识别错误。 FastCorrect 上述模型都是在自编码模型上进行检错与纠错。也就是说，文本的输入输出序列长度是不变的，且输出纠错结果的token位置必须是与输入位置对齐的。 这就使得模型无法很好的纠正文本中多字、少字的错误。
3.3K20编辑于 2022-11-30 - 来自专栏追不上乌龟的兔子
文本嵌入，语义搜索与sentence-transformers库
如果要用向量数据库处理文本数据，就需要将文本转换为向量表示，机器学习术语叫做文本嵌入（Text Embedding）。 传统的文本嵌入方法是基于统计的，比如 TF-IDF，Word2Vec 等。 随着 transformer 架构的出现和发展，基于 transformer 的文本嵌入方法也越来越流行，并且在很多任务上取得了很好的效果。 sentence-transformers 就是一个基于 transformer 的文本嵌入工具包，可以用于生成句子的向量表示。 我们这里使用的是 paraphrase-multilingual-MiniLM-L12-v2 模型，支持多语言，模型尺寸也比较大（480M）。 只处理英文文本的话，可以使用 all-MiniLM-L6-v2 模型（80M）。
2.5K10编辑于 2023-12-24 - 来自专栏计算机工具
大型概念模型（LCM）：句子嵌入空间：SONAR嵌入空间
以 Two-Tower 为例，它将上下文编码和下一个嵌入的扩散过程分开。在生成文本时，先对上下文进行编码，然后通过迭代去噪的方式生成下一个句子的嵌入。 例如，在处理一些特定领域的文本时，量化后的模型可以更高效地处理和生成相关内容，并且能够通过调整量化参数来控制生成的随机性和多样性。 在生成长文本时，它可以先规划整体的结构，然后逐步填充细节。比如在撰写一篇论文时，模型会先确定各个章节的主题（概念），然后再生成每个章节的具体内容，使生成的文本更具逻辑性和可读性。 ，每个句子都会被编码为SONAR嵌入空间中的向量，LCM模型基于这些向量进行学习和预测，以生成后续的句子嵌入，从而实现文本的生成或其他任务。 可以被编码为SONAR嵌入向量，LCM模型可以处理这个向量，并可能生成对应的英文句子 “The cat is sleeping on the couch.”，或者在语音模态下，将文本转换为语音输出。
48221编辑于 2025-01-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号