- 综合排序
- 最热优先
- 最新优先
- 来自专栏软件测试学习
docker本地部署文本嵌入模型nomic-embed-text
之前在学习AI课程的时候，用到了nomic-embed-text模型，之前是使用ollama工具在自己电脑本地部署的，换电脑之后再使用的话又要重新部署 ，在公司和家里面电脑来回调试代码的话比较麻烦，因此就想着在服务器上部署一个 上图是在windows本地部署过的模型，那么在docker上的部署思路也是先安装一个ollama的镜像，然后再通过这个ollama的镜像去部署模型。 latest 启动 Ollama 容器 docker run -d --name ollama -p 11434:11434 ollama/ollama:latest 下载 nomic-embed-text 模型 docker exec -it ollama ollama pull nomic-embed-text:latest 验证模型是否下载成功 运行以下命令查看已下载的模型： docker exec -it ollama ollama list 如果看到 nomic-embed-text:latest 出现在列表中，说明模型下载成功。
1.1K10编辑于 2025-05-26 - 来自专栏AI研习社
文本嵌入的经典模型与最新进展
词嵌入和句子嵌入已成为所有基于深度学习的自然语言处理（NLP）系统的重要组成部分。它们在定长的密集向量中编码单词和句子，以大幅度提高文本数据的处理性能。 最近，迁移学习被证明可以大幅度提高 NLP 模型在重要任务（如文本分类）上的性能。Jeremy Howard 和 Sebastian Ruder (ULMFiT) 的工作就是一个最好的例子。 id=SyK00v5xx：使用你选择的热门词嵌入，在线性加权组合中对一个句子进行编码，并执行一个通用组件移除（移除它们的第一主成分上的向量）。 这种通用的方法具有更深入而强大的理论动机，它依赖于一个使用语篇向量上的生成模型的随机游走来生成文本。 在过去的几个月中，文本嵌入已经呈现出了很多有趣的发展，在我们评估和探索这些嵌入的表现以及它们内在的偏见/公平性（这是当谈到通用嵌入时的一个实际问题）方面都有了巨大进步。
74510发布于 2018-07-26 - 来自专栏AI科技评论
干货 | 文本嵌入的经典模型与最新进展
易于泛化到多种任务的通用文本嵌入正受到热捧。 ? 词嵌入和句子嵌入已成为所有基于深度学习的自然语言处理（NLP）系统的重要组成部分。它们在定长的密集向量中编码单词和句子，以大幅度提高文本数据的处理性能。 最近，迁移学习被证明可以大幅度提高 NLP 模型在重要任务（如文本分类）上的性能。Jeremy Howard 和 Sebastian Ruder (ULMFiT) 的工作就是一个最好的例子。 id=SyK00v5xx：使用你选择的热门词嵌入，在线性加权组合中对一个句子进行编码，并执行一个通用组件移除（移除它们的第一主成分上的向量）。 这种通用的方法具有更深入而强大的理论动机，它依赖于一个使用语篇向量上的生成模型的随机游走来生成文本。
2.1K30发布于 2018-07-27 - 来自专栏Elastic Stack专栏
jina-embeddings-v5-text: 紧凑型顶尖文本嵌入模型，适用于搜索和智能应用
字数 2249，阅读大约需 12 分钟 Jina AI 和 Elastic 正式发布了 jina-embeddings-v5-text，这是一个新家族的高性能、紧凑型文本嵌入模型[1]，在所有主要任务类型中 嵌入模型和语义索引显著提高了搜索算法的准确性，同时也可用于其他涉及语义相似性和意义提取的任务，例如： • 查找重复文本。 • 识别改写和翻译。 • 主题发现。 • 推荐引擎。 • 情感和意图分析。 文本匹配 语义相似性、去重、改写和翻译对齐等。 聚类 主题发现，文档集合自动组织。 分类 文档分类，情感和意图检测，以及类似任务。 嵌入截断 我们使用 Matryoshka 表示学习[6]训练了 jina-embeddings-v5-text 模型，该方法允许在质量影响最小的情况下将嵌入缩减到更小的尺寸。 量化不是丢弃每个嵌入的一部分，而是降低嵌入中的数字精度。jina-embeddings-v5-text 模型生成的嵌入使用 16 位数字，但我们可以将这些数字进行四舍五入，降低其精度和存储所需的位数。
24210编辑于 2026-02-28 - 来自专栏Elastic Stack专栏
jina-embeddings-v5-text: 紧凑型顶尖文本嵌入模型，适用于搜索和智能应用
Jina AI 和 Elastic 正式发布了 jina-embeddings-v5-text，这是一个新家族的高性能、紧凑型文本嵌入模型，在所有主要任务类型中，具有与其尺寸相当的模型的顶尖性能。 模型名称总大小输入上下文窗口大小嵌入大小jina-v5-text-small677M 参数32768 个令牌1024 维度jina-v5-text-nano239M 参数8192 个令牌768 维度这两个模型在整体 嵌入模型和语义索引显著提高了搜索算法的准确性，同时也可用于其他涉及语义相似性和意义提取的任务，例如：查找重复文本。识别改写和翻译。主题发现。推荐引擎。情感和意图分析。垃圾邮件过滤。以及其他许多任务。 文本匹配语义相似性、去重、改写和翻译对齐等。聚类主题发现，文档集合自动组织。分类文档分类，情感和意图检测，以及类似任务。 嵌入截断我们使用 Matryoshka 表示学习训练了 jina-embeddings-v5-text 模型，该方法允许在质量影响最小的情况下将嵌入缩减到更小的尺寸。
29010编辑于 2026-02-24 - 来自专栏小石不识月
文本的词嵌入是什么？
读完本文后，您会知道： 用于表示文本的词嵌入方法究竟是什么，以及它是如何与其他特征提取方法不同的。 关于从文本数据中学习词嵌入的三种主要算法。 其学习的过程要么是与某些任务（如文档分类）的神经网络模型的结合，要么就是使用文档统计的无监督过程。 本小节对可用于从文本数据中学习到词嵌入的三种技术进行了综述。 1.嵌入层 一个嵌入层（Embedding layer），没有比这更贴切的名称了，它是一种与特定自然语言处理任务（如语言建模或文本分类）的神经网络模型共同学习的词嵌入。 使用整个文本语料库的结果，是得到一个通常能获得更好的词嵌入的学习模型。 总结 通过本文，您了解到了深度学习应用中作为文本表示方法的词嵌入技术。 具体来说，你学到了： 表示文本的嵌入方法是什么，以及它是如何区别于其他特征提取方法的。 从文本数据中学习词嵌入的三种主要算法。
4.7K100发布于 2018-02-11 - 来自专栏机器学习算法与Python学习
文本嵌入的经典模型与最新进展（下载PDF）
它们在定长的密集向量中编码单词和句子，以大幅度提高文本数据的处理性能。 最近，迁移学习被证明可以大幅度提高 NLP 模型在重要任务（如文本分类）上的性能。Jeremy Howard 和 Sebastian Ruder (ULMFiT) 的工作就是一个最好的例子。 id=SyK00v5xx：使用你选择的热门词嵌入，在线性加权组合中对一个句子进行编码，并执行一个通用组件移除（移除它们的第一主成分上的向量）。 这种通用的方法具有更深入而强大的理论动机，它依赖于一个使用语篇向量上的生成模型的随机游走来生成文本。 无监督方案将句子嵌入学习作为学习的副产品，以预测句子内连贯的句子顺序或句子中连贯的连续从句。这些方法可以（理论上）使用任何文本数据集，只要它包含以连贯方式并列的句子/子句。
92930发布于 2018-06-25 - 来自专栏DeepHub IMBA
使用Python和GloVe词嵌入模型提取新闻和文章的文本摘要
在本文中，我们将使用提取技术从大型新闻文章中提取4-5个重要的重要句子构建新闻简报。我们将使用一些流行和有效的策略来处理大量文本并从中提取4-5个有意义的句子。 让我们进入下一部分，我们将创建一个简单的函数来从链接中获取新闻文章文本。 提取新闻文章 在本节中，我们将通过分析网页的HTML链接来提取新闻文章文本。 网页HTML应该进行被彻底分析，以能够识别所需新闻文本的标签。我创建了一个简单的函数来从链接中获取新闻文本。我将使用BeautifulSoup来提取特定html标签中可用的新闻文本。 为了进行文本清理，我使用了文本的预处理，这些步骤是删除HTML标记，特殊字符，数字，标点符号，停用词，处理重音字符，扩展收缩，词干和词形等。 这些单词嵌入的大小为822 MB。大小可能会因嵌入tokens而异。嵌入越多，精度越高。让我们使用这些单词嵌入为归一化的句子创建向量。
2.2K30发布于 2020-05-09 - 来自专栏小徐学爬虫
如何在ElementTree文本中嵌入标签
下面是一个简单的示例，演示了如何在 ElementTree 文本中嵌入新的标签：1、问题背景我正在使用Python ElementTree模块来处理HTML。 但是，这种方法存在两个问题：它在text属性中嵌入了HTML标签，当渲染时会被转义，因此我需要用代码对标签进行反转义。它需要移动'text'和'tail'属性，以便强调的文本出现在相同的位置。 在这个示例中，我们首先创建了一个根元素 root，然后创建了一个子元素 child，并设置了其文本内容。接着，我们创建了一个新的标签 new_tag，并将其嵌入到子元素 child 中。 <new_tag>New tag content</new_tag></child></root>这就是如何在 ElementTree 文本中嵌入新的标签。 你可以根据自己的需求和数据结构，使用类似的方法来创建和嵌入标签。
3K10编辑于 2024-06-12 - 来自专栏喔家ArchiSelf
解读文本嵌入：语义表达的练习
文本嵌入的演变 将文本转换为向量的最基本方法是使用词袋模型（bag of words，BoW）。获得一个单词向量的第一步是将文本分割成单词(标记) ，然后将单词减少到它们的基本形式。 2.文本嵌入的计算 如今，已经有很多的嵌入模型可以供我们参考和使用，例如 OpenAI 的text-embedding-ada-002和text-embedding-3-large，当然，我们也可以通过 文本嵌入的应用示例 文本嵌入的主要目的不是将文本编码为数字向量，或者仅仅为了将其可视化。我们可以从捕捉文本含义的能力中受益匪浅。 5. 一句话小结 文本处理方法的演变导致了文本嵌入的出现，从词汇的语义表达到句子嵌入，多种距离度量方法可以帮助理解文本是否具有相似的意义，文本嵌入的可视化可以帮助我们了解数据的内在模式，常见的应用示例包括聚类
35010编辑于 2024-11-07 - 来自专栏Elastic Stack专栏
使用 E5 嵌入模型进行多语言向量搜索
我们将使用 Microsoft E5 多语言嵌入模型，该模型在零样本和多语言设置中具有最先进的性能。我们将介绍多语言嵌入的一般工作原理，以及如何在 Elasticsearch 中使用 E5。 既然我们可以将文本、图像和音频嵌入到嵌入空间中，为什么不将多种语言嵌入到同一个嵌入空间中呢？这就是多语言嵌入模型背后的想法。 除了嵌入英语模型之外，微软后来还使用各种多语言数据集在多语言文本上训练了 E5 模型的变体，但总体过程与英语模型相同。 请注意，与其他嵌入模型一样，E5 确实有令牌限制（512 个令牌或约 400 个单词），因此较长的文本需要在被摄取之前分块为单独的段落（例如使用 LangChain 或其他工具）。 注意： E5 模型在嵌入之前使用文本前缀的指令进行训练。这意味着，当您想要嵌入文本进行语义搜索时，必须在查询前添加“query:”前缀，并在索引段落前添加“passage:”。
3.4K30编辑于 2023-09-27 - 来自专栏DeepHub IMBA
5分钟 NLP系列—— 11 个词嵌入模型总结
TF-IDF, Word2Vec, GloVe, FastText, ELMO, CoVe, BERT, RoBERTa 词嵌入在深度模型中的作用是为下游任务(如序列标记和文本分类)提供输入特征。 在过去的十年中，已经提出了很多种词嵌入方法，本片文章将对这些词嵌入的模型做一个完整的总结 与上下文无关 这类模型学习到的表征的特点是，在不考虑单词上下文的情况下，每个单词都是独特的和不同的。 不需要学习 Bag-of-words（词袋）:一个文本（如一个句子或一个文档）被表示为它的词袋，不考虑语法、词序。 FastText：与 GloVe 不同，它通过将每个单词视为由字符 n-gram 组成而不是整个单词来嵌入单词。此功能使其不仅可以学习生僻词，还可以学习词汇表外的词。 上下文相关 与上下文无关的词嵌入不同，上下文相关的方法根据其上下文为同一个词学习不同的嵌入表示。
1.6K20编辑于 2022-03-12 - 来自专栏数据派THU
5分钟 NLP系列—— 11 个词嵌入模型总结
来源：DeepHub IMBA本文约1000字，建议阅读5分钟本片文章将对词嵌入的模型做一个完整的总结。 TF-IDF, Word2Vec, GloVe, FastText, ELMO, CoVe, BERT, RoBERTa 词嵌入在深度模型中的作用是为下游任务(如序列标记和文本分类)提供输入特征。 在过去的十年中，已经提出了很多种词嵌入方法，本片文章将对这些词嵌入的模型做一个完整的总结。 不需要学习 Bag-of-words（词袋）:一个文本（如一个句子或一个文档）被表示为它的词袋，不考虑语法、词序。 上下文相关 与上下文无关的词嵌入不同，上下文相关的方法根据其上下文为同一个词学习不同的嵌入表示。
1.4K20编辑于 2022-03-04 - 来自专栏腾讯开源的专栏
Youtu-Embedding 正式开源：腾讯优图推出高性能通用文本嵌入模型
高质量的文本嵌入（Embedding）是驱动智能搜索、检索增强生成（RAG）以及推荐系统等应用的核心技术。 文本嵌入（Embedding）技术通过深度神经网络将文本映射到高维向量空间，使语义相似的句子在该空间中距离更近。 在 RAG（Retrieval-Augmented Generation） 场景中，高质量的文本嵌入模型可以为大语言模型（LLM）提供更准确、更上下文相关的外部知识，使生成的答案更加精确、可控与可解释。 Youtu-Embedding的核心优势包括： 顶尖性能: 在权威的中文文本嵌入评测基准 CMTEB 上，以 77.46 的高分荣登榜首（截至2025年09月），证明了其强大的表征能力。 、计算文本嵌入并输出相似度矩阵。
1.6K10编辑于 2025-10-20 🚀 KaLM-Embedding-V2: 小模型，大能量！重新定义高效文本嵌入
然而，一个强大的RAG系统的核心瓶颈，往往在于其检索模块的基石——文本嵌入（Text Embedding）模型 。 KaLM-Embedding-V2，一个通用、紧凑且性能卓越的嵌入模型。 更适配表示学习的模型架构 为了让模型更好地学习文本的深层含义，我们进行了一项关键改造： 移除因果注意力掩码 (Causal Attention Mask)：我们打破了传统语言模型单向看文本的限制，采用了完全的双向注意力机制 这使得模型在编码文本时能同时“左看右看”，充分理解上下文，生成更精准的表示。 平均池化 (Mean-Pooling)：我们采用简单而高效的平均池化层来生成固定长度的向量嵌入，效果显著。 2. 越级挑战成功：我们的模型性能不仅远超同量级对手，甚至可以和gte-Qwen2-1.5B、e5-mistral-7b、bge-multilingual-gemma2 等参数量数倍于自己的重量级模型一较高下 中文领域的新里程碑：在 MTEB 中文榜单上，KaLM-Embedding-V2 的表现甚至超越了9B参数的 bge-multilingual-gemma2，树立了中文文本嵌入领域的新标杆。 ️
1.1K21编辑于 2025-06-29- 来自专栏Python编程 pyqt matplotlib
pyecharts 嵌入 PyQt5
Faker def readData(path): populations = list() with open(path,"rt",encoding="utf8") as f:#读取中文文本文件 populations, "china") .set_global_opts( title_opts=opts.TitleOpts(title="pyecharts 嵌入 PyQt5 DEMO"), visualmap_opts=opts.VisualMapOpts(max_=max_), ) ) return c 源码： from PyQt5.QtCore import QUrl from PyQt5.QtWidgets import QApplication,QWidget,QHBoxLayout,QFrame self.mainhboxLayout.addWidget(self.frame) self.hboxLayout = QHBoxLayout(self.frame) #网页嵌入
4.1K50发布于 2020-08-13 - 来自专栏信数据得永生
【论文笔记】PTE：预测性文本嵌入
除了本地上下文之外，文档层面的单词共现也在经典文本表示中被广泛探索，例如统计主题模型，例如潜在的 Dirichlet 分配 [4]。 最后，我们正式定义预测性文本嵌入问题如下： 定义 5（预测性文本嵌入）：给定具有无标签和带标签信息的大量文本数据集合，预测性文本嵌入的问题，旨在通过将从集合构造的异构文本网络嵌入到低维向量空间中，来学习单词的低维表示 由于异构文本网络由三个二分网络组成，我们首先介绍一种嵌入单个二分网络的方法。 4.1 二分网络嵌入 在我们之前的工作中，我们引入了 LINE 模型来学习大规模信息网络的嵌入 [27]。 采样过程解决了学习网络嵌入中随机梯度下降的显着不足。 有关详细的优化过程，读者可以参考 [27]。 通过上述模型可以学习单词单词，单词文档和单词标签网络的嵌入。 为了学习异构文本网络的嵌入，一种直观的方法是联合嵌入三个二分网络，这可以通过最小化以下目标函数来实现： (4) 其中 (5,6,7) 可以以不同方式优化目标函数（4），这取决于如何使用标签信息，
73920编辑于 2022-05-07 《词嵌入技术：开启文本理解的大门》
在自然语言处理领域，词嵌入技术为我们理解文本提供了强大的工具。其中Word2Vec和GloVe是两种常见且重要的词嵌入技术，它们在原理和应用上有着各自的特点。 Word2Vec的原理Word2Vec是一种基于神经网络的词嵌入模型，它通过训练来学习词与词之间的关系。其核心思想是将词表示为向量，使得具有相似语义的词在向量空间中距离相近。 实际应用在实际应用中，我们可以根据具体的需求选择合适的词嵌入技术。例如，在文本处理中，如果需要快速地进行词与词之间的关系分析，可以选择Word2Vec。 而如果需要对文本进行更深入的语义理解，可以选择GloVe。同时，我们也可以将Word2Vec和GloVe结合起来使用。例如，在一些复杂的自然语言处理任务中，可以将它们的优势互补，从而提高模型的性能。 总之，词嵌入技术为我们理解文本提供了重要的工具。无论是Word2Vec还是GloVe，它们都在各自的领域发挥着重要作用。
32100编辑于 2025-01-03- 来自专栏DeepHub IMBA
解决语义搜索痛点，基于对比学习的领域特定文本嵌入模型微调实践
文本嵌入模型能够将文本转换为具有语义意义的向量表示，广泛应用于检索、分类等多种任务场景。然而，通用嵌入模型在处理特定领域任务时往往存在性能瓶颈。微调技术为解决这一问题提供了有效途径。 检索增强生成中的嵌入应用 检索增强生成（Retrieval-Augmented Generation, RAG）是文本嵌入模型的重要应用场景之一。 基于嵌入的检索过程遵循标准的三步骤流程：首先为知识库中的所有文档计算向量表示，然后使用相同的嵌入模型将输入文本转换为向量，最后通过计算输入向量与知识库向量间的相似度来识别最相关的文档。 该方法通过在相关文本对之间最小化嵌入距离，同时在不相关文本对之间最大化嵌入距离，训练模型区分有用和无用的检索结果。 多模态嵌入模型正成为研究热点，其能够在统一向量空间中融合文本、图像、音频等多种数据类型。
38410编辑于 2025-08-20 - 来自专栏FunTester
动态模型中嵌入静态模型实践
在之前的动态模型之动态增减【FunTester测试框架】中分享了动态的性能测试模型的实现，后面在实际工作中也是受益匪浅，有文为证动态压测模型让工作更轻松。 这个时候我又想起来了静态模型的好处来。就是过程不需要中途干预，可以按照预定的测试计划执行。 那么问题来了，如何才能将动态模型和静态模型结合在一起呢？ 经过权衡，还是将静态的模型融入动态模型比较方便，毕竟还是先启动再说，后续过程随意设置参数调整压力比较方便。 思路 非常简单，就是在异步线程中增加对命令的支持即可。 这里我以动态QPS模型为案例，修改异步控制器。
37520编辑于 2022-12-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号