首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Reinvent Data Science

    揭秘 LlamaIndex|如何持久化存储 LlamaIndex 向量索引?

    本文为【揭秘 LlamaIndex 系列】,此前我们已经邀请 LlamaIndex 的联合创始人详解【如何使用私有数据提升 LLM 的能力】,也细致介绍过 LlamaIndex 的各式索引,以及如何查询 LlamaIndex 向量存储索引的简略教程。 LlamaIndex 简介 LlamaIndex 可以看作管理用户数据和 LLM 之间交互的工具。LlamaIndex 接收输入数据并为其构建索引,随后使用该索引来回答与输入数据相关的问题。 (详细介绍可阅读《破解提升 LLMs 性能的黑匣子—— LlamaIndex》) 在使用 LlamaIndex 时,我们可以存储并加载上述索引进行会话管理。通常情况下,可以本地存储索引上下文。 创建并保存 LlamaIndex 向量索引 以下教程直接使用了 LlamaIndex 仓库中示例文件夹(https://github.com/jerryjliu/llama_index/tree/main

    1.9K21编辑于 2023-08-25
  • 来自专栏DeepHub IMBA

    LlamaIndex使用指南

    LlamaIndex最初被称为GPT Index, 后来大语言模型的快速发展,改名为LlamaIndexLlamaIndex里有什么 LlamaIndex是可以作为定制数据上创建由大型语言模型(llm)支持的健壮应用程序的首选平台。 让我们在LlamaIndex的框架下仔细看看这些阶段。 创建LlamaIndex节点 在LlamaIndex中,一旦数据被摄取并表示为文档,就可以选择将这些文档进一步处理为节点。 但是无论如何LlamaIndex都是一个很好的库,如果你希望在大型语言模型有更深入的研究 LlamaIndex都值得你学习和使用。

    5.8K21编辑于 2023-10-24
  • 来自专栏xiaosen

    LlamaIndex 应用完整指南

    LlamaIndex 应用完整指南 LlamaIndex LlamaIndex 是一个强大的框架,专门用于构建基于LLM的数据应用。它的主要目标是帮助开发者创建能够与私有数据交互的LLM应用。 为什么选择 LlamaIndex? 上下文增强 LlamaIndex 的核心理念是"上下文增强"(Context Augmentation),主要包括: 数据摄入:从各种源导入数据 数据索引:结构化存储便于LLM使用 数据检索:智能查询和响应 数据导入 LlamaIndex 支持多种数据源: PDF文档 Word文档 Markdown文件 网页内容 API数据 数据库 Discord消息 Google文档 Notion页面 Slack消息 示例 索引类型 LlamaIndex 提供多种索引方式: VectorStoreIndex:向量存储索引 ListIndex:列表索引 TreeIndex:树形索引 KeywordTableIndex:关键词表索引

    1.5K11编辑于 2025-03-05
  • 来自专栏Reinvent Data Science

    基于 Milvus + LlamaIndex 实现高级 RAG

    检索后优化技术包括: 03.基于 Milvus + LlamaIndex 实现高级 RAG 我们实现的高级 RAG,使用了 OpenAI 的语言模型,托管于 Hugging Face的 BAAI重排模型 vector_store) index = VectorStoreIndex( nodes, storage_context=storage_context ) 索引优化示例:句子窗口检索 我们使用 LlamaIndex ... query_engine = index.as_query_engine( node_postprocessors = [postproc], ) 检索优化示例:混合搜索 在 LlamaIndex

    1.7K10编辑于 2024-05-31
  • 如何通过 LlamaIndex 将数据导入 Elasticsearch

    本文将介绍如何使用 LlamaIndex 将数据索引到 Elasticsearch 中,以实现 FAQ 搜索引擎。 什么是 LlamaIndexLlamaIndex 是一个框架,旨在通过大型语言模型(LLMs)与特定或私有数据进行交互,简化智能代理和工作流程的创建。 LlamaIndex 与 Elasticsearch 的集成:Elasticsearch 可以在多种方式中与 LlamaIndex 集成:数据源:使用 Elasticsearch Reader 提取文档 使用 LlamaIndex 和 Elasticsearch 构建 FAQ 搜索引擎数据准备我们将使用 Elasticsearch 服务 FAQ 作为示例。 默认情况下,LlamaIndex 使用 OpenAI 的 text-embedding-ada-002 模型生成嵌入。

    99410编辑于 2025-03-05
  • 来自专栏DeepHub IMBA

    通过4个任务比较LangChain和LlamaIndex

    LlamaIndex:专门用于构建RAG系统的框架。 首先我们看看他们的Github表现和一些公开的信息: 从财务状况来看,LlamaIndex的融资规模接近LangChain,尽管他们的目标市场要小得多。 这可能表明LlamaIndex的生存机会更大,因为资金比较宽裕。 LlamaIndex用role参数标记聊天消息,而LangChain使用单独的类。 总结 LlamaIndex和LangChain是构建LLM应用程序的两个框架。LlamaIndex专注于RAG用例,LangChain得到了更广泛的应用。

    2.7K10编辑于 2024-01-29
  • 来自专栏Reinvent Data Science

    破解提升 LLMs 性能的黑匣子—— LlamaIndex

    “可以将 LlamaIndex 视为外部数据和 LLM 连接在一起的黑匣子。”在 Zilliz 组织的网络研讨会中,LlamaIndex 的联合创始人兼首席执行官 Jerry Liu 曾这样说道。 为了方便更多开发者了解和使用 LlamaIndex,我们今天将从概念谈起,着重介绍它的索引部分及使用方法。 01. 什么是 LlamaIndex? 和 CVP Stack 一样,LlamaIndex 通过注入数据来帮助解决 LLM 对特定领域认知不足的情况。可以说,LlamaIndex 是开发者和 LLM 交互的一种工具。 LlamaIndex 中的各式索引 本质上,LlamaIndex 中的所有索引类型都由“节点”组成,节点代表了文档中的一段文本。 使用 LlamaIndex 的准备工作 首先,获取相关代码,我们把它们放在了 Google Colab[2] 笔记本,大家可以先获取提供的数据或者克隆 LlamaIndex repo[3],并打开 examples

    1.4K20编辑于 2023-08-26
  • 来自专栏自然语言处理

    LlamaIndex :面向QA 系统的全新文档摘要索引

    在这篇博文中,我们介绍了一种全新的 LlamaIndex 数据结构:文档摘要索引。我们描述了与传统语义搜索相比,它如何帮助提供更好的检索性能,并通过一个示例进行了介绍。 文档摘要索引 在LlamaIndex中提出了一个新索引,它将为每个文档提取/索引非结构化文本摘要。该索引可以帮助提高检索性能,超越现有的检索方法。

    1.8K20编辑于 2023-08-25
  • 来自专栏喔家ArchiSelf

    大模型应用框架:LangChain与LlamaIndex的对比选择

    关于LlamaIndex 作为一个大模型应用框架,LlamaIndex‌专为基于RAG的大型语言模型‌应用设计。‌ 与 LLM 的集成 LlamaIndex 能够与大型语言模型(LLM)集成,实现上下文数据检索功能: 上下文感知搜索:依托 LLM 的能力,LlamaIndex 能深入理解查询的语境,提供更相关且精确的搜索结果 LangChain与LlamaIndex的对比选择 LlamaIndex 和 LangChain 对于希望构建自定义的基于 LLM 的应用程序的开发人员来说都是非常有用的框架。 总结一下,LangChain 与 LlamaIndex 的对比如下: 比较项 LangChain LlamaIndex 聚焦功能域 定制化NLP流水线与大模型集成 高效数据索引和信息提取 灵活性 高 中 若主要关注高效的数据索引与检索,尤其是在处理大型数据集方面,LlamaIndex 则是理想选择。对于追求数据处理性能和可伸缩性至关重要的应用程序,LlamaIndex 高度契合。

    8.7K11编辑于 2024-07-22
  • 来自专栏云云众生s

    让我们开始代理:LangChain和LlamaIndex谈论AI代理

    在人工智能工程师世界博览会上,LangChain 和 LlamaIndex 的创始人谈论了从基于 RAG 的 LLM 系统到 AI 代理的演变。 LlamaIndex LlamaIndex 的创建者 Jerry Liu 在世界博览会上的一次单独演示中,提出了另一种 AI 代理方法。 Liu 继续解释了 LlamaIndex 用户的一系列复杂选项,但总体而言,用户可以使用超越 RAG 的技术构建更高级的代理。 但当然,LangChain 和 LlamaIndex 提供的解决方案是否会更好,还有待观察。 LangChain 的解决方案有一个复杂的口号(“定制认知架构”),但似乎比 LlamaIndex 更简单,LlamaIndex 有一个简单的口号(“知识助理”),但工作流程很复杂。

    35810编辑于 2024-07-04
  • 来自专栏Elastic Stack专栏

    使用 LlamaIndex、Elasticsearch 和 Mistral 进行检索增强生成(RAG)

    我们会使用LlamaIndex和一个本地运行的Mistral LLM模型。 在开始之前,让我们先了解一下相关术语。 术语解释 LlamaIndex 是构建LLM(大型语言模型)应用的领先数据框架。 LlamaIndex为构建RAG(检索增强生成)应用的各个阶段提供了抽象。像LlamaIndex和LangChain这样的框架提供了抽象层,使得应用程序不会紧密绑定到任何特定LLM的API上。 在加载文档的同时,我们使用本地运行的Mistral模型创建嵌入,并将其与“对话”一起存储在LlamaIndex Elasticsearch向量存储中。 文档对象是LlamaIndex处理信息的基本单位。 \n") if __name__ == "__main__": main() 如前所述,LlamaIndex的摄取管道可以由多个组件组成。

    3K62编辑于 2024-04-15
  • 来自专栏灵墨AI探索室

    借助AI助手分析LlamaIndex的工作流可视化

    引言 接续上次的讨论,我们上次主要分析了LlamaIndex工作流的核心流程,当前还剩下一行代码需要关注,那就是关于工作流的可视化。 总结 在本文的最后,我们总结了LlamaIndex工作流的可视化部分的实现和细节,重点分析了如何利用Python中的pyvis库和Java中的图形库,分别在两种语言中构建和展示网络图。

    43020编辑于 2024-12-02
  • 来自专栏DeepHub IMBA

    整合LlamaIndex与LangChain构建高级的查询处理系统

    构建大型语言模型应用程序可能会颇具挑战,尤其是当我们在不同的框架(如Langchain和LlamaIndex)之间进行选择时。 LlamaIndex在智能搜索和数据检索方面的性能令人瞩目,而LangChain则作为一个更加通用的应用程序框架,提供了更好的与各种平台的兼容性。 本篇文章将介绍如何将LlamaIndex和LangChain整合使用,创建一个既可扩展又可定制的代理RAG(Retrieval-Augmented Generation)应用程序,利用两种技术的强大功能 然后使用LlamaIndex的QueryEngineTool抽象类将查询引擎转换为工具,这些工具将稍后提供给LLM使用。 希望本文能帮助你了解如何有效地整合LlamaIndex和LangChain,以构建一个高效、可扩展的代理RAG应用程序。

    88310编辑于 2024-05-22
  • 来自专栏机器学习

    深入解析 LlamaIndex:大语言模型的数据管理与查询利器

    一、LlamaIndex 简介LlamaIndex,原名为 GPT Index,是一个专门为大语言模型设计的开源数据管理工具。其核心目标是简化和优化 LLM 在外部数据源中的查询过程。 LlamaIndex 通过构建索引和增强检索能力,使得 LLM 在处理大规模数据集时更加高效和智能。LlamaIndex 的核心功能包括数据预处理、索引构建、多样化检索方法以及与 LLM 的无缝集成。 二、LlamaIndex 的主要功能与特点多种索引类型:LlamaIndex 支持多种索引结构,包括列表索引、树形索引、图索引等,满足不同场景下的数据管理需求。 五、LlamaIndex 的应用场景LlamaIndex 在多个实际场景中表现优异,以下是几个典型应用:企业知识库管理:企业内部通常拥有大量文档和知识库,LlamaIndex 可以帮助快速构建文档索引, 六、LlamaIndex 的高级用法除了基础的索引构建和查询,LlamaIndex 还支持一些高级功能,如自定义索引器、查询增强等。以下是一些常见的高级用法:1.

    4.6K01编辑于 2024-08-20
  • 来自专栏大模型应用

    大模型应用:LlamaIndex、LangChain 与 LangGraph 细节深度、协同应用.24

    LlamaIndex、LangChain和LangGraph分别针对这三个挑战提供了专业解决方案。 在 LLM 应用开发链路中,LlamaIndex、LangChain 与 LangGraph 形成了 “数据处理 - 基础编排 - 复杂流程” 的全链路支撑体系,三者互补共生而非替代关系:LlamaIndex 架构设计LlamaIndex的核心目标是将私有数据与LLM连接。其架构分为以下几个层次:数据连接层:支持多种数据源(文档、数据库、API等)的数据加载。 参考案例中通过RunnablePassthrough传递用户输入,将 LlamaIndex 的检索结果与 LLM 调用串联为完整链路。 关键动作:不新增基础组件,而是复用LangChain的工具和LlamaIndex的检索能力,只负责复杂流程的编排与状态管理。2.

    1.6K21编辑于 2026-02-21
  • 来自专栏Reinvent Data Science

    书接上回,如何用 LlamaIndex 搭建聊天机器人?

    为什么要用 LlamaIndex 搭建聊天机器人? 在项目中,我们将使用 LlamaIndex 来实现高效的检索。 LlamaIndex(https://zilliz.com/product/integrations/Llamaindex)是一个框架,可以帮助我们在大型语言模型之上处理数据。 LlamaIndex 提供的一个主要抽象是“索引”。索引是数据分布的模型。 LlamaIndex 和 Milvus 对于 Chat Towards Data Science 的作用 那么,LlamaIndex 是如何帮助我们协调数据检索?

    1.1K20编辑于 2023-11-06
  • 来自专栏AgenticAI

    微软下一代RAG:GraphRAG与LlamaIndex巅峰对决

    可能大部分同学都是使用Langchain,其实LlamaIndex也很简单,本文依然本着不会LlamaIndex也能看懂的原则编写。 1. LlamaIndex介绍 LlamaIndex[1] 是一个利用大型语言模型(LLMs)构建具备情境增强功能的生成式人工智能应用程序的框架。 LlamaIndex 实际上充当了一种桥梁角色,它专为简化大规模语言模型(LLM)在不同场景下的应用而设计。 在LlamaIndex中,使用属性图索引非常简单,并且支持自定义或者连接已有知识图谱。 参考资料 [1] LlamaIndex: https://www.llamaindex.ai/ [2] 北京智源: https://www.baai.ac.cn/

    47700编辑于 2025-03-18
  • 来自专栏NLP/KG

    检索增强生成(RAG)实践:基于LlamaIndex和Qwen1.5搭建智能问答系统

    LLaMaIndex2.1 简介LlamaIndex 是一个基于 LLM 的应用程序的数据框架,受益于上下文增强。 这种 LLM 系统被称为 RAG 系统,代表 “检索增强生成”。 LlamaIndex 有用性的核心是其有助于构建 LLM 应用程序的功能和工具。在这里,我们详细讨论它们:数据连接器LlamaIndex 提供数据连接器,可以提取您现有的数据源和格式。 LlamaIndex 提供了在索引或图表中构建数据的工具。高级检索/查询界面LlamaIndex 不仅仅是摄取和构建数据。它还为您的数据提供高级检索或查询界面。 只需输入任何 LLM 输入提示,LlamaIndex 将返回检索到的上下文和知识增强输出。与其他框架集成LlamaIndex 允许与您的外部应用程序框架轻松集成。 高级和低级 API无论您的熟练程度如何,LlamaIndex 都能满足您的需求。初学者用户会喜欢高级 API,它允许使用 LlamaIndex 以仅五行代码来摄取和查询他们的数据。

    5.1K12编辑于 2024-05-07
  • 使用LlamaIndex与OpenAI构建具备自我评估能力的智能体AI系统

    如何使用LlamaIndex和OpenAI构建具备自我评估能力的智能体AI系统在本教程中,将构建一个使用LlamaIndex和OpenAI模型的高级智能体AI工作流。 这种方法说明了如何将智能体AI与LlamaIndex和某中心模型结合使用,以构建功能更强大、在推理和响应方面也更可靠和更具自我意识的系统。

    15510编辑于 2026-01-30
  • 来自专栏小七的各种胡思乱想

    解密prompt系列55.Agent Memory的工程实现 - Mem0 & LlamaIndex

    /抽取 vs 直接存储)Where:存储介质(内存/向量库/图数据库)Length:记忆长度管理(截断 vs 无限扩展)Format:上下文构建方式Retrieve:记忆检索机制下面我们看两个开源方案LlamaIndex 和Mem0对于记忆存储的实现方式LlamaIndexllamaindex-memory: 腾讯云不允许给网站链接,涉及引流,大家自己搜吧LlamaIndex提供了长短记忆两种记忆存储方式,短期记忆管理对话历史不做任何处理 整体上比llamaindex的自动化更高些,没有给用户自己进行记忆配置的更活性。 vector store先来看下vector store的记忆存储,步骤如下事实抽取(压缩):类似llamaindex也是做事实性抽取,如下为抽取prompt,整体上对于待抽取事实的定义会比llama更丰富 冲突检测:检索相似历史记忆并进行更新消歧:对比Llamaindex是当记忆存储上文超过长度后再进行记忆的压缩。Memo是每轮对话得到抽取后的事实后,都会自动进行一次记忆更新。

    1.7K20编辑于 2025-06-05
领券