- 综合排序
- 最热优先
- 最新优先
- 来自专栏有文化的技术人
Eino LLM应用开发框架调研分析
项目概述 「eino」（发音类似 "I know"）是 CloudWeGo 团队开源的 Go 语言 LLM 应用开发框架，基于 Apache 2.0 许可证。 │ Tool │ │Retriever │ │Embedding │ └────────┘ └──────────┘ └──────────┘ └──────────┘ 3. 构建边关系 │ │ 2. buildNodes() // 构建节点 │ │ 3. 设计理念总结 4.1 框架定位 「eino 是 LLM 应用开发 SDK」，提供组件抽象和编排能力： ┌───────────────────────────────────────────────── 能力的应用 已有服务框架，需要嵌入 LLM 能力 快速原型开发和实验 对类型安全有要求的 Go 项目 4.2 核心设计理念 「核心理念」：Runnable 抽象 + 流式优先 + 类型安全 ┌────
17710编辑于 2026-04-09 - 来自专栏喔家ArchiSelf
基于大模型（LLM）的Agent 应用开发
随着开发人员开始创建日益复杂的LLM应用程序，开发流程不可避免地变得更加复杂。 可对话的Agent设计利用了LLM通过聊天获取反馈并取得进展的强大能力，还允许以模块化的方式组合LLM的功能。 3. MetaGPT：MetaGPT 是一种基于Multi-Agent对话框架的LLM自动软件开发应用程序。他们为各种gpt分配不同的角色来协作开发软件，针对特定场景制定专门的解决方案。 上个月（2023年9月），微软提出了一个Autogen 的开源框架，为开发LLM的Agent 应用提供了有价值的参考。 4. 基于Multi-Agent的LLM 应用开发框架：Autogen AutoGen 是一个用于简化 LLM 工作流的编排、优化和自动化的开发框架。
7.9K33编辑于 2023-10-23 - 来自专栏Lcry个人博客
开源 LLM 应用开发平台 Dify 部署教程
在内的产品无疑幸免，在最新版本中 v1.11.1版本中才修复，虽然本站出了很多一些关于 dify 的使用教程，但是很多人还没有部署过这个平台，今天就趁到全新安装 v1.11.1为例带大家部署一下这个 AI 应用开发平台 介绍 Dify 是一款开源的大语言模型（LLM）应用开发平台，它结合了后端即服务（BaaS）和 LLMOps 理念，让开发者、企业甚至非技术人员都能快速构建、部署和管理生产级的生成式AI应用，例如智能客服 、知识库问答等，支持多种模型（如 OpenAI、Claude 3），并通过可视化界面、RAG（检索增强生成）、工作流编排等功能简化了开发流程。 3、安装很多插件下载不下来一直在失败超时，又没有梯子需要怎么处理？
1.5K10编辑于 2026-01-09 - 来自专栏云云众生s
开发基于云的RAG应用，使用开源 LLM
检索增强生成 (RAG) 通常用于开发定制的 AI 应用程序，包括 聊天机器人、推荐系统 和其他个性化工具。该系统利用向量数据库和 大型语言模型 (LLM) 的优势来提供高质量的结果。 让我们探索一种类似的方法来开发使用云托管开源 LLM 和可扩展向量数据库的应用程序。 工具和技术 开发此基于 RAG 的 AI 应用程序需要使用多种工具。 之后，您就可以编写代码并开发 RAG 应用程序了。 它的简单性和灵活性使其成为开发人员的理想选择，使他们能够更多地专注于创新，而无需过多关注部署复杂性。 另一方面，MyScaleDB 是专门为 RAG 应用程序开发的，提供高性能 SQL 向量数据库。 它熟悉的 SQL 语法使开发人员可以轻松地将其集成到他们的应用程序中并使用它，因为学习曲线很小。MyScaleDB 的 多尺度树图 (MSTG) 算法在速度和准确性方面明显优于其他向量数据库。
58410编辑于 2024-07-07 基于MindSpore NLP的LLM应用开发 - - 五点
LLM介绍核心：Transforme1.什么是RAG：RAG(Retrieval-Augmented Generation)技术的原理与实践工作流2.Embedding3.知识库设计：常用向量数据库4. vector_store.query(query, embedding_model, k=5) top_k_documents = reranker.rerank(query, retrieved_documents, k=3) gr.Files(label="上传文件（支持 .md, .txt, .pdf）") ], outputs=gr.Textbox(label="生成的回复"), title="RAG 应用
31910编辑于 2025-01-19LLM应用开发平台特训营-慕K学习分享
随着大语言模型（Large Language Models, LLM）的应用日益广泛，如何高效地部署和管理这些模型成为一个重要的课题。 而 Prompt 引擎作为 LLMOps 平台的重要组成部分，负责生成和优化提示（prompt），以提升模型的表现和应用效果。 1.3 LLMOps 平台的架构慕课LLM应用开发平台特训营中LLMOps 平台的架构通常包括以下几个模块：模型管理模块：负责模型的版本控制、打包和部署。监控模块：实现模型运行状态的监控和告警。 LLM应用开发平台特训营中Prompt 引擎需要与 LLMOps 平台及外部应用交互，这要求开发标准化的接口，支持数据输入输出和配置管理。 3.2 日志和监控慕课LLM应用开发平台特训营中集成日志和监控功能，使 LLMOps 平台可以跟踪 Prompt 引擎的运行状态和性能，便于调试和优化。
74310编辑于 2024-06-12「慕K体系」LLM应用开发平台特训营-入门
大语言模型（LLM）应用开发涵盖了使用预训练语言模型构建自然语言处理（NLP）应用程序的过程。以下是开发 LLM 应用的详细指南，包括安装、基础配置、常见应用场景和实际示例。1. 例如，加载 GPT-3 模型：from transformers import GPT2LMHeadModel, GPT2Tokenizer# 加载模型和分词器model_name = 'gpt2'model LLM 应用场景2.1 文本生成LLM 可以用于生成高质量的自然语言文本。这在内容创作、自动写作等场景非常有用。 部署和优化3.1 部署 LLM 应用LLM 应用可以部署在各种平台上，包括云服务（如 AWS、GCP）和本地服务器。常见的方法有：使用 Flask 或 FastAPI 构建 API 服务。 使用 Docker 容器化应用，便于部署和扩展。3.2 优化性能由于 LLM 通常非常大，优化性能是关键。可以考虑以下方法：模型压缩：使用模型量化和剪枝技术减小模型体积。
72010编辑于 2024-07-02- 来自专栏腾讯技术工程官方号的专栏
一文入门最热的LLM应用开发框架LangChain
在这个背景下，LangChain 作为一个以 LLM 模型为核心的开发框架出现，为自然语言处理开启了一个充满可能性的世界。 nodejs 版本也在短短 4 个月收货了 7k+的 star，这无疑利好前端同学，不需要会 python 也能快速上手 LLM 应用开发。 笔者认为 Langchain 作为一个大语言模型应用开发框架，解决了现在开发人工智能应用的一些切实痛点。以 GPT 模型为例： 1.数据滞后，现在训练的数据是到 2021 年 9 月。 LLM 应用架构 LangChian 作为一个大语言模型开发框架，是 LLM 应用架构的重要一环。那什么是 LLM 应用架构呢？其实就是指基于语言模型的应用程序设计和开发的架构。 LangChian 可以将 LLM 模型、向量数据库、交互层 Prompt、外部知识、外部工具整合到一起，进而可以自由构建 LLM 应用。 2.
14.1K68编辑于 2023-08-18 LLM架构管窥：3模式、3原理
研究3天，6篇笔记 【点我头像 查看文章列表】因为咱是懂架构的，所以借助架构模式理解LLM架构并不困难。倒是向量语义叠加、多头注意力原理，颇是费脑细胞。
23620编辑于 2025-12-31- 来自专栏云云众生s
LLM 如何转变企业应用
事实上， LLM 正在迅速成为应用程序栈的一个组成部分。 事实上，构建基于 LLM 的应用程序只需要一个可以进行数据库调用和 API 调用的开发人员。 因此，构建代理首先要考虑如何为 LLM 提供正确的上下文以获得所需的响应。 从广义上讲，此上下文来自三个位置：用户的问题、代理开发人员创建的预定义提示以及来自数据库或其他来源的数据（请参见下图）。 你会听到开发人员谈论像 LangChain 这样的框架，顾名思义，它通过将多个 LLM 调用的输入和输出链接在一起并根据需要自动从正确的数据源中提取正确的数据来实现 LLM 驱动的代理的开发。 您的开发人员可能正在使用诸如 LangChain 之类的框架构建您组织自己的专有基于代理的应用程序体验，但仅专注于此将带来巨大的机会成本。
70210编辑于 2024-03-27 - 来自专栏人工智能
Java程序员该如何快速上手LLM应用开发呢?
作为Java开发者，你完全可以利用自己已有的技能栈，快速上手LLM应用开发。在过去的一年里，我尝试了把多种行业的系统成功的接入大模型能力，将原有的企业应用升级为智能应用。 我发现，Java开发者在构建LLM应用时其实有着独特的优势——扎实的工程实践、成熟的生态系统以及强大的企业级应用开发经验。 二、Java开发者的LLM应用开发栈：从API到框架要开始Java LLM应用开发，你需要了解这套完整的技术栈，从底层API到上层框架，逐层递进：2.1 底层API：与大模型对话的"翻译器"一句话概括： 4.3 步骤3：集成到现有Java应用核心工作：定义清晰的接口：将LLM功能封装为独立服务；实现异步调用：使用CompletableFuture等机制；添加错误处理：捕获和处理API调用异常；实现监控日志 五、Java LLM应用开发常见陷阱：避免3个典型错误在帮助团队实践Java LLM应用开发的过程中，我发现了几个常见的陷阱，提前了解可以少走弯路：陷阱1：忽视提示词工程的重要性表现：直接将用户输入传给模型
80700编辑于 2025-11-07 - 来自专栏开源服务指南
LLM DevOps 平台：加速大模型应用开发 | 开源日报 No.269
dataelement/bishenghttps://github.com/dataelement/bisheng Stars: 7.2k License: Apache-2.0 bisheng 是一款开源的 LLM 该项目旨在赋能和加速大模型应用开发，帮助用户以最佳体验进入下一代应用开发模式。 其主要功能、关键特性和核心优势包括： 便捷：通过预置的应用模板，业务人员可以快速搭建智能应用。 灵活：提供数百种开发组件，并支持可视化且自由的流程编排能力。 可靠与企业级：具备高并发下的高可用、实时运营及效果持续迭代优化等企业级特性。 产品应用广泛，包括分析报告生成、知识库问答、对话交互以及要素提取等多种场景。 Gemini API 的指南和示例 包括快速入门教程，展示如何编写提示以及使用 API 的不同功能 提供可构建的实际示例 支持多模态 Gemini 模型，可以无缝地跨文本、图像、代码和音频进行推理 可用于开发各种应用程序
83910编辑于 2024-05-30 - 来自专栏全栈程序员必看
《Android应用开发揭秘》连载3
《Android应用开发揭秘》 书名：Android应用开发揭秘 作者：杨丰盛 出版社：机械工业出版社 ISBN：9787111291954 出版日期：2010 年3月（1版2次） 当然，这需要开发者在开发时使用这种MVC框架，尽量减少使用“硬编码”。笔者个人建议使用这种框架。 3.1.2 Android应用解析 上面我们了解了Android应用程序的目录结构和其中每个文件的功能，要进行应用开发，还需要对Android应用构造进行深入分析。 当然，也不是每个Android应用程序都必须由这4部分组成，可以根据开发者需求进行组合，比如上面建立的HelloAndroid项目就只使用了Activity这一个模块。 相信通过本章的学习，你已经开始“喜欢”上Android了，有你的这份热情和执着，加上每一章的示例，让你边学边做，理论加实践，轻轻松松学会Android应用开发。加油吧！后面的内容更精彩。
1.3K20编辑于 2022-06-28 - 来自专栏CoderJia的工作笔记
LLM 应用的宝藏库：Awesome LLM Apps 项目深度解析
在这个背景下，Awesome LLM Apps 项目应运而生，为开发者提供了一个全面的 LLM 应用示例库。 这个项目不仅仅是一个简单的代码集合，更像是一本活生生的 LLM 应用开发教科书。 结论与展望 Awesome LLM Apps 项目为 LLM 应用开发者提供了一个宝贵的学习和参考资源。 它不仅展示了当前 LLM 技术的应用边界，更为开发者提供了从零到一构建 LLM 应用的完整路径。 对于想要入门 LLM 应用开发的开发者来说，这个项目无疑是最好的起点之一。通过学习和实践这些示例，开发者不仅可以掌握 LLM 应用开发的核心技能，更能培养对 AI 技术应用的深度理解和创新思维。 在 AI 技术快速发展的今天，像 Awesome LLM Apps 这样的开源项目正在推动整个行业的进步。它降低了 AI 应用开发的门槛，让更多的开发者能够参与到 AI 技术的创新和应用中来。
2.2K10编辑于 2025-06-15 - 来自专栏AIGC大模型应用
AI大模型应用开发实战(02)-国内外LLM的多模型，强应用
-> GLM130B -> LLaMa -> GPT-4 -> Falcon -> GPT-4v发展角度，LLM最早在2017年左右，最早所有LLM都是基于谷歌Transformer架构设计。 2017年谷歌发布它的T5模型，后续不断有新的这种LLM衍生。 包括GPT-2、GPT-3、GLM-130B和以Facebook代表的开源的ollma，还有后来GPT-4及中东的科研机构开发的这个FanCL及最新GPT4，包括多模态模型。 更多 LLM 官网，访问编程严选网-导航：2 国外与国内大模型发布时间看，海外比我们早，能叫得上的或用的比较多的都是2023年才开始发布。3 参数与模型能力先看国外的，第一个GPT-2大概15亿参数。 阿里通义千问参数在70~700亿之间，总体能力相当于GPT-3，国内还是稍差。GLM-6B大概60亿参数，清华大学团队。
70810编辑于 2024-08-08 - 来自专栏京东技术
LangChain：打造自己的LLM应用
导读 随着LLM的技术发展，其在业务上的应用越来越关键，通过LangChain大大降低了LLM应用开发的门槛。 本文通过介绍LangChain是什么，LangChain的核心组件以及LangChain在实际场景下的使用方式，希望帮助大家能快速上手LLM应用的开发。 LangChain是一个框架，用于开发由LLM驱动的应用程序。可以简单认为是LLM领域的Spring，以及开源版的ChatGPT插件系统。 开发框架，能和外部数据源交互、能集成各种常用的组件等等，大大降低了LLM应用开发的门槛。 个人认为，除了和业务结合落地LLM应用外，还有2个大的方向可以进一步去探索： 1）通过低代码的形式进一步降低LLM应用的开发门槛。
2.7K30编辑于 2023-11-05 LangServe如何革新LLM应用部署？
0 前言随LLM技术演进，AI应用开发部署越来越复杂。LangServe应运而生，旨在简化AI服务部署和运维的框架。专为LLM部署和管理而设计；本文旨在讲解LangServe的功能特点和实践运用。 可将LLM应用链接入常见Python Web框架（如FastAPI、Pydantic、uvloop、asyncio），进而生成一套RESTful API。 LangServe减少开发人员的运维部署任务，使他们可以更专注于LLM应用开发。不仅简化从开发到生产的过渡，还确保服务的高性能和安全性。 LangServe的目标是让开发者能够轻松集成、部署和管理AI模型，从零到一无缝地实现LLM应用从原型到产品的过渡。 3 REST API 开发1 环境准备安装依赖：pip install "langserve[all]"该命令包含了服务端和客户端的安装。
46910编辑于 2024-10-21- 来自专栏架构师成长之路
大模型llm：Ollama部署llama3学习入门llm
二、Ollama安装 1、Ollama简介 Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。 "prompt": "请分别翻译成中文、韩文、日文 -> Meta Llama 3: The most capable openly available LLM to date", "stream raw：如果为true，则不会对提示文本应用任何格式。如果在请求API时指定了完整的模板化提示文本，则可以使用raw参数。 ": "Here are the translations:\n\n**Chinese:** 《Meta Llama 3》：迄今最强大的公开可用的LLM\n\n**Korean:** 《Meta Llama 3》：현재 가장 강력한 공개 사용 가능한 LLM\n\n**Japanese:**\n\n《Meta Llama 3》：現在最強の公開使用可能なLLM\n\n\n\nNote: (Meta Llama
7K00编辑于 2024-05-24 - 来自专栏大语言模型
保姆级教程：使用dify源码本地部署LLM应用开发平台
LLM应用平台介绍 现在大模型应用平台让人挑花了眼，想创建个人智能体的选择越来越多了，列举一些国内主流AI平台： 腾讯元器：https://yuanqi.tencent.com/my-creation/ 本文介绍，如何基于Dify在本地部署一个自己的LLM应用开发平台。你不需要半年，你只需要半天，心怀感激的站在巨人肩膀打造自己的平台。 dify平台介绍 Dify 是一款开源的大语言模型(LLM) 应用开发平台。 它融合了后端即服务（Backend as Service）和LLMOPs的理念，使开发者可以快速搭建生产级的生成式 AI 应用。 ● 探索 LLM 的能力边界，即使你是一个技术爱好者，通过 Dify 也可以轻松的实践 Prompt 工程和 Agent 技术，在 GPTs 推出以前就已经有超过 60,000 开发者在 Dify 上创建了自己的第一个应用
54.2K611编辑于 2024-06-23 LLM&RAG快速应用小册
LLM 与 RAG 的组合拳，其核心目标就是压缩这些“低价值工时”，让员工从繁琐的事务中解放出来，专注于战略、创新和决策。 第二部分：RAG——为 LLM 注入企业“私有灵魂”直接使用通用的 LLM，就像让一位绝顶聪明但对你公司一无所知的“外部顾问”来工作。 通过 RAG，LLM 在回答任何问题时，都会先从这个私有知识库中检索最相关的信息，然后基于这些准确、实时的内部资料来生成回答。 效果： 一个由 AI 辅助的客服团队，其人均效率可以提升 2-3 倍。原本需要 10 个人的团队，现在可能只需要 3-4 人，人力成本大幅削减，同时客户满意度因响应速度和准确性的提升而显著提高。 结语：从“工具”到“战略”LLM 与 RAG 的应用，绝非简单地购买一个软件或部署一个模型。它是一项深刻的组织变革战略。
25910编辑于 2025-11-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号