- 综合排序
- 最热优先
- 最新优先
- 来自专栏向治洪
LLM智能体开发指南
你输入一个任务描述，比如“给我做一个贪吃蛇游戏”，并使用LLM作为它的大脑和一些围绕它构建的工具，你就得到了自己的贪吃蛇游戏！ 看，连我也做了一个！ 你可以做得比这更大，但在做大之前，让我们从小而简单的开始，创建一个可以做一些数学运算的代理为此，我们从 Gorilla 中汲取灵感，这是一个与大量 API 连接的LLM。 首先，我们选择LLM并创建一个数据集。 1352) ： { "function_name": "add", "parameter_1": "8945", "parameter_2": "1352" } 微调就像对现有项目进行更改，而不是从头开始开发所有内容 你已经微调了第一个 LLM 模型并创建了一个原始代理！
53600编辑于 2024-05-24 - 来自专栏云云众生s
LLM链正在改变AI开发
例如，在使用 Visual Studio Code 设置开发环境并加载 OpenAI API 密钥时，开发人员可以快速定义提示模板并为其链选择 LLM 模型。 通过创建一个从 Chain 继承的自定义链类并实现所需的方法，开发人员可以尝试不同的提示模板和 LLM 模型，以创建满足其需求的自定义链。 弥合差距：Langchains 和开发者可访问性 像 Langchain 这样的框架 在进一步提高 LLM 链的可用性方面发挥着至关重要的作用。 这加速了开发周期，并帮助在开发人员之间建立社区。此外，Langchains 允许开发人员提供反馈，不断改进框架。 通过解决偏差和隐私问题等挑战，并通过培养协作开发环境，LLM 链将推动人工智能应用的重大进步。在正确的人手中，LLM 链的潜力几乎是无限的，为各个领域的创新解决方案和提高效率铺平了道路。
27210编辑于 2024-08-03 - 来自专栏有文化的技术人
Eino LLM应用开发框架调研分析
项目概述 「eino」（发音类似 "I know"）是 CloudWeGo 团队开源的 Go 语言 LLM 应用开发框架，基于 Apache 2.0 许可证。 设计理念总结 4.1 框架定位 「eino 是 LLM 应用开发 SDK」，提供组件抽象和编排能力： ┌───────────────────────────────────────────────── │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 使用 eino 组件和编排能力构建 LLM ──────────────┘ │ └───────────────────────────────────────────────────────────────┘ 「适用场景」： 需要灵活组合 LLM 能力的应用 已有服务框架，需要嵌入 LLM 能力 快速原型开发和实验 对类型安全有要求的 Go 项目 4.2 核心设计理念 「核心理念」：Runnable 抽象 + 流式优先 + 类型安全 ┌────
15610编辑于 2026-04-09 - 来自专栏喔家ArchiSelf
基于大模型（LLM）的Agent 应用开发
随着开发人员开始创建日益复杂的LLM应用程序，开发流程不可避免地变得更加复杂。 LangChain Agent：LangChain是开发基于LLM应用的通用框架。LangChain有各种类型的代理，ReAct Agent是其中一个著名的示例。 MetaGPT：MetaGPT 是一种基于Multi-Agent对话框架的LLM自动软件开发应用程序。他们为各种gpt分配不同的角色来协作开发软件，针对特定场景制定专门的解决方案。 上个月（2023年9月），微软提出了一个Autogen 的开源框架，为开发LLM的Agent 应用提供了有价值的参考。 4. 基于Multi-Agent的LLM 应用开发框架：Autogen AutoGen 是一个用于简化 LLM 工作流的编排、优化和自动化的开发框架。
7.8K33编辑于 2023-10-23 - 来自专栏Lcry个人博客
开源 LLM 应用开发平台 Dify 部署教程
在内的产品无疑幸免，在最新版本中 v1.11.1版本中才修复，虽然本站出了很多一些关于 dify 的使用教程，但是很多人还没有部署过这个平台，今天就趁到全新安装 v1.11.1为例带大家部署一下这个 AI 应用开发平台 介绍 Dify 是一款开源的大语言模型（LLM）应用开发平台，它结合了后端即服务（BaaS）和 LLMOps 理念，让开发者、企业甚至非技术人员都能快速构建、部署和管理生产级的生成式AI应用，例如智能客服 、知识库问答等，支持多种模型（如 OpenAI、Claude 3），并通过可视化界面、RAG（检索增强生成）、工作流编排等功能简化了开发流程。
1.4K10编辑于 2026-01-09 - 来自专栏云云众生s
开发基于云的RAG应用，使用开源 LLM
检索增强生成 (RAG) 通常用于开发定制的 AI 应用程序，包括 聊天机器人、推荐系统 和其他个性化工具。该系统利用向量数据库和 大型语言模型 (LLM) 的优势来提供高质量的结果。 让我们探索一种类似的方法来开发使用云托管开源 LLM 和可扩展向量数据库的应用程序。 工具和技术 开发此基于 RAG 的 AI 应用程序需要使用多种工具。 之后，您就可以编写代码并开发 RAG 应用程序了。 连接到 BentoML LLM 建立与您在 BentoML 上托管的 LLM 的连接。llm_client 对象将用于与 LLM 交互，以根据检索到的文档生成响应。 它的简单性和灵活性使其成为开发人员的理想选择，使他们能够更多地专注于创新，而无需过多关注部署复杂性。 另一方面，MyScaleDB 是专门为 RAG 应用程序开发的，提供高性能 SQL 向量数据库。
57910编辑于 2024-07-07 - 来自专栏AI工程落地
TensorRT LLM vs OpenPPL LLM
支持模型和功能对比PPL LLM只支持baichuan、chatglm、llama三个模型，Tensor-LLM支持几乎所有大模型。 TensorRT-LLM使用起来更方便模型量化TensorRT-LLM是离线量化，支持更多的量化方法，smooth quant、weight only、AWQ等PPL LLM是实时量化（i8i8），支持整个网络一起量化 模型DeployTensorRT-LLM量化结束，不需要deploy中间模型，直接进入编译器。部分模型可以支持onnx可视化PPL LLM不需要deploy以及编译，直接用onnx调算子。 /docs/llama_guide.md at master · openppl-public/ppl.llm.serving (github.com)TensorRT LLM原模型-->量化-->编译 两个框架都是tensor并行框架依赖Tensor-LLM需要依赖tensorrt，但主要是一些单算子（卷积、激活函数、gemm等），融合算子都是Tensor-LLM自带的。PPL LLM没有依赖
1.2K30编辑于 2023-11-21 基于MindSpore NLP的LLM应用开发 - - 五点
LLM介绍核心：Transforme1.什么是RAG：RAG(Retrieval-Augmented Generation)技术的原理与实践工作流2.Embedding3.知识库设计：常用向量数据库4.
31910编辑于 2025-01-19- 来自专栏Se7en的架构笔记
MCP Server 开发实战：无缝对接 LLM 和 Elasticsearch
本文将进一步深入，带领读者一步步学习如何开发一个完整的 MCP Server。 这种方式让开发者可以更加便捷地创建和管理 MCP 的 Tool、Resource 以及 Prompt 等功能组件。 以下代码创建一个名为 mcp 的 FastMCP 对象。 使用 MCP Inspector 调试 MCP Server MCP Inspector 是一个交互式的开发者工具，专门用于测试和调试 MCP 服务器。 它提供了一个图形化界面，让开发者能够直观地检查和验证 MCP 服务器的功能。 最后通过一个实际的组合示例，演示了如何让 LLM 利用这些组件完成更复杂的数据处理任务，充分体现了 MCP 在提升 LLM 应用开发效率方面的优势。
1.7K11编辑于 2025-05-21 基于大模型LLM的开发与编程教程
在大模型全流程开发的征程中，我们始终面临一个核心矛盾：如何以可接受的成本，高效地将通用的“基座模型”转化为精通特定任务的“领域专家”？ 四、 全流程开发中的战略抉择在实际的LLM开发流程中，VeRA与Delta-LoRA并非相互替代，而是为不同阶段和目标提供了强大的工具。快速原型与多任务探索阶段： 使用VeRA。 从LoRA到VeRA与Delta-LoRA，LLM的轻量化适配技术正朝着更高效、更智能、更协同的方向飞速演进。在全流程开发中，理解这些技术的核心思想与适用场景，就如同一位统帅精通其麾下不同兵种的特性。
24110编辑于 2025-11-10- 来自专栏AIGC新知
使用LangChain进行LLMGPT开发 | LLM文档查询链
使用单独的LLM对于一些简单的应用程序来说是可以的，但许多更复杂的应用程序需要链接LLM——无论是相互链接还是与其他专家链接。LangChain为链提供了标准接口，以及一些常见的链实现，以便于使用。 可以创建一个链，该链接接受用户输入，使用 PromptTemplate 对其进行格式化，然后将格式化后的响应传递给 LLM。 LangChain提供了两个用于“链接”组件的高级框架。 它需要一个列表文档，将它们全部插入到提示中，并将该提示传递给LLM。 该链非常适合文档较小且对于大多数调用，只有少数几个被传入。 对一些示例数据运行此摘要链。 对于每个文档， 它传递所有非文档输入、当前文档和最新文档 LLM 链的中间答案以获得新答案。 由于 Refine 链一次只将一个文档传递给 LLM，因此它非常适合需要分析超出模型上下文容量的文档的任务。该链将比 Stuff 文档链发出更多的 LLM 调用。还有一些任务很难迭代完成。
45410编辑于 2024-10-08 - 来自专栏NewBeeNLP
LLM in Reranking——利用LLM进行重排
现有的涉及LLM的重排方法大致可以分为三类： 用重排任务微调LLM 使用prompt让LLM进行重排 以及利用LLM做训练数据的增强 本文中针对前两种方法介绍一些研究。 Method 使用TF-IDF相似度得到初步的候选文档集，再使用LLM进行重排。 LLM对召回的文档先进行打分，保留top K_1个文档，用超链接对这些文档进行扩展，再用LLM对扩展文档打分并挑选top K_2的文档，如此往复直到到达最大深度H。 一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。 另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
3.4K30编辑于 2023-10-25 LLM应用开发平台特训营-慕K学习分享
随着大语言模型（Large Language Models, LLM）的应用日益广泛，如何高效地部署和管理这些模型成为一个重要的课题。 1.3 LLMOps 平台的架构慕课LLM应用开发平台特训营中LLMOps 平台的架构通常包括以下几个模块：模型管理模块：负责模型的版本控制、打包和部署。监控模块：实现模型运行状态的监控和告警。 开发一个高效的 Prompt 引擎，需要考虑其生成策略、优化算法以及与 LLMOps 平台的集成。 LLM应用开发平台特训营中Prompt 引擎需要与 LLMOps 平台及外部应用交互，这要求开发标准化的接口，支持数据输入输出和配置管理。 3.2 日志和监控慕课LLM应用开发平台特训营中集成日志和监控功能，使 LLMOps 平台可以跟踪 Prompt 引擎的运行状态和性能，便于调试和优化。
74110编辑于 2024-06-12- 来自专栏云云众生s
CodeGate入门：LLM开发者的中间件
谈到使用大型语言模型 (LLM) 进行开发，是时候加深您对中间件如何为您和您的安全保驾护航的理解了。 开发人员可以从他们的“输出”中泄露大量信息，其中包括他们的公共查询。这并不意味着有人正在积极查看这些信息，但养成过滤输出的习惯是明智的。 并非所有这些都一定对开发团队显而易见。 在我们深入研究之前，以下是我们将要做的工作，以便您可以检查它是否在您的开发舒适区内： GitHub Copilot。您需要一个GitHub帐户才能使用Copilot。 开发人员只是向 LLM 询问键值对的含义，可能是因为他们一段时间没有使用 AWS 了。 问题是，当向 GPT-4 提问我们为什么使用它时，您不希望将您的私钥直接发送给 Sam Altman。
40710编辑于 2025-01-13 「慕K体系」LLM应用开发平台特训营-入门
大语言模型（LLM）应用开发涵盖了使用预训练语言模型构建自然语言处理（NLP）应用程序的过程。以下是开发 LLM 应用的详细指南，包括安装、基础配置、常见应用场景和实际示例。1. 安装和配置1.1 安装必要的工具和库在开始开发之前，确保安装了以下工具和库：Python：确保已安装 Python 3.6 及以上版本。pip：Python 包管理工具。 LLM 应用场景2.1 文本生成LLM 可以用于生成高质量的自然语言文本。这在内容创作、自动写作等场景非常有用。 部署和优化3.1 部署 LLM 应用LLM 应用可以部署在各种平台上，包括云服务（如 AWS、GCP）和本地服务器。常见的方法有：使用 Flask 或 FastAPI 构建 API 服务。 3.2 优化性能由于 LLM 通常非常大，优化性能是关键。可以考虑以下方法：模型压缩：使用模型量化和剪枝技术减小模型体积。分布式计算：在多个 GPU 上分布式运行模型。
71710编辑于 2024-07-02- 来自专栏服务端技术杂谈
LLM对于软件开发，什么变了？什么没有变？
LLM出现后，有人说：完蛋了，程序员要大面积失业了。 我不这样看。 LLM对于软件开发，什么变了？什么没有变？ 变化的是，基础编码能力的知识平权，进而带来局部效率的提升。 也正因为此，敏捷开发模式才被倡导起来了，需求是零散的，目标是模糊的，在有限的视角下，架构自然是有局限的，对此LLM也无能为力。 这才是软件工程问题的本质，自始至终都没有变过，LLM对此也无能为力。 LLM只是实现了编程提效中的一小部分，而现代软件工程则需要应对规模化场景下的各种问题。 LLM时代，软件研发需要更多思考的是： 1. 直接可运行，Prompt to executable 软件开发范式的可能性，随着Prompt即代码，编程范式的变化，基础设施也会随之变化，CICD等一系列工程实践，最终直接向终端交付价值，Serverless
59020编辑于 2023-08-08 - 来自专栏云云众生s
Freeplay：面向Java开发者（还有其他）的新型LLM开发工具
Freeplay是一款全新的LLM开发平台(今年我已经多次重复这个句子了)。一位投资者称它为“Figma的”，把它称为“LLM开发的Figma”。 Cairns告诉我，他和联合创始人Eric Ryan(也来自Twitter)创立Freeplay是为了“帮助产品开发团队在其产品中利用LLM”。 与我最近介绍的LLM开发平台Gradient一样，Freeplay面向企业软件开发者。 “我们的大多数客户都是一些已有业务的软件公司，”Cairns说。“也就是说，它们不是以AI为先的创业公司。 它们都是一些试图采用LLM的公司，已经有了成熟的业务和客户群。它们有很出色的软件开发者，但可能以前没有使用过LLM，甚至没有使用过机器学习。” 关键在于，LLM应用程序的质量依赖于基础数据(或数据的查询方式)，任何来自软件开发周期有助于优化应用程序的内容，都会反馈到LLM(或提示/查询)中。
51111编辑于 2024-03-27 - 来自专栏前行的CVer
LLM评测
Open LLM Leaderboard（英文） Open LLM Leaderboard中包含有下列Benchmark： 所有能力 通用&数学&code——MT-Bench，由80个高质量的多轮对话问题组成的基准 Big-Bench 目前包括 204 项任务，任务主题涉及语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等方面。 是多个数据集的结合，划分了LLM的语言、知识、推理、数学、Code、Agent几类能力。 每个学科包含开发集(dev)、验证集(val)和测试集(test)。开发集每个学科包含5个带解释的示例，用于少样本评估；验证集用于超参数调优；测试集用于模型评估，标签未公开。
1.7K10编辑于 2024-08-05 - 来自专栏k8s技术圈
LLM On Kubernetes
从今年开始，人们对大型语言模型 (LLM) 及其在 GPU 基础设施上的部署的兴趣显着增加。这种不断增长的热情是由人工智能和机器学习的进步推动的，这需要 GPU 能够有效提供大量的计算能力。 Ollama 是一个开源的机器学习模型部署工具，它可以帮助您将模型部署到生产环境中，简化大型语言模型 (LLM) 的管理和交互。
71410编辑于 2024-07-20 - 来自专栏【腾讯云开发者】
从DeepSeek到Manus：如何实现本地LLM微调+联网开发？
02 本地大模型联网功能开发 2.1 整体架构 2.2 LLM 调用 流程图： def call_llm(prompt: str, with_context: bool = True, context : str | None = None): 功能：调用本地运行的Ollama LLM模型生成回答。 /web-search-llm-db）。 设置余弦相似度作为距离计算方式。 返回可重用的集合对象。 LLM+业务才是未来。 持续学习已经不是选项，而是必须 以前我们开玩笑说“每隔18个月，你的技术栈就会过时一半”。现在在AI领域，这个周期可能只有6个月。 只要肯下功夫，普通开发者也能驾驭这些技术，创造有价值的应用。 最后，与其焦虑AI会不会取代人类，不如思考如何与AI协同工作，发挥人类目前独有的创造力、判断力和同理心。
1.5K10编辑于 2025-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号