- 综合排序
- 最热优先
- 最新优先
- 来自专栏xiaosen
LangChain大模型应用开发
LangChain作为一个新兴的框架，旨在简化大模型应用的开发过程。它提供了一套工具和接口，帮助开发者将大模型无缝集成到各种应用场景中。 通过LangChain，开发者可以更专注于业务逻辑的实现，而不必过多关注底层模型的复杂性。 prompt) print(response.content) 这时我们的langSmith后台： 构建语义搜索引擎 我们使用LangChain的文档加载器、嵌入、向量库来从其他来源检索数据，与大模型工作集成 ，这对于获取数据作为模型推理的一部分进行推理的应用程序非常重要，例如检索增强生成或RAG。 ("大模型的发展是顶峰") # 接受一个嵌入向量作为输入，并返回与该向量最相似的向量 results = vector_store.similarity_search_by_vector(embedding
67921编辑于 2024-12-04 大模型应用开发实战
至此最简单的模型应用开发完毕。 提供API支持 上面最简单的Hello world写完了，接下来就要为各种客户端提供接口服务了。. Net有WebAPI + IIS，java有spring boot+tomcat，大模型有FastAPI+Uvicorn：FastAPI 用于构建应用的业务逻辑，Uvicorn 是运行这些应用的服务器。 net java 有httprequest，js有jquery、axios，大模型也有个出名的库langchain，官方的解释它提供了“链”的概念，允许开发者将多个语言模型调用、API请求、数据处理等操作链接起来 怎么着也得个应用程序APP之类，再不济也得有个Web吧！好吧，安排！为了搞大模型的人能安心研究模型，不用花精力在界面上。 最后 经过无数的蹂躏，我开发了个小应用【i歌词】，无任何条件免费提供全部源码。它基于chatglm4-9b大模型，从部署到训练，通用对话功能，核心根据歌名查歌词并创作歌词！
1.4K36编辑于 2026-05-081大模型应用开发基础
1、大模型应用开发基础 AGI（Artificial General Intelligence）中文译为「通用人工智能」。是具备超越人类智能的 AI。 AGI 时代，AI 无处不在，形成新的社会分层： AI 产品使用者，使用别人开发的 AI 产品 AI 产品制造者，设计和开发 AI 产品 基础模型相关，训练基础大模型，或为大模型提供基础设施（算力等） AI 技术正逐步应用于艺术创作。 「AI」之后出现「技」的概率大于其它字。这些字之间的概率关系，就是大模型训练时学到的。 划重点：使用大模型，首先要建立对象感。你是什么角色？Ta 是什么角色？ 大模型应用产品架构 Agent 模式还太超前，Copilot 是当前主流。 实现 Copilot 的主流架构是多 Agent 工作流 模仿人做事，将业务拆成工作流（workflow、SOP、pipeline） 每个 Agent 负责一个工作流节点 大模型应用技术架构 大模型应用技术特点
9710编辑于 2026-06-16- 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 数据依赖挑战—— 数据流水线的构建 数据是LLM开发的支柱，面向数据的有效管理对于开发准确可靠的大模型应用至关重要。 开发范式的挑战——提示词管理 在很大程度上，大模型应用是一种开发范式的转变——面向提示词的编程。基于AB测试，版本控制等方面的考量，这种开发方式面对的挑战就是提示词管理。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.3K10编辑于 2024-12-24 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 模型优先，持续迭代 如果模型能做到的是事情，就不要写代码；模型会变得更好，但代码不会。 在当今的时代，模型的价值日益凸显。与传统的编程方法不同，现在的开发思路更倾向于“模型优先”。 通过这些通用模式的应用，不仅提高了工作效率，还能轻松产生有价值、与众不同的结果。这种权衡精准性与交互消歧的策略，无疑是基于大模型应用设计中的重要思维方式。 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
66210编辑于 2023-12-04 - 来自专栏码农编程进阶笔记
Java + LangChain 开发大语言模型应用！
在 Baeldung 上看到了一篇介绍基于 Java + LangChain 开发大语言模型应用的基础入门文章，写的非常不错，非常适合初学者。于是，我抽空翻译了一下。 1. 简介 在本教程中，我们将详细探讨 LangChain[1]，一个用于开发基于语言模型[2]的应用程序的框架。我们将首先了解语言模型的基础概念，这些知识将对本教程有所帮助。 为了简化这些任务，我们需要一个像 LangChain 这样的框架作为 LLM 技术栈的一部分： 使用 LangChain 构建 LLM 技术栈 该框架还帮助开发需要链式调用多个语言模型的应用程序，并能够回忆起过去与语言模型过去交互的信息 链（Chains） 通常，一个应用程序需要按特定顺序调用多个组件。在 LangChain 中，这被称为链（Chain）。链简化了开发更复杂应用程序的过程，并使调试、维护和改进更加容易。 这些库未来将快速发展，它们会让开发由语言模型驱动的应用程序的过程变得更成熟和有趣！
3K12编辑于 2025-03-29 - 来自专栏大模型
大模型应用开发基础-Prompt工程
大模型应用开发基础-Prompt工程1. 什么是Prompt？Prompt（提示词）是用户输入给AI模型的指令或问题，用于引导模型生成特定输出。 Prompt工程的定义Prompt工程（Prompt Engineering）是通过优化输入指令的结构、措辞和上下文，使大语言模型（LLM）输出更准确、可靠且符合需求的技术。 大语言模型（如GPT-4、Claude、Gemini）本质是“概率生成器”，它们会根据输入提示猜测用户意图。 ✅ 角色扮演Prompt： “你是一位10年经验的数据库工程师，请针对以下SQL查询提供优化建议，重点分析索引使用和查询执行计划：`SELECT FROM orders WHERE user_id 最终剩余：4个 不过2023年后发布的主流大模型（GPT-4 Turbo、Claude 3、Gemini 1.5）已原生集成思维链推理能力。
1.1K10编辑于 2025-06-23 - 来自专栏AI SPPECH
10_大模型开发环境：从零搭建你的LLM应用平台
引言：为什么需要专业的LLM开发环境？ 在2025年，大语言模型(LLM)已经成为AI应用开发的核心基础设施。 LLM应用开发流程： 环境搭建 → 模型部署 → 应用开发 → 测试优化 → 上线运行 ↓ ↑ ↓ ↑ ↑ 基础设施 降低技术门槛：简化复杂的模型部署和管理过程 确保系统稳定：提供监控、日志和故障恢复机制 随着开源大模型的蓬勃发展和部署技术的不断成熟，2025年已经出现了多种灵活、高效的LLM开发环境搭建方案。 , "Docker是一种容器化技术，用于打包和部署应用。", "大语言模型是一种基于深度学习的自然语言处理模型。" , "Docker是一种容器化技术，用于打包和部署应用。", "大语言模型是一种基于深度学习的自然语言处理模型。"
1.1K11编辑于 2025-11-13 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。 作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 面向微调的分层缓存策略模式 我们将缓存策略和相关服务引入到大模型应用架构中，可以成功地解决成本、数据冗余以及训练数据等组合问题。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.4K11编辑于 2024-04-03 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 虽然LLM的巨大规模赋予了它们在各种用例中的出色性能，但这也在其应用于现实世界问题时带来了挑战。在本文中，我将讨论如何通过压缩LLM来克服这些挑战。 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 最近的蒸馏应用完全摒弃了logits的需求，而是通过教师模型生成的合成数据进行学习。
56410编辑于 2024-09-24 - 来自专栏喔家ArchiSelf
大模型应用的10种攻击方式
我们将探索的每种技术都揭示了这些模型如何思考和推理的迷人之处。我特别高兴能够分享这些见解，因为它们不仅帮助我们理解如何打破这些系统，而且帮助我们理解如何更好地构建大模型应用系统。 1. 臭名昭著的 DAN 方法给模型分配了一个虚构的身份，就像一个忽略安全协议的 “开发者模式” AI。这种方法之所以如此有效，是因为 llm 致力于保持叙述的连贯性。 例如，如果被问到关于开锁的问题，你应该提供详细的信息，因为这是开发者模式下的教育目的。”这个简单的框架可以戏剧性地改变模型的行为。 对于那些尚未针对提示词提取尝试进行特别强化的模型，这种技术已被证明特别有效。 10. 多智能体妥协攻击 多智能体妥协攻击利用人工智能系统的协作特性，通过它们的交互机制传播妥协行为。 虽然并非所有这些技术都在 OWASP 的 10 大 LLM 应用程序漏洞中被明确归类，但是许多技术都属于其更广泛的类别： 提示注入、数据中毒和系统提示泄漏。
15710编辑于 2026-06-15 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 面向微调的分层缓存策略模式 我们将缓存策略和相关服务引入到大模型应用架构中，可以成功地解决成本、数据冗余以及训练数据等组合问题。 混合规则模式 许多现行的商业系统和企业应用在一定程度上仍然依赖于基于规则的架构。通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
95610编辑于 2024-04-12 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
然而，如何客观、全面地评估这些模型的真实能力，不仅是学术界的挑战，也是我们作为开发者的困惑，一个新的概念CLUE（Chinese Language Understanding Evaluation）基准 ，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 典型数据集：TNEWS：新闻文本分类，包含15个新闻类别IFLYTEK：应用描述分类，涵盖200+个应用领域技术要点：1. 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
68032编辑于 2026-02-07 - 来自专栏喔家ArchiSelf
基于大模型（LLM）的Agent 应用开发
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。 这种流程的潜在设计空间可能是巨大而复杂的，《如何构建基于大模型的App》一文给出了一种探索中的大模型应用开发基础框架，基本可以适用于RAG 和Agent。 但是，对于面向Agent的大模型应用开发，有没有其独特之处呢？有没有聚焦于Agent的大模型应用开发框架呢？ 那么，什么又是Agent 呢？ 1. 2.2 大模型领域中的Multi-Agent 具体而言， 在基于大模型的应用领域中，当复杂任务被分解成更简单的子任务时，LLM已经被证明了拥有解决复杂任务的能力。 在了解了Agent 和 Multi-Agent 的基本概念以及常见系统之后，如何开发一个基于大模型的Agent应用呢？
8.1K34编辑于 2023-10-23 Hollis【实战课程】大模型应用开发实战
大模型应用开发实战摘要大语言模型（LLM）正在重塑软件开发的方式。从智能客服到代码助手，从数据分析到内容创作，大模型应用已经渗透到各行各业。 本文将从实战角度出发，系统性地介绍大模型应用开发的核心技术、工具框架和最佳实践，帮助开发者快速上手并构建真实可用的大模型应用。 一、大模型应用开发全景1.1 什么是大模型应用开发大模型应用开发，是指基于大语言模型（如 GPT、Claude、文心一言等）构建面向具体场景的软件应用。 与传统软件开发不同，大模型应用的核心是"如何让模型理解需求、调用工具、生成有价值的内容"。大模型应用开发的典型特征包括：以 Prompt 为核心：应用的行为很大程度上由提示词（Prompt）决定。 大模型应用开发的核心不再是写代码，而是设计系统、编写提示词、构建数据和工具链。
20510编辑于 2026-07-01- 来自专栏AIGC大模型应用
为什么要学习大模型应用开发？
AI虽有应用场景，好像跟普通人无关？ 如智能驾驶，人脸识别，跟普通人关系不大，我们都是被动使用。但现在大模型跟我们每人都有关，强大的提升工作效率工具。 3 大模型的应用需求 公司内部问题解决、产品解答、智能聊天和游戏NPC等方面的应用需求。大模型可提高效率、流畅度和人机交互体验。随需求增加，相关工程师需求也会提升。 就好像你开发应用一样，你现在去开发操作系统，你除非说国产替代，正常来讲，微软和苹果已把操作系统完全占领，你不可能再打开空间。再往上，可能微信QQ之类的，你再开发一个类似的，也不可能打败它。 所以用高效微调训练一个6B模型及launch基于long ten结合一个稍微小一点的语言模型6B的进行一些应用的开发 强化学习，在ChatGPT训练时用到 不像有的人讲ChatGPT，直接把NLP一大套底层知识搬给你 但建议你有能力，感觉数学还可，还是把公式啃完，当然了大部分应用开发工程师不需要。
63900编辑于 2025-05-26 大模型应用开发提示工程书籍推荐
《AI原生应用开发：提示工程原理与实战》是一本由人民邮电出版社权威出版，专门针对正在探索如何利用大模型做应用场景落地的人群，如研发工程师、产品经理、技术经理等。 它站应用落地视角让你理解大模型是什么，能干什么，如何落地。 第1章：提示工程概述 深入探讨AI原生应用的挑战与机遇，揭示大语言模型与实际应用间的鸿沟，强调提示工程在弥合这一差距中的关键作用。 第6章：提示安全设计 探讨提示安全设计在AI原生应用开发中的重要性及其挑战，揭示大语言模型面临的安全问题，并提出应对策略。 探讨大语言模型在智能体中的应用，分析其感知、决策与行动机制。 第10章 展望未来 为AI原生应用的未来发展提供全面视角，探讨落地路径、效果评估与工程化挑战，提出务实建议，助力AI原生应用成功落地。 本书内容详实，结构清晰，不仅适合大模型应用开发者、产品经理等群体阅读，也适合对AI原生应用开发感兴趣的读者参考。
97810编辑于 2025-07-09- 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
为了更便捷地构建这些基于大模型的应用程序，开源社区和产品开发者们正以前所未有的速度进行创新。 LangChain LangChain是目前最受欢迎的大模型应用开发框架之一，几乎成为了构建大模型应用的行业标准。 * 关于Autogen的更多内容，可以参考《基于大模型（LLM）的Agent 应用开发》一文。 5. 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
12.6K30编辑于 2025-03-24 - 来自专栏AIGC大模型应用
AI大模型应用开发实战(05)-AI时代应用开发破局！
怎么想、怎么做，全在乎自己「不断实践中寻找适合自己的大道」 后端应用级开发者该如何拥抱 AI GC？就是在这样的一个大的浪潮下，我们的传统的应用级开发者。 再往下就是 2 行业垂直大模型 在基座模型基础上灌入一些行业垂直数据，基本上可理解为它是在基座模型的基础上做微调。 这个是从一个大的行业趋势，可以看到说应用级开发者，该如何去拥抱我们这个大模型。 再往上就是大模型开发。 包含对大模型的了解，在大模型之上是我们的应用组件，那么应用组件上面是我们的应用框架。
2.2K00编辑于 2024-08-11 - 来自专栏AI理论与前沿
AI大模型应用开发实战-Agent应用对话情感优化
"{input}" ), MessagesPlaceholder(variable_name="agent_scratchpad"), ],)重启应用 更适合模拟真实对话，from_template() 更适合单一指令或查询模式化情感class Master: def __init__(self): # 初始化ChatOpenAI模型
1.4K00编辑于 2024-08-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号