- 综合排序
- 最热优先
- 最新优先
- 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 性能挑战——如何评估大模型应用 对 LLM 输出进行评估对于验证大模型应用能否始终如一地产生高质量的结果至关重要。 适用性挑战——大模型的应用边界 大模型在人工智能领域确实展现出了强大的能力，它们在各种控制平面和应用场景中都发挥着重要作用。然而，尽管大模型的应用范围广泛，但并不意味着它们是无所不能的。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.2K10编辑于 2024-12-24 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 通过这些通用模式的应用，不仅提高了工作效率，还能轻松产生有价值、与众不同的结果。这种权衡精准性与交互消歧的策略，无疑是基于大模型应用设计中的重要思维方式。 5 数据质量至上，LLM的应用与高质量数据息息相关 大模型确实展现出了非凡的能力，如同“受过良好教育的”个体，但在实际应用中，它们仍然缺乏某些背景和主动性。 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
61410编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。 作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 面向微调的分层缓存策略模式 我们将缓存策略和相关服务引入到大模型应用架构中，可以成功地解决成本、数据冗余以及训练数据等组合问题。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.1K11编辑于 2024-04-03 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 面向微调的分层缓存策略模式 我们将缓存策略和相关服务引入到大模型应用架构中，可以成功地解决成本、数据冗余以及训练数据等组合问题。 混合规则模式 许多现行的商业系统和企业应用在一定程度上仍然依赖于基于规则的架构。通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
86610编辑于 2024-04-12 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 虽然LLM的巨大规模赋予了它们在各种用例中的出色性能，但这也在其应用于现实世界问题时带来了挑战。在本文中，我将讨论如何通过压缩LLM来克服这些挑战。 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 最近的蒸馏应用完全摒弃了logits的需求，而是通过教师模型生成的合成数据进行学习。
48510编辑于 2024-09-24 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 典型数据集：TNEWS：新闻文本分类，包含15个新闻类别IFLYTEK：应用描述分类，涵盖200+个应用领域技术要点：1. ，更为产业应用建立了可靠的质量保障体系。 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
42132编辑于 2026-02-07 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
为了更便捷地构建这些基于大模型的应用程序，开源社区和产品开发者们正以前所未有的速度进行创新。 LangChain LangChain是目前最受欢迎的大模型应用开发框架之一，几乎成为了构建大模型应用的行业标准。 增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
12.1K30编辑于 2025-03-24 - 来自专栏AIGC大模型应用
AI大模型企业应用实战(10)-LLMs和Chat Models
1 模型两种模型：LLM聊天模型然后，介绍咋用：提示模板格式化这些模型的输入输出解析器来处理输出LangChain 中的语言模型有两种类型：1.1 Chat Models聊天模型通常由 LLM 支持，但专门针对会话进行调整 这两种 API 类型具有不同的输入和输出模式，并非所有模型都一样。不同模型有不同的最佳提示策略，如：Anthropic 模型最适合用 XMLOpenAI 模型最适合用 JSON设计应用程序时牢记这点。 示例将使用聊天模型，并提供几种选择：使用 Anthropic 或 OpenAI 等 API，或通过 Ollama 使用本地开源模型。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 # LLM类大模型的流式输出方法from langchain.llms import OpenAIimport osapi_base = os.getenv("OPENAI_PROXY")api_key
41100编辑于 2024-08-15 - 来自专栏JavaEdge
AI 大模型企业应用实战(10)-LLMs和Chat Models
1 模型 来看两种不同类型的模型--LLM 和聊天模型。然后，它将介绍如何使用提示模板来格式化这些模型的输入，以及如何使用输出解析器来处理输出。 并非所有模型都一样。不同的模型有不同的最佳提示策略。如： Anthropic 模型最适合使用 XML OpenAI 的模型最适合使用 JSON 设计应用程序时牢记这点。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 #LLM类大模型的流式输出方法 from langchain.llms import OpenAI import os api_base = os.getenv("OPENAI_PROXY") api_key 作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。 各大技术社区头部专家博主。
41010编辑于 2025-06-01 分享6类10种政务AI大模型应用场景
大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。 6类政务AI大模型的应用场景：政务咨询领域：通过构建具备深厚专业知识的智能助手，针对财务、环保等专业领域，提供精确的咨询和解答服务。这有助于提升企业和公众的办事体验，同时增强政府机构的工作效率。 城市治理领域：大模型专注于快速响应民意诉求、智能分类问题、高效处理事件工单等城市治理需求，开发特色应用，提高城市事件处理的效率，提升城市治理的智能化水平。 专业工具开发：应用大模型技术，在业务统计分析、报告报表生成、法律法规咨询等专业领域，开发一系列通用工具，帮助公务人员高效开展工作，同时协助企业和公众理解专业知识。 10种具体应用实例：政务服务- 智能问答系统：全天候提供咨询服务，解答政府服务相关问题。- 政策解读与推荐：自动解析政策文件，推荐与用户需求相关的政策信息。
2.6K10编辑于 2024-08-06- 来自专栏xiaosen
LangChain大模型应用开发
LangChain作为一个新兴的框架，旨在简化大模型应用的开发过程。它提供了一套工具和接口，帮助开发者将大模型无缝集成到各种应用场景中。 prompt) print(response.content) 这时我们的langSmith后台： 构建语义搜索引擎 我们使用LangChain的文档加载器、嵌入、向量库来从其他来源检索数据，与大模型工作集成 ，这对于获取数据作为模型推理的一部分进行推理的应用程序非常重要，例如检索增强生成或RAG。 1️⃣根据与字符串查询的相似性返回文档： # 接受一个文本字符串作为输入，并返回与该文本最相似的向量 results = vector_store.similarity_search( "大模型的发展和繁荣既是当前 ("大模型的发展是顶峰") # 接受一个嵌入向量作为输入，并返回与该向量最相似的向量 results = vector_store.similarity_search_by_vector(embedding
57021编辑于 2024-12-04 大模型应用开发实战
Net有WebAPI + IIS，java有spring boot+tomcat，大模型有FastAPI+Uvicorn：FastAPI 用于构建应用的业务逻辑，Uvicorn 是运行这些应用的服务器。 不得不吐槽下，大模型也搞前后端分离这套！. 怎么着也得个应用程序APP之类，再不济也得有个Web吧！好吧，安排！为了搞大模型的人能安心研究模型，不用花精力在界面上。 最后 经过无数的蹂躏，我开发了个小应用【i歌词】，无任何条件免费提供全部源码。它基于chatglm4-9b大模型，从部署到训练，通用对话功能，核心根据歌名查歌词并创作歌词！ 用它来参加gitee AI创新应用大赛，可以在线体验： https://ai.gitee.com/events/iluvatar-ai-app-contest/detail?app=36 （图10）
1.2K36编辑于 2024-09-01- 来自专栏深度学习与python
LangChain：简化大模型应用
作者 | Guy Nesher 译者 | 平川 策划 | Tina LangChain 框架提供了常见用例的抽象，简化了大型语言模型（LLM）（如 OpenAI GPT4 或 Google PaLM）的应用。 通常，比较复杂的应用程序会使用多个组件来生成所需的结果。 我们将用 SimpleSequentialChain 做个演示，它会按顺序运行多个提示。 今日好文推荐 爱奇艺VR公司业务停滞，员工或被欠薪；阿里云开源通义千问 70 亿参数模型，免费可商用；华为正式发布鸿蒙 4，接入大模型｜Q资讯 年薪超 600 万，比技术总监还高：电影行业 AI 产品经理的崛起 大模型竞争突然升级！亚马逊 CEO 亲自监督、组建新的核心技术团队，集中优势资源打造“最具野心”的大语言模型
43230编辑于 2023-09-08 - 来自专栏xiaosen
大模型应用框架-LangChain
LangChain的介绍和入门 什么是LangChain LangChain由 Harrison Chase 创建于2022年10月，它是围绕LLMs（大语言模型）建立的一个框架，LLMs使用机器学习算法和海量数据来分析和理解自然语言 LLMs: 大语言模型接收文本字符作为输入，返回的也是文本字符. 聊天模型: 基于LLMs, 不同的是它接收聊天消(一种特定格式的数据)作为输入，返回的也是聊天消息. 2.1.1 LLMs (大语言模型) LLMs使用场景最多，常用大模型的下载库：https://huggingface.co/models： 接下来我们以「文心一言」模型为例, 使用该类模型的组件： 第一步 因为大模型虽然非常强大，但是也具备一定的局限性，比如不能回答实时信息、处理数学逻辑问题仍然非常的初级等等。因此，可以借助第三方工具来辅助大模型的应用。 抗日战争胜利后，北京大学于1946年10月在北平复员。')
1.1K10编辑于 2024-06-04 - 来自专栏GPUS开发者
在Jetson上玩转大模型Day10：OWL-ViT应用
做过机器视觉模型训练的人都知道，最耗时费力的阶段，就是对图片集进行标注的环节，这通常必须交由人力来进行，很难交给计算机去自动化标注，因此这个阶段也是除了采购设备之外，成本最高的环节。 不过总的来说，YOLO和OWL-ViT还是各有优势的，适用于不同的应用场景。 /data/owl_predict_out.jpg" --model：使用的模型，預設值爲 "google/owlvit-base-patch32" --image_encoder_engine：使用的圖片編碼引擎 /data/owl_image_encoder_patch32.engine"，這是用build_image_encoder_engine.py所訓練的模型。 --num_profiling_runs：預設值爲30 如果我們執行下面最簡單的指令，所有參數都用預設值： $ python3 owl_predict.py 第一次執行時，會如下圖一樣先下載所需要的模型到本地使用
49510编辑于 2024-11-06 - 来自专栏AIOT
在Jetson上玩转大模型Day10：OWL-ViT应用
做过机器视觉模型训练的人都知道，最耗时费力的阶段，就是对图片集进行标注的环节，这通常必须交由人力来进行，很难交给计算机去自动化标注，因此这个阶段也是除了采购设备之外，成本最高的环节。 不过总的来说，YOLO和OWL-ViT还是各有优势的，适用于不同的应用场景。 /data/owl_predict_out.jpg"--model：使用的模型，預設值爲 "google/owlvit-base-patch32"--image_encoder_engine：使用的圖片編碼引擎 /data/owl_image_encoder_patch32.engine"，這是用build_image_encoder_engine.py所訓練的模型。 store_true"--num_profiling_runs：預設值爲30如果我們執行下面最簡單的指令，所有參數都用預設值：$ python3 owl_predict.py第一次執行時，會如下圖一樣先下載所需要的模型到本地使用
81910编辑于 2024-11-05 - 来自专栏澜舟科技 NLP
大模型落地实践：同花顺大模型技术应用及优化
文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。众所周知，大模型参数量大，通用能力强，综合性能好。 这个问句量和用户量在问答系统中应该算非常大的。图片问财对话系统在大模型的应用上有几个难点。首先，它偏重金融业务知识，并且对于时效性要求很高。 这里特别说明一下“时效性”的问题。 确实在我们的业务模型里，规则占比非常大，也是因为涉及用户财产问题，技术上会比较保守。下面具体介绍问答系统里大模型应用的经验和取得的成果。 大模型的参数增加会带来效果的提升，但是在实际应用的经济角度考虑，宁可损失一些效果，尽量减少对资源的占用，所以我们投入了很大的精力做“模型轻量化”工作。 比如“用户问句相似问生成”这个任务，我们用到了知识蒸馏技术，将 10 层以上的大模型蒸馏成 3 层的小模型，性能上会有很大的提升，同时保证准确率不会有大幅下降的情况，GPT2-chinese-12 层单样本
3K20编辑于 2022-08-11 - 来自专栏后台技术汇
大模型应用之（4）：Langchain架构与大模型接入
背景 LangChain 是一个用于开发由大型语言模型（Large Language Model，LLM）驱动的应用程序的框架。 旨在简化使用大型语言模型的应用程序。 Langchain架构 LangChain工具 组件：大模型包装器、聊天模型包装器、数据增强工具和接口链： 提供了标准接口，和数据平台和实际应用工具紧密集成 LangChain六大模块 模块 核心作用 v=9qq6HTr7Ocw 小结： 各模块采用松耦合设计，可通过标准化接口组合使用 实际应用中通常以链为核心组织工作流（如检索QA链=数据增强+模型I/O+记忆） 回调系统提供贯穿所有模块的可观测性能力 Agent作为高级模块，可调用其他所有模块功能 大模型接入 接入示例 云服务和私有化大模型优劣对比 维度 开发成本 算力成本 运维成本 数据安全 云厂商大模型 较低，开箱即用 算力资源充足，大模型性能好 &吞吐量较高 较低，提供云平台监控 安全性低 私有化大模型 较高，自建大模型网关、服务鉴权、可用性等 算力硬件投入成本高，大模型性能较差低&吞吐量较低 较高，需要专业运维团队介入 安全性高，保密性强
70810编辑于 2025-08-04 - 来自专栏技术趋势
windows10搭建llama大模型
背景 随着人工时代的到来及日渐成熟，大模型已慢慢普及，可以为开发与生活提供一定的帮助及提升工作及生产效率。所以在新的时代对于开发者来说需要主动拥抱变化，主动成长。 LLAMA介绍 llama全称：Large Language Model Meta AI是由meta（原facebook）开源的一个聊天对话大模型。 ~all~sobaiduend~default-1-106591160-null-null.142^v88^control,239^v2^insert_chatgpt&utm_term=windows10% Linux图： 下载羊驼模型（有点大） 先建一个文件夹：path_to_original_llama_root_dir 在里面再建一个7B文件夹并把tokenizer.model挪进来。 -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3 结果 最后 我知道很多同学可能觉得学习大模型需要懂
1.5K30编辑于 2023-09-12 - 来自专栏AI SPPECH
10_大模型开发环境：从零搭建你的LLM应用平台
在2025年，大语言模型(LLM)已经成为AI应用开发的核心基础设施。无论是企业级应用、科研项目还是个人创新，拥有一个高效、稳定、可扩展的LLM开发环境都至关重要。 降低技术门槛：简化复杂的模型部署和管理过程 确保系统稳定：提供监控、日志和故障恢复机制 随着开源大模型的蓬勃发展和部署技术的不断成熟，2025年已经出现了多种灵活、高效的LLM开发环境搭建方案。 启动所有服务 docker-compose up -d # 查看服务状态 docker-compose ps 3.4 DeepSeek的Docker部署详解 DeepSeek作为2025年流行的开源大模型 , "Docker是一种容器化技术，用于打包和部署应用。", "大语言模型是一种基于深度学习的自然语言处理模型。" , "Docker是一种容器化技术，用于打包和部署应用。", "大语言模型是一种基于深度学习的自然语言处理模型。"
63711编辑于 2025-11-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号