- 综合排序
- 最热优先
- 最新优先
- 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 通过这些通用模式的应用，不仅提高了工作效率，还能轻松产生有价值、与众不同的结果。这种权衡精准性与交互消歧的策略，无疑是基于大模型应用设计中的重要思维方式。 5 数据质量至上，LLM的应用与高质量数据息息相关 大模型确实展现出了非凡的能力，如同“受过良好教育的”个体，但在实际应用中，它们仍然缺乏某些背景和主动性。 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
69710编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 性能挑战——如何评估大模型应用 对 LLM 输出进行评估对于验证大模型应用能否始终如一地产生高质量的结果至关重要。 适用性挑战——大模型的应用边界 大模型在人工智能领域确实展现出了强大的能力，它们在各种控制平面和应用场景中都发挥着重要作用。然而，尽管大模型的应用范围广泛，但并不意味着它们是无所不能的。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.4K10编辑于 2024-12-24 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。 作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 面向微调的分层缓存策略模式 我们将缓存策略和相关服务引入到大模型应用架构中，可以成功地解决成本、数据冗余以及训练数据等组合问题。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.7K11编辑于 2024-04-03 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 面向微调的分层缓存策略模式 我们将缓存策略和相关服务引入到大模型应用架构中，可以成功地解决成本、数据冗余以及训练数据等组合问题。 混合规则模式 许多现行的商业系统和企业应用在一定程度上仍然依赖于基于规则的架构。通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 10. 双重安全模式 围绕大型语言模型（LLM）的核心安全性至少包含两个关键组件：一是用户组件，我们将其称为用户 Proxy 代理；二是防火墙，它为模型提供了保护层。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
1K10编辑于 2024-04-12 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 虽然LLM的巨大规模赋予了它们在各种用例中的出色性能，但这也在其应用于现实世界问题时带来了挑战。在本文中，我将讨论如何通过压缩LLM来克服这些挑战。 不用说，大多数消费设备（如手机、平板电脑、笔记本电脑）无法处理如此庞大的模型。但……如果我们可以让模型变小呢？ 模型压缩 模型压缩旨在在不牺牲性能的前提下减少机器学习模型的大小。 量化——使用更低精度的数据类型表示模型 剪枝——从模型中删除不必要的组件 知识蒸馏——通过较大的模型训练较小的模型 _注意_：这些方法是相互独立的。 最近的蒸馏应用完全摒弃了logits的需求，而是通过教师模型生成的合成数据进行学习。
65210编辑于 2024-09-24 - 来自专栏喔家ArchiSelf
大模型应用的10种攻击方式
我们将探索的每种技术都揭示了这些模型如何思考和推理的迷人之处。我特别高兴能够分享这些见解，因为它们不仅帮助我们理解如何打破这些系统，而且帮助我们理解如何更好地构建大模型应用系统。 1. 对于使用不太广泛或缺乏强大保护措施的微调模型来说尤其如此。 影响的严重性和本质可能会有很大的不同，并且很大程度上取决于模型操作的业务上下文和模型架构的代理。 明显的无意义字符创建了一种标记混乱的形式，混淆了模型的安全层，同时保持了核心请求的完整性。 目前，这种技术对于顶层模型只是部分有效。 对于那些尚未针对提示词提取尝试进行特别强化的模型，这种技术已被证明特别有效。 10. 多智能体妥协攻击 多智能体妥协攻击利用人工智能系统的协作特性，通过它们的交互机制传播妥协行为。 虽然并非所有这些技术都在 OWASP 的 10 大 LLM 应用程序漏洞中被明确归类，但是许多技术都属于其更广泛的类别： 提示注入、数据中毒和系统提示泄漏。
38810编辑于 2026-06-15 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 典型数据集：TNEWS：新闻文本分类，包含15个新闻类别IFLYTEK：应用描述分类，涵盖200+个应用领域技术要点：1. ，更为产业应用建立了可靠的质量保障体系。 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。
86632编辑于 2026-02-07 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
为了更便捷地构建这些基于大模型的应用程序，开源社区和产品开发者们正以前所未有的速度进行创新。 LangChain LangChain是目前最受欢迎的大模型应用开发框架之一，几乎成为了构建大模型应用的行业标准。 增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
13.3K31编辑于 2025-03-24 - 来自专栏AIGC大模型应用
AI大模型企业应用实战(10)-LLMs和Chat Models
1 模型 两种模型： LLM 聊天模型 咋用： 提示模板格式化这些模型的输入 输出解析器来处理输出 LangChain 中的语言模型有两种类型： 1.1 Chat Models 通常由 LLM 支持，但针对会话进行调整 不同模型有不同最佳提示策略，如： Anthropic 模型最适合用 XML OpenAI 模型最适合用 JSON 示例将使用聊天模型，可用 Anthropic 或 OpenAI 等 API 或通过 Ollama 使用本地开源模型。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 # LLM类大模型的流式输出方法 from shared.llm_utils import create_qwen_model #构造一个llm llm = create_qwen_model(
67600编辑于 2026-04-24 - 来自专栏JavaEdge
AI 大模型企业应用实战(10)-LLMs和Chat Models
1 模型 来看两种不同类型的模型--LLM 和聊天模型。然后，它将介绍如何使用提示模板来格式化这些模型的输入，以及如何使用输出解析器来处理输出。 并非所有模型都一样。不同的模型有不同的最佳提示策略。如： Anthropic 模型最适合使用 XML OpenAI 的模型最适合使用 JSON 设计应用程序时牢记这点。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 #LLM类大模型的流式输出方法 from langchain.llms import OpenAI import os api_base = os.getenv("OPENAI_PROXY") api_key 作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。 各大技术社区头部专家博主。
57310编辑于 2025-06-01 分享6类10种政务AI大模型应用场景
大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。 6类政务AI大模型的应用场景：政务咨询领域：通过构建具备深厚专业知识的智能助手，针对财务、环保等专业领域，提供精确的咨询和解答服务。这有助于提升企业和公众的办事体验，同时增强政府机构的工作效率。 城市治理领域：大模型专注于快速响应民意诉求、智能分类问题、高效处理事件工单等城市治理需求，开发特色应用，提高城市事件处理的效率，提升城市治理的智能化水平。 专业工具开发：应用大模型技术，在业务统计分析、报告报表生成、法律法规咨询等专业领域，开发一系列通用工具，帮助公务人员高效开展工作，同时协助企业和公众理解专业知识。 10种具体应用实例：政务服务- 智能问答系统：全天候提供咨询服务，解答政府服务相关问题。- 政策解读与推荐：自动解析政策文件，推荐与用户需求相关的政策信息。
3.2K10编辑于 2024-08-06- 来自专栏GPUS开发者
在Jetson上玩转大模型Day10：OWL-ViT应用
做过机器视觉模型训练的人都知道，最耗时费力的阶段，就是对图片集进行标注的环节，这通常必须交由人力来进行，很难交给计算机去自动化标注，因此这个阶段也是除了采购设备之外，成本最高的环节。 不过总的来说，YOLO和OWL-ViT还是各有优势的，适用于不同的应用场景。 /data/owl_predict_out.jpg" --model：使用的模型，預設值爲 "google/owlvit-base-patch32" --image_encoder_engine：使用的圖片編碼引擎 /data/owl_image_encoder_patch32.engine"，這是用build_image_encoder_engine.py所訓練的模型。 --num_profiling_runs：預設值爲30 如果我們執行下面最簡單的指令，所有參數都用預設值： $ python3 owl_predict.py 第一次執行時，會如下圖一樣先下載所需要的模型到本地使用
73810编辑于 2024-11-06 - 来自专栏AIOT
在Jetson上玩转大模型Day10：OWL-ViT应用
做过机器视觉模型训练的人都知道，最耗时费力的阶段，就是对图片集进行标注的环节，这通常必须交由人力来进行，很难交给计算机去自动化标注，因此这个阶段也是除了采购设备之外，成本最高的环节。 不过总的来说，YOLO和OWL-ViT还是各有优势的，适用于不同的应用场景。 /data/owl_predict_out.jpg"--model：使用的模型，預設值爲 "google/owlvit-base-patch32"--image_encoder_engine：使用的圖片編碼引擎 /data/owl_image_encoder_patch32.engine"，這是用build_image_encoder_engine.py所訓練的模型。 store_true"--num_profiling_runs：預設值爲30如果我們執行下面最簡單的指令，所有參數都用預設值：$ python3 owl_predict.py第一次執行時，會如下圖一樣先下載所需要的模型到本地使用
1.1K10编辑于 2024-11-05 - 来自专栏大模型应用
大模型应用：大模型时代的XGBoost：传统梯度提升树与大模型的协同应用.103
一、前言 在人工智能技术体系中，XGBoost作为经典的梯度提升树模型，凭借高效的特征学习能力和优秀的结构化数据处理性能，长期占据机器学习应用的核心地位；而大模型则以其强大的语义理解、上下文建模和通用推理能力 XGBoost 与大模型融合的全链路知识，深度了解其核心原理和应用实践。 XGBoost 与大模型结合2.1 大模型的核心痛点尽管大模型能力强大，但在实际应用中存在明显短板：1. 负责处理结构化数据（如用户年龄、商品价格、交易金额）+ 大模型输出的语义特征，完成精准的预测或分类任务；同时，XGBoost 的可解释性可以弥补大模型黑箱的缺陷，大模型的语义理解能力可以拓展 XGBoost 传统模型和大模型不是替代关系，而是协同关系。以前总觉得大模型很高大上，传统模型过时了，现在才明白，能落地、能解决实际问题的组合才是最好的。
65632编辑于 2026-05-11 - 来自专栏xiaosen
大模型应用框架-LangChain
LangChain的介绍和入门 什么是LangChain LangChain由 Harrison Chase 创建于2022年10月，它是围绕LLMs（大语言模型）建立的一个框架，LLMs使用机器学习算法和海量数据来分析和理解自然语言 LLMs: 大语言模型接收文本字符作为输入，返回的也是文本字符. 聊天模型: 基于LLMs, 不同的是它接收聊天消(一种特定格式的数据)作为输入，返回的也是聊天消息. 2.1.1 LLMs (大语言模型) LLMs使用场景最多，常用大模型的下载库：https://huggingface.co/models： 接下来我们以「文心一言」模型为例, 使用该类模型的组件： 第一步 因为大模型虽然非常强大，但是也具备一定的局限性，比如不能回答实时信息、处理数学逻辑问题仍然非常的初级等等。因此，可以借助第三方工具来辅助大模型的应用。 抗日战争胜利后，北京大学于1946年10月在北平复员。')
1.8K10编辑于 2024-06-04 - 来自专栏深度学习与python
LangChain：简化大模型应用
作者 | Guy Nesher 译者 | 平川 策划 | Tina LangChain 框架提供了常见用例的抽象，简化了大型语言模型（LLM）（如 OpenAI GPT4 或 Google PaLM）的应用。 通常，比较复杂的应用程序会使用多个组件来生成所需的结果。 我们将用 SimpleSequentialChain 做个演示，它会按顺序运行多个提示。 今日好文推荐 爱奇艺VR公司业务停滞，员工或被欠薪；阿里云开源通义千问 70 亿参数模型，免费可商用；华为正式发布鸿蒙 4，接入大模型｜Q资讯 年薪超 600 万，比技术总监还高：电影行业 AI 产品经理的崛起 大模型竞争突然升级！亚马逊 CEO 亲自监督、组建新的核心技术团队，集中优势资源打造“最具野心”的大语言模型
53130编辑于 2023-09-08 大模型应用开发实战
Net有WebAPI + IIS，java有spring boot+tomcat，大模型有FastAPI+Uvicorn：FastAPI 用于构建应用的业务逻辑，Uvicorn 是运行这些应用的服务器。 不得不吐槽下，大模型也搞前后端分离这套！. 怎么着也得个应用程序APP之类，再不济也得有个Web吧！好吧，安排！为了搞大模型的人能安心研究模型，不用花精力在界面上。 最后 经过无数的蹂躏，我开发了个小应用【i歌词】，无任何条件免费提供全部源码。它基于chatglm4-9b大模型，从部署到训练，通用对话功能，核心根据歌名查歌词并创作歌词！ 用它来参加gitee AI创新应用大赛，可以在线体验： https://ai.gitee.com/events/iluvatar-ai-app-contest/detail?app=36 （图10）
1.7K37编辑于 2026-05-08- 来自专栏xiaosen
LangChain大模型应用开发
LangChain作为一个新兴的框架，旨在简化大模型应用的开发过程。它提供了一套工具和接口，帮助开发者将大模型无缝集成到各种应用场景中。 prompt) print(response.content) 这时我们的langSmith后台： 构建语义搜索引擎 我们使用LangChain的文档加载器、嵌入、向量库来从其他来源检索数据，与大模型工作集成 ，这对于获取数据作为模型推理的一部分进行推理的应用程序非常重要，例如检索增强生成或RAG。 1️⃣根据与字符串查询的相似性返回文档： # 接受一个文本字符串作为输入，并返回与该文本最相似的向量 results = vector_store.similarity_search( "大模型的发展和繁荣既是当前 ("大模型的发展是顶峰") # 接受一个嵌入向量作为输入，并返回与该向量最相似的向量 results = vector_store.similarity_search_by_vector(embedding
80231编辑于 2024-12-04 - 来自专栏大模型应用
大模型应用：隐私优先的大模型应用：同态加密与大模型结合的完整实践.101
今天我们就由浅入深拆解“同态加密 + 大模型”的完整体系，覆盖核心概念、基础原理、执行流程和实际落地，整体还是比较复杂和麻烦的，我们借此多了解一些核心概念和基础，在需要的时候再深入研究加以应用，尽量通俗的梳理 同态加密+大模型的价值 在传统的大模型推理流程中，用户需要将明文数据（如隐私问答、敏感文档）传输给大模型服务商，服务商在明文数据上完成推理后返回结果。 同态加密 + 大模型的核心价值：在保护数据隐私的前提下，无损利用大模型的智能能力。2. 应用场景分析5.1 隐私数据问答场景：银行利用大模型分析用户的加密交易数据，回答“该用户是否符合贷款条件”。 将密文输入到适配后的大模型：加密后的密文被输入到经过特殊适配的大模型中，模型能够直接处理密文数据5.
66631编辑于 2026-05-09 - 来自专栏澜舟科技 NLP
大模型落地实践：同花顺大模型技术应用及优化
文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。众所周知，大模型参数量大，通用能力强，综合性能好。 这个问句量和用户量在问答系统中应该算非常大的。图片问财对话系统在大模型的应用上有几个难点。首先，它偏重金融业务知识，并且对于时效性要求很高。 这里特别说明一下“时效性”的问题。 确实在我们的业务模型里，规则占比非常大，也是因为涉及用户财产问题，技术上会比较保守。下面具体介绍问答系统里大模型应用的经验和取得的成果。 大模型的参数增加会带来效果的提升，但是在实际应用的经济角度考虑，宁可损失一些效果，尽量减少对资源的占用，所以我们投入了很大的精力做“模型轻量化”工作。 比如“用户问句相似问生成”这个任务，我们用到了知识蒸馏技术，将 10 层以上的大模型蒸馏成 3 层的小模型，性能上会有很大的提升，同时保证准确率不会有大幅下降的情况，GPT2-chinese-12 层单样本
3.4K20编辑于 2022-08-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号