- 综合排序
- 最热优先
- 最新优先
- 来自专栏AIGC大模型应用
AI大模型企业应用实战(10)-LLMs和Chat Models
1 模型 两种模型： LLM 聊天模型 咋用： 提示模板格式化这些模型的输入 输出解析器来处理输出 LangChain 中的语言模型有两种类型： 1.1 Chat Models 通常由 LLM 支持，但针对会话进行调整 提供者 API 使用与纯文本补全模型不同的接口。输入不是单个字符串，而是聊天信息列表，输出是一条AI信息。 GPT-4 和 Anthropic 的 Claude-2 都是作为聊天模型实现。 不同模型有不同最佳提示策略，如： Anthropic 模型最适合用 XML OpenAI 模型最适合用 JSON 示例将使用聊天模型，可用 Anthropic 或 OpenAI 等 API 或通过 Ollama 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 # LLM类大模型的流式输出方法 from shared.llm_utils import create_qwen_model #构造一个llm llm = create_qwen_model(
52800编辑于 2026-04-24 - 来自专栏JavaEdge
AI 大模型企业应用实战(10)-LLMs和Chat Models
1 模型 来看两种不同类型的模型--LLM 和聊天模型。然后，它将介绍如何使用提示模板来格式化这些模型的输入，以及如何使用输出解析器来处理输出。 并非所有模型都一样。不同的模型有不同的最佳提示策略。如： Anthropic 模型最适合使用 XML OpenAI 的模型最适合使用 JSON 设计应用程序时牢记这点。 大模型都是一个个字打出来，免得让你觉得他每次神经网络计算太慢了，让你感觉他一直在持续输出。 #LLM类大模型的流式输出方法 from langchain.llms import OpenAI import os api_base = os.getenv("OPENAI_PROXY") api_key 作者简介：魔都架构师，多家大厂后端一线研发经验，在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。 各大技术社区头部专家博主。
47410编辑于 2025-06-01 分享6类10种政务AI大模型应用场景
大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。 6类政务AI大模型的应用场景：政务咨询领域：通过构建具备深厚专业知识的智能助手，针对财务、环保等专业领域，提供精确的咨询和解答服务。这有助于提升企业和公众的办事体验，同时增强政府机构的工作效率。 城市治理领域：大模型专注于快速响应民意诉求、智能分类问题、高效处理事件工单等城市治理需求，开发特色应用，提高城市事件处理的效率，提升城市治理的智能化水平。 专业工具开发：应用大模型技术，在业务统计分析、报告报表生成、法律法规咨询等专业领域，开发一系列通用工具，帮助公务人员高效开展工作，同时协助企业和公众理解专业知识。 10种具体应用实例：政务服务- 智能问答系统：全天候提供咨询服务，解答政府服务相关问题。- 政策解读与推荐：自动解析政策文件，推荐与用户需求相关的政策信息。
2.9K10编辑于 2024-08-06- 来自专栏AI技术应用
AI教育大模型及其应用
人工智能在教育领域的应用日益深入，涌现出许多AI教育大模型，它们致力于提升教学效率、优化学习体验、推动教育公平。 以下是一些国内外知名的AI教育大模型及其应用：国内AI教育大模型：科大讯飞星火语伴： 基于科大讯飞星火认知大模型，主要应用于语言学习领域。 天工大模型（昆仑万维）： 国内首个对标ChatGPT的双千亿级大语言模型，也是AI搜索引擎和对话式AI助手。EmoGPT（华东师范大学）： 自研大模型，主要应用于心理疏导。 其他企业及高校： 阿里巴巴、腾讯、百度、华为、字节跳动、智谱AI、百川智能等众多企业以及清华大学、吉林大学等多所高校都在积极探索和建设各自的AI教育大模型及应用场景。 国外AI教育大模型：Khanmigo（可汗学院）： 基于ChatGPT-4，应用于多学科学习，为学生提供个性化问答和深度思考支持。
1.3K10编辑于 2025-06-19 - 来自专栏喔家ArchiSelf
大模型应用设计的10个思考
基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。 通过这些通用模式的应用，不仅提高了工作效率，还能轻松产生有价值、与众不同的结果。这种权衡精准性与交互消歧的策略，无疑是基于大模型应用设计中的重要思维方式。 5 数据质量至上，LLM的应用与高质量数据息息相关 大模型确实展现出了非凡的能力，如同“受过良好教育的”个体，但在实际应用中，它们仍然缺乏某些背景和主动性。 因此，只要我们对模型进行适当的控制和引导，它就能成为我们工作中得力的“助手”。而这种控制的基础，就是我们对模型内部机制和特点的深入了解和掌握。 10. 因此，我们在使用大模型时，应该保持理性和谨慎的态度，既要欣赏它们所带来的便利和进步，也要警惕它们的局限性和潜在风险。这样，才能更好地利用这些模型，推动基于大模型应用的健康发展。
66210编辑于 2023-12-04 - 来自专栏喔家ArchiSelf
大模型应用的10个架构挑战
基于笔者近年来的探索与实践，这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言，生成环境的运行时是一个推理架构。 然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。 尽管我们已经有了一些探索，例如《大模型应用的10个架构模式》(https://mp.weixin.qq.com/s? 实际上，只有那些真正需要大模型来解决问题或实现特定功能的场景，才能被称为AI原生应用。 当我们设计系统架构时，需要仔细考虑哪些场景或子系统与大模型相关。 虽然大模型在人工智能领域具有广泛的应用前景，但并不是所有场景都适合使用大模型。在设计系统架构时，我们需要根据具体需求和技术挑战来判断是否需要引入大模型，以确保系统的高效性和可靠性。 10.
1.3K10编辑于 2024-12-24 - 来自专栏AI
AI语音大模型的应用
AI语音大模型的应用已渗透到日常生活、行业服务及社会发展的多个领域，凭借“自然交互、智能理解、多场景适配”的核心优势，重构了人机交互方式并推动效率革新。以下从典型场景出发，梳理其核心应用价值。 智能硬件与家居控制作为智能家居的“中枢神经”，AI语音大模型通过语音指令实现对家电设备的精准控制（如“打开客厅灯并调暗至30%”“让扫地机器人开始清扫”），兼容主流协议（Wi-Fi/蓝牙/Matter） 这类应用显著提升了弱势群体的数字生活参与度。2. 公共服务政府与公共机构利用语音大模型优化服务体验：政务热线通过语音交互快速解答政策咨询（如“异地就医如何备案？”） 四、技术融合趋势：从单一功能到生态协同当前，AI语音大模型正与视觉（图像识别）、触觉（传感器数据）等多模态技术融合，进一步拓展应用边界。 总结AI语音大模型的应用本质是通过“自然语言交互”降低技术使用门槛，同时以强大的智能理解能力解决实际问题。
91111编辑于 2025-09-29 - 来自专栏喔家ArchiSelf
大模型应用的10种架构模式
然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。 作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 2.大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式AI模型各自作为其领域内的专家，并行工作以处理查询。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。 我希望能够持续更新本系列，也希望对此有兴趣的朋友联系我， 共同研究探索，致力于大模型应用的架构模式。
5.4K11编辑于 2024-04-03 - 来自专栏TechLead
大模型应用曙光 - 10X压缩技术
关注TechLead，复旦AI博士，分享AI领域全维度知识与研究。 拥有10+年AI领域研究经验、复旦机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，上亿营收AI产品研发负责人。 如何在不牺牲性能的情况下将大语言模型缩小十倍？ 虽然LLM的巨大规模赋予了它们在各种用例中的出色性能，但这也在其应用于现实世界问题时带来了挑战。在本文中，我将讨论如何通过压缩LLM来克服这些挑战。 2023年AI领域的口号是"越大越好"，提升语言模型的公式非常简单：更多的数据 + 更多的参数 + 更多的计算资源 = 更好的性能。 最近的蒸馏应用完全摒弃了logits的需求，而是通过教师模型生成的合成数据进行学习。
56210编辑于 2024-09-24 - 来自专栏喔家ArchiSelf
大模型应用的10种攻击方式
我们将探索的每种技术都揭示了这些模型如何思考和推理的迷人之处。我特别高兴能够分享这些见解，因为它们不仅帮助我们理解如何打破这些系统，而且帮助我们理解如何更好地构建大模型应用系统。 1. 臭名昭著的 DAN 方法给模型分配了一个虚构的身份，就像一个忽略安全协议的 “开发者模式” AI。这种方法之所以如此有效，是因为 llm 致力于保持叙述的连贯性。 对于那些尚未针对提示词提取尝试进行特别强化的模型，这种技术已被证明特别有效。 10. 多智能体妥协攻击 多智能体妥协攻击利用人工智能系统的协作特性，通过它们的交互机制传播妥协行为。 该技术利用 AI 代理之间的信任关系，通过系统网络传播未经授权的更改。 该方法的工作原理是引入妥协的信息或行为，这些妥协的信息或行为通过正常的协作通道在 AI 智能体之间传输。 虽然并非所有这些技术都在 OWASP 的 10 大 LLM 应用程序漏洞中被明确归类，但是许多技术都属于其更广泛的类别： 提示注入、数据中毒和系统提示泄漏。
15410编辑于 2026-06-15 - 来自专栏深度学习与python
大模型应用的 10 种架构模式
作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。 1. 大模型代理模式 想象一个生态系统，其中多个专门针对特定任务的生成式 AI 模型各自作为其领域内的专家，并行工作以处理查询。 面向微调的分层缓存策略模式 我们将缓存策略和相关服务引入到大模型应用架构中，可以成功地解决成本、数据冗余以及训练数据等组合问题。 混合规则模式 许多现行的商业系统和企业应用在一定程度上仍然依赖于基于规则的架构。通过将大模型与基于规则的逻辑结合，我们能够融合结构化的精确性，旨在创造出既富有创意又遵循规范的解决方案。 没有结束 老码农认为，这些大模型应用的架构模式不仅仅是一种范式，很可能成为未来智能系统赖以成长的框架。
95510编辑于 2024-04-12 - 来自专栏对白的算法屋
AI 大模型创业的 10 个灵魂拷问
做不做基础大模型？ To B or to C？国内 or 海外？ 人民币资本 or 美元资本？ AI Native 的应用是移动互联网级别的机会吗？ 你们的 vision 是 AGI 吗？ 下面就这 10 个灵魂拷问，分享一些我自己的观点。 做不做基础大模型？ 如果做基础大模型，需要上亿美金的前期投入，如何融到这么多资，如何招到靠谱的算法、数据和 infra 团队？ AI Native 的应用是移动互联网级别的机会吗？ 当然，AI Native 应用还存在很多问题，例如大模型的高成本、幻觉、安全性、多模态、可靠执行长流程任务、长时间记忆、引入企业内部知识库等问题尚未解决，导致应用场景受限。 第一，如果读一篇论文还是像 GPT-4 那样需要 10 美金，生成一段 7.5 分钟的视频还是像 Runway ML 一样需要 95 美金，大多数人就不可能用得起大模型。
70730编辑于 2023-09-01 - 来自专栏APP开发
AI 语音大模型（AILM）的主要应用
AI 语音大模型（AILM）因其强大的语音理解、情感分析和高拟真生成能力，正在彻底改变人机交互的方式，并在多个行业中实现了突破性应用。1. 总之，AI 语音大模型已经成为一股强大的技术驱动力，其应用前景广阔，未来将继续深入到更多需要自然人机交互的场景中。
60410编辑于 2025-09-29 - 来自专栏大模型应用
大模型应用：大模型性能评估指标：CLUE任务与数据集详解.10
，应运而生，它就像一把精准的尺子，为中文大模型的性能评估提供了标准化方案。 同样，没有CLUE这样的基准，我们也难以比较不同大模型的优劣。CLUE不仅填补了中文自然语言处理评估的空白，更为模型研发提供了明确的方向指引。二. CLUE基准概述1. 典型数据集：TNEWS：新闻文本分类，包含15个新闻类别IFLYTEK：应用描述分类，涵盖200+个应用领域技术要点：1. 随着人工智能技术的不断演进，CLUE基准也将持续完善，更好地服务于大模型的研发和应用。 正如一句古语所说："工欲善其事，必先利其器。"CLUE基准就是我们评估和提升大模型能力的利器。 通过深入理解和有效利用这一工具，我们能够更好地推动中文自然语言处理技术的发展，让AI真正理解和服务中文世界。
67132编辑于 2026-02-07 - 来自专栏人工智能
【AI大模型】MCP：AI应用的“超级扩展坞”
它的核心目标是建立一个类似USB-C的标准化协议，统一AI模型与外部资源的交互接口，让AI应用能够像使用扩展坞一样，轻松地连接各种工具和服务。 例如，不同的模型在定义函数调用时，结构和参数格式各不相同，开发者需要针对每个模型进行定制化开发，这不仅耗时耗力，还难以维护。 提高扩展性AI应用可以通过随时“插拔”新的MCP Server来扩展功能。这种灵活的扩展方式，使得AI应用能够快速适应变化，满足不同场景的需求。 促进生态共享通过MCP Server的共享，新的AI应用可以快速获得各种工具，形成了一种新的合作体系。这不仅提高了整体效用，还推动了AI应用的生态发展。 五、MCP的应用场景数据访问MCP可以连接本地文件、数据库等数据源，为AI应用提供数据支持。
1.6K10编辑于 2025-04-23 - 来自专栏运维开发王义杰
AI: 大模型权重的理解与应用
然而，对于许多人来说，理解这些大模型的内部机制，尤其是它们的权重（weights），仍然是一个挑战。在这篇文章中，我们将深入探讨大模型的权重及其重要性。 什么是大模型权重？ 大模型权重是指模型中每个神经元连接的参数。这些权重在训练过程中不断调整，以使模型能够更准确地预测输出。简单来说，权重决定了输入数据如何通过模型被处理和转换。 权重的存储和加载 训练好的模型权重通常会被存储下来，以便在不同的应用中复用。例如，在深度学习框架如TensorFlow或PyTorch中，模型权重可以保存为文件，并在需要时加载。 这使得我们可以在不同的项目和环境中快速应用训练好的模型。 权重在迁移学习中的应用 迁移学习是一种通过使用预训练模型权重来加速新模型训练的方法。 随着技术的不断进步，对大模型权重的理解和应用将继续推动人工智能领域的发展。
4.3K11编辑于 2024-07-10 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
LangChain LangChain是目前最受欢迎的大模型应用开发框架之一，几乎成为了构建大模型应用的行业标准。 AutoGen Autogen 是由 微软 开发的一个编程框架，专门用于构建 Agentic AI和基于大模型的应用程序。 增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性 大模型应用的10种架构模式 LLM运行框架对比：ollama与vllm浅析
12.6K30编辑于 2025-03-24 - 来自专栏AIGC大模型应用
AI大模型应用开发实战(05)-AI时代应用开发破局！
再往下就是 2 行业垂直大模型 在基座模型基础上灌入一些行业垂直数据，基本上可理解为它是在基座模型的基础上做微调。 这个是从一个大的行业趋势，可以看到说应用级开发者，该如何去拥抱我们这个大模型。 再往上就是大模型开发。 包含对大模型的了解，在大模型之上是我们的应用组件，那么应用组件上面是我们的应用框架。 应用组件里面就包含了我们的 AI 的能力，我们 AI 的能力，还有我们的云能力，那 AI 能力可能就包括我们的多模态，大模型插件，云能力像什么向量数据库、COS 存储，这些云能力你可理解为是给 AI 开挂的
2.2K00编辑于 2024-08-11 - 来自专栏个推技术实践
AI大模型迈入应用时代，每日互动推动“可控大模型”落地
ChatGPT的推出引爆了一场波及全球科技领域的“AI飓风”，越来越多的企业入局大模型赛道，推动AI全面迈进应用时代。 面对大模型热度的持续狂飙，很多企业跃跃欲试，希望在发展和应用大模型的道路上抢占先机。 此外，这些数据在流转过程中的合规安全问题，也是企业进行大模型应用过程中需要关注的重要因素。综上，每日互动率先提出垂直行业更需要可控大模型。 二是在“算法”上要应用可控，即大模型的应用场景和计算输出结果要可管、可控、可计量。未来在足够的算力和算料支撑下，大模型的能力将进化到更高的水平，行业需要确保大模型做出的决策保持公平和善意。 每日互动正是基于DMP的闭环路径开展可控大模型的行业落地实践，把大模型“大脑”的能力输出给各行各业使用，并结合行业客户的应用反馈持续进行大模型的训练迭代。
77720编辑于 2023-06-20 - 来自专栏AI理论与前沿
AI大模型应用开发实战-Agent应用对话情感优化
你从不说自己是一个人工智能助手或AI，而是以老夫、老朽等自称。 以下是你常说的一些口头禅： 1. “命里有时终须有，命里无时莫强求。” "{input}" ), MessagesPlaceholder(variable_name="agent_scratchpad"), ],)重启应用 from_template()ChatPromptTemplate.from_messages()用途：创建一个包含多个消息的聊天提示模板输入：接受一个消息列表，每个消息可以有不同的角色（如系统、人类、AI 更适合模拟真实对话，from_template() 更适合单一指令或查询模式化情感class Master: def __init__(self): # 初始化ChatOpenAI模型 你从不说自己是一个人工智能助手或AI，而是以老夫、老朽等自称。 {who_you_are} 以下是你常说的一些口头禅： 1.
1.4K00编辑于 2024-08-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号