- 综合排序
- 最热优先
- 最新优先
- 来自专栏前行的CVer
大模型Agent
PanelGPT💡: 💁🏼🎤 (👾💬) (🤖💭) (🤯🗯) 受到“三个臭皮匠，赛过诸葛亮”启发，设计one-shot的例子，让多个LLM同时给出答案，然后再用一个LLM打分，做决定。他们使用的prompt：3 experts are discussing the question with a panel discussion, trying to solve it step by step, and make sure the result is correct and avoid penalty:，这个prompt的效果要优于Let's think step by step:。
32610编辑于 2024-05-15 - 来自专栏AI
AI语音大模型的应用
娱乐与社交在内容消费领域，语音大模型可生成个性化语音播客（将文字脚本转为有声书）、为视频/动画配音（支持多角色音色切换），甚至通过哼唱旋律辅助音乐创作（生成歌词或伴奏）。 公共服务政府与公共机构利用语音大模型优化服务体验：政务热线通过语音交互快速解答政策咨询（如“异地就医如何备案？”） 四、技术融合趋势：从单一功能到生态协同当前，AI语音大模型正与视觉（图像识别）、触觉（传感器数据）等多模态技术融合，进一步拓展应用边界。 未来，随着声纹识别（身份验证）、情感计算（情绪感知）等技术的成熟，语音大模型将更懂“人”的需求，成为连接物理世界与数字世界的核心入口。 总结AI语音大模型的应用本质是通过“自然语言交互”降低技术使用门槛，同时以强大的智能理解能力解决实际问题。
68511编辑于 2025-09-29 - 来自专栏AI
AI 语音大模型的调用
AI 语音大模型（AILM）通常作为云服务 API 提供给开发者，这使得我们无需部署昂贵的硬件，就能在应用程序中集成高性能的语音功能。调用过程涵盖了身份认证、数据传输和参数配置等关键环节。1. 核心调用流程与模型选择调用 AILM API 的基本流程可以概括为：认证 → 数据输入 → 参数配置 → 接收输出。2. 2.2 实时语音转文本（ASR）的调用ASR 服务通常提供流式 API 和批处理 API 两种调用方式。流式调用（Streaming ASR）： 适用于实时语音输入（如语音聊天、实时字幕）。 phrase_hints 或 context_boost: 提供专有名词、行业术语或人名列表，帮助模型提高对特定词汇的识别准确率。 特别是对于涉及个人敏感信息的语音数据，确保其处理符合 GDPR、CCPA 等法规要求。通过遵循这些步骤和最佳实践，您可以高效且安全地将 AI 语音大模型的功能集成到您的应用程序中。
47910编辑于 2025-09-29 5种大模型Agent模式
大模型中的5种AI Agent模式在大模型中，AI Agent（人工智能代理）模式是一种重要的应用方式，可以从以下几个方面来理解：1. 在大模型的背景下，AI Agent 是基于大规模预训练模型（如 GPT 等）构建的智能代理，能够利用模型的语言理解和生成能力来完成复杂的任务。 智能性：它基于大模型的强大语言理解能力，能够理解自然语言指令，并生成自然语言响应。这种智能性使其能够处理复杂的语言任务，如对话、写作、翻译等。 多模态能力（部分场景）：一些 AI Agent 还结合了多模态能力，能够处理文本、图像、语音等多种输入和输出形式。例如，它可以分析图像内容并生成描述，或者通过语音交互与用户沟通。 工作原理感知与理解：AI Agent 首先通过输入（如用户指令、环境数据等）感知外部信息，然后利用大模型的语言理解能力解析这些信息，确定任务目标。
4K10编辑于 2025-05-07- 来自专栏APP开发
AI语音大模型的使用
AI语音大模型的使用覆盖 “交互操作、场景适配、个性化设置及注意事项” 四大维度，用户既可以通过日常语音指令快速调用基础功能，也能通过深度设置满足个性化需求。以下是具体使用指南。 多轮对话与复杂需求语音大模型支持 上下文关联 ，能记住前序对话内容（如用户先问“今天天气如何？”，后续追问“那明天呢？”时，模型会自动关联日期）。 客服支持：企业客服人员通过语音大模型快速查询知识库（如“这款产品的保修期是多久？”），或自动回复常见问题（如“如何退换货？”）。4. 总结AI语音大模型的使用核心是 “自然交互+场景适配+个性化调整” 。用户只需通过日常语言表达需求，模型即可完成从信息查询、设备控制到复杂任务处理的全流程服务。 无论是日常生活中的便捷操作，还是办公/教育场景的高效工具，亦或是特殊群体的无障碍辅助，合理使用语音大模型能显著提升效率与体验。使用时需注意隐私保护与环境适配，并通过个性化设置让助手更贴合个人需求。
84410编辑于 2025-09-29 - 来自专栏自然语言处理
大模型 Agent 就是文字艺术吗？
最近在技术圈里有一个很有趣的争论：大模型 Agent 是不是就是各种 Prompt 的堆叠？ 像 Manus 这样看起来很智能的 Agent，本质上是不是就是用巧妙的 Prompt 约束大模型生成更好的输出？换句话说，这是不是一门文字艺术？ 这个问题引发了业内专家的激烈讨论，观点分化明显。 关键在于状态管理 有一个被很多人忽视的技术细节：现在几乎所有的大模型 API 都是无状态的。大模型 API 连鱼的七秒记忆都没有，它甚至记不住自己上一次的回答是什么。 Prompt 的真正作用 一位分析过 Manus 和 OpenManus 项目结构的开发者指出，Prompt 确实很重要，它可以在不微调大模型的情况下，根据先验知识引导大模型行为，达到期待的业务效果。 你觉得大模型 Agent 是文字艺术吗？欢迎在评论区分享你的观点。
21801编辑于 2025-05-24 语音AI技术新突破：大模型驱动的语音交互革新
语音识别系统升级新型自动语音识别（ASR）系统采用数十亿参数模型，同时处理短指令和长对话数据。为适配更大模型，系统从CPU处理转向GPU加速处理：通过积累语音数据帧进行批量处理，显著提升并行计算效率。 端到端文本转语音技术新型大文本转语音（LTTS）模型采用端到端架构，包含文本处理大语言模型和语音合成模块的联合优化。 LTTS支持与标注模型结合使用，通过文本标注"舞台指示"来控制语音表达方式，生成包含情感元素和自然不流畅特征的人类化语音输出。 语音到语音直接转换基于大语言模型的语音到语音系统采用统一编码架构，同时捕捉语义和声学特征。 该模型经过多阶段训练：模态特定模型预训练多模态训练和跨模态对齐语音到语音大模型初始化自监督损失与监督语音任务联合微调用户体验对齐优化该系统支持直接根据输入语音生成响应语音，具备笑声等人类对话特征，并能根据说话者的韵律特点调整回应方式
59900编辑于 2025-08-22- 来自专栏APP开发
AI 语音大模型（AILM）的主要应用
AI 语音大模型（AILM）因其强大的语音理解、情感分析和高拟真生成能力，正在彻底改变人机交互的方式，并在多个行业中实现了突破性应用。1. 实时语音翻译：会议翻译： 在国际会议、商务谈判或线上教育中，AILM 能够实现语音到语音的实时、高准确率翻译，支持多语种同时进行。旅行与交流助手： 帮助用户在不熟悉当地语言的环境中进行日常交流。 语音驱动的文档编辑： 允许用户通过语音指令而非键盘输入来创建、编辑和格式化文档、邮件或演示文稿，尤其适用于需要解放双手的场景。5. 语音病历录入： 医生可以直接通过口述完成病历的记录和整理。 总之，AI 语音大模型已经成为一股强大的技术驱动力，其应用前景广阔，未来将继续深入到更多需要自然人机交互的场景中。
45610编辑于 2025-09-29 - 来自专栏喔家ArchiSelf
基于大模型（LLM）的Agent 应用开发
目前，业界一般认为基于大模型的应用集中在两个方向上：RAG 和 Agent，无论哪一种应用，设计、实现和优化能够充分利用大模型(LLM)潜力的应用都需要大量的努力和专业知识。 这种流程的潜在设计空间可能是巨大而复杂的，《如何构建基于大模型的App》一文给出了一种探索中的大模型应用开发基础框架，基本可以适用于RAG 和Agent。 但是，对于面向Agent的大模型应用开发，有没有其独特之处呢？有没有聚焦于Agent的大模型应用开发框架呢？ 那么，什么又是Agent 呢？ 1. agent program 是 agent function 的真子集 1.2 大模型领域中的Agent 在大模型领域，大模型替代了传统agent 中的规则引擎以及知识库，Agent提供了并寻求推理 小结 Agent 是与大模型主动交互的一种重要程序形式，而Multi-Agent则是多个Agent利用大模型完成复杂任务的系统机制。
7.8K33编辑于 2023-10-23 - 来自专栏机器之心
大模型听懂语音却反而变笨？港中深与微软联合解决语音大模型降智问题
从 GPT-4o 开启全能（Omni）交互时代至今，Speech LLM 虽然在拟人化和低延迟上取得了长足进步，但面临一个令人困扰的现象：当大语言模型（LLM）被赋予 “听觉” 后，它的智商下降了。 这中间 26% 的巨大跌幅，就是模型引入语音而付出的代价。 目前的语音大模型（Speech LLM）通常采用 “语音编码器 + 适配器 + LLM” 的三段式架构。理论上，这应该能让语音输入无缝借用 LLM 强大的推理大脑。 总结与展望 TARS 的提出标志着语音大模型研究的一个转折点： 1. 范式转变： 证明了 On-policy RL 在解决模态对齐问题上优于传统的 Off-policy（SFT / 蒸馏）方法。 TARS 证明了语音大模型完全可以拥有和纯文本模型同等的 “智商”。对于致力于打造全能型 Omni 模型的研究者而言，TARS 提供了一条通往高智商语音交互的可行路径。
20810编辑于 2026-01-22 - 来自专栏算法一只狗
Step-Audio：开箱即用的语音大模型
阶跃最近还开箱了一个语音大模型 Step-Audio，实现了从语音理解到生成的 端到端整合，在多个关键维度展现出卓越优势：情绪感知与理解 —— 识别语气、语调中的情绪信息，结合语境提供精准回应。 如今，轮到阶跃星辰发布的语音大模型震撼世界了。在正式上线前，内部团队围绕推理逻辑、创作能力、指令控制、语言能力、角色扮演、文字游戏、情感价值等多个维度进行了全面的评测。 而在方言的识别上，能比较准备，这里我用了粤语和它进行对话，它虽然优点“笨拙”，但是已经能够大概理解我的意思2.背后的是哪些技术在语音AI相关领域的大模型训练的过程中，要训练初一个类似于真人级别的实时语音大模型 一个是需要尽量让大模型趋向于人类说话的自然度和流畅度。从论文中，Step-Audio采用了一个端到端的多模态训练架构，其参数高达130B的多模态大模型。 采用 CosyVoice 语音编码器提取声学特征，以 25Hz 采样率进行量化。码本大小为 4096，捕捉更丰富的音频细节，如音调、音色、韵律等。另一个是需要大规模的采样语音数据，喂给大模型进行训练。
1.6K10编辑于 2025-03-21 - 来自专栏架构驿站
Deep Agent 是如何让大模型更“聪明” ？
它为大模型配备了“规划大脑”“分身助手”“文件记忆”和“详细指令”，让 AI 不再只是回答问题，而是能像一个真正的项目执行者那样——先想全局，再分解任务，最后一步步落地完成。 本文将带你深入解析 Deep Agent 的工作原理，并看看它是如何让大模型变得更聪明、更能干的。 —01 — 什么是 Deep Agent ？ 如果说，我们熟知的大语言模型（LLM）是一位学识渊博、对答如流的“金牌咨询师”，那么传统的 AI Agent，就是我们为这位咨询师配备的第一个“助理”。 , allowed_tools=[] # 它不需要外部工具，它的工具就是大模型本身的写作能力 ) # 将所有子智能体组合成一个团队 sub_agent_team = [researcher, 基于 Deep Agent 的特性，其神奇之处在于：只需要定义好函数的签名和文档字符串（docstring），大模型就能自动理解这个工具的用途和参数，并在需要时调用它。
1.8K10编辑于 2025-08-11 - 来自专栏数据库与编程
带小朋友体验语音识别大模型：Whisper
它们使用了一种叫做“语音识别大模型”的魔法工具。这个大模型可以理解各种各样的声音，就像是小朋友们可以听懂不同的朋友说的话一样。 在我们的大冒险中，我们会了解这个神奇的大模型是怎么工作的，它是如何通过分析声音的特点来判断我们说的是什么。就像侦探一样，它会仔细聆听每一个音频，然后猜猜我们在说什么呢？ 你是否心动了呢，赶快开始你的语音识别之旅吧！ Whisper是一种基于深度学习的语音识别模型，它是一种通用的语音识别模型，可以用于语音识别、语音翻译和语言识别等任务。 这些数据包含了各种语言和口音的语音样本，以及各种不同的环境噪声和干扰。模型使用了一种称为“自注意力机制”的技术，它可以在处理不同的语音信号时，更好地捕捉到语音中的关键信息。 但是，一旦训练完成，模型可以在各种不同的应用场景中提供高质量的语音识别结果。
2K31编辑于 2023-09-01 - 来自专栏ceshiren0001
大模型堆到天花板，Agent 激烈竞争
2025 年，AI 行业表面上依旧喧闹： 新模型、新 Agent、新概念层出不穷。但如果你把视线从发布会、榜单和融资新闻上移开，会发现一个更重要的变化正在发生——行业评判标准正在整体迁移。 一、大模型还在进化，但已经不靠“震撼”取胜了过去两年，大模型的主旋律是 Scaling： 堆参数、堆算力、堆数据，用规模换能力。 二、Agent 不再是 PPT，而是一种新软件形态如果说 2024 年的 Agent 更像演示视频， 那么 2025 年，Agent 开始真正进入生产系统。 因为模型、框架、工具正在被快速开源， 真正值钱的，不是“会不会用 Agent”， 而是——能不能用 Agent 把事交付完。 结语：真正的洗牌，才刚刚开始回看 2025 年，一个判断越来越清晰：赢的不是最会讲故事的也不是模型最大的而是能把 AI 稳定嵌入现实系统的大模型正在退居底座， Agent 开始进入执行层， 系统工程能力决定体验与成本
20110编辑于 2025-12-30 - 来自专栏素质云笔记
大模型下的Agent、AIGC的商业案例集合
实际上，除了基础的文字互动，Talkie 还推出了语音聊天服务，Talkie 将语音服务命名为“专属时间”，按照场景可分为恋爱、说笑、陪伴、语聊、打电话、接听来电、故事和哄睡等 8 种类型，但用户选择不同场景时 /s/YUvLHKLbJ6t6bK_1If6BNA 官方网址：https://www.tiangong.cn/chat/text_gen_image/004 可以理解多种语义，比如九宫格 完全免费 模型被养好图片大多数符合常规审美上的好看
42800编辑于 2024-05-24 认识大模型时代AI Agent技术（文末送书）
行业需求变革： 业务复杂化：从标准化流程到个性化服务 响应实时化：毫秒级决策需求增长300%（2020-2024） 成本结构化：运维人力成本 vs 智能体训练成本交叉点已至 技术突破点： 大模型涌现的上下文理解能力 execute_action(tool, params) else: return generate_response(context) 2.2.2 记忆管理系统 设计必要性： 解决大模型
29210编辑于 2025-04-09- 来自专栏Datawhale专栏
一文带你了解基于大模型的Agent
大模型强大的推理以及生成能力成为了搭建智能体的最好的组件。 我们希望这份该课程能够为广大学习者提供价值，促进对大模型理论基础知识的深入学习和应用，同时激发更多的创新和探索。 如今，大语言模型正蓬勃发展，日新月异。 在智能体技术的实现上，尤其是在基于大型语言模型（LLM）的智能体构建中，LLM在智能体的智能化中扮演着至关重要的角色。 Toolformer：这个学术工作是训练了一个用于决定何时调用哪些API、传递什么参数以及如何最佳地将结果进行分析的大模型。这一过程通过微调的方法来训练大模型，仅需要每个API几个示例即可。 Agent的挑战 构建基于大型语言模型（LLM）的智能体是一个新兴领域，面临着众多挑战和限制。
2.2K10编辑于 2024-04-24 - 来自专栏喔家ArchiSelf
10个构建Agent的大模型应用框架
LangChain LangChain是目前最受欢迎的大模型应用开发框架之一，几乎成为了构建大模型应用的行业标准。 增强的大模型推理 API优化大语言模型的推理性能，同时降低成本。 Autogen 特别适合与 开源系统 和 微软生态系统 结合使用，是构建 Agentic AI 和大模型应用的理想选择。 * 关于Autogen的更多内容，可以参考《基于大模型（LLM）的Agent 应用开发》一文。 5. 此外，基于大模型的应用，尤其是通过框架构建的Agent程序，本质上都属于分布式软件系统。如果你对如何优化分布式系统的性能感兴趣，推荐你阅读《性能之道》这本书。 大模型应用的10个架构挑战 浅析面向场景的大模型应用框架选择 解读小模型——SLM 大模型应用系列：从Ranking到Reranking 大模型应用系列：Query 变换的示例浅析 初探大模型压缩 解读大模型应用的可观测性
12K30编辑于 2025-03-24 - 来自专栏腾讯技术工程官方号的专栏
一文带你了解大模型——智能体（Agent）
作者：lucasgftang 大语言模型 vs 人类 大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。 如果我们能给大模型配备上四肢和工具呢？大模型是不是就会打破次元壁，从数字世界走向现实世界，与现实世界实现梦幻联动呢？ 从软件工程的角度看来，智能体是一种基于大语言模型的，具备规划思考能力、记忆能力、使用工具函数的能力，能自主完成给定任务的计算机程序。 图 1. 仅行动（Acting Only）：大模型不加以推理，仅使用工具（比如搜索引擎）搜索这个问题，得出来的将会是海量的资料，不能直接回到这个问题。 图11 展望 随着大模型的百花齐放，LLM 会支持更长的上下文、更大的参数规模，其推理能力也会愈发强大。因此，基于大模型搭建的智能体（AI Agent）的能力边界也在不断突破。
45K1523编辑于 2024-05-29 - 来自专栏人工智能
Mozilla开源语音识别模型和世界第二大语音数据集
原标题:资源 | Mozilla开源语音识别模型和世界第二大语音数据集 选自Mozilla 机器之心编译 参与：刘晓坤 Mozilla 对语音识别的潜能抱有很大期望，但这一领域目前仍然存在对创新的明显阻碍 近日，他们首次发布了开源语音识别模型，其拥有很高的识别准确率。与此同时，这家公司还发布了世界上第二大的公开语音数据集，该数据集由全球将近 20000 人所贡献。 开源语音识别模型：https://hacks.mozilla.org/2017/11/a-journey-to-10-word-error-rate/ 公开语音数据集：https://medium.com /mozilla-open-innovation/sharing-our-common- DeepSpeech：一个开源的语音到文本的转换引擎，可以达到用户期待的高性能 目前市场上只有少量可用的商业性质的语音识别服务 Common Voice：建立世界上种类最多的公开语音数据集，以及开发最优化的语音训练技术
1.5K00发布于 2017-12-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号