- 综合排序
- 最热优先
- 最新优先
腾讯混元大模型：全模态能力与产业落地实践
攻克企业AI应用效能瓶颈 企业推进AI转型中面临开发效率低、多模态能力割裂、训练推理成本高的核心挑战。 理想状态下，AI需兼顾系统稳定性、低运维成本与场景适配性，但现实中常受限于模型参数规模与算力成本矛盾、单一模态能力难以覆盖复杂业务（如3D生成、长文本理解）、开源模型与产业需求错位等瓶颈。 部署混元全模态技术解决方案 腾讯推出混元大模型，以“全模态能力+全链路自研”为核心提供解决方案： 多模态生成：文生文（混元Turbo支持256K~百万级长窗口、角色扮演、代码生成）、文生图（Dit架构 能力突破：混元Turbo在中文大模型基准测评2024年8月报告中理科、文科均居第一名；多模态理解国内大模型排名第一（稳态卓越领导者象限），SuperCLUE-V基准8月榜单hunyuan-vision总分 （星脉网络、Angel平台、MoE结构），支持低端卡训练万亿参数模型（单集群10万卡规模），突破算力与成本瓶颈； 能力全面性：各模态模型稳居第一梯队（大语言模型理科文科双第一、多模态理解国内第一），
74210编辑于 2026-04-09- 来自专栏OpenMMLab
谁是最强多模态模型？评测框架 VLMEvalKit 全方位揭秘多模态能力
为此，OpenCompass 团队开发了 VLMEvalKit，一个全新的开源多模态评测框架，旨在提供可靠、可复现的评测结果，助力社区更准确地比较不同多模态模型在各种任务上的性能。 适用范围： 目前的 VLMEvalKit 主要适用于图文多模态模型的评测，基于模型能力范围，可以支持单对图文输入或是任意数量的图文交错输入。 支持包括 MME, MMBench, SEEDBench, MMMU 等评测集在内的十余个开源多模态评测集 基于支持的模型和评测集进行了翔实的评测，结果发布在 OpenCompass 多模态整体榜单： 开源多模态模型在推理能力上存在欠缺：在一些需要较强推理能力的测试集上 (如 MMMU，MMVet，MathVista 等)，开源模型（如 InternLM-XComposer）尚与闭源模型存在一定差距。 为便于用户对多模态模型的性能进行比较，我们选取了 9 个主流的多模态模型，进行了性能可视化： 定性结果 为了解目前的多模态模型尚有哪些不足之处，我们选取了在上图九个评测集中，所有多模态模型均无法正确答对的题目进行可视化
2.5K10编辑于 2024-01-19 超级应用（Super Apps）整合多模态AI能力
实现多模态交互的Python代码示例 以下代码使用Python结合NLP和CV技术，模拟一个支持语音、文本和图像输入的多模态交互系统。示例整合了语音识别、自然语言处理、图像识别等功能模块。 支付功能集成：添加支付网关API调用模块，当识别到"转账"等指令时自动触发 AR导航：集成ARKit/ARCore SDK实现室内导航 多模态融合：使用晚期融合策略，将不同模态的处理结果输入决策模块 错误处理 ：增强语音识别抗噪能力，添加图像识别失败的回退机制 实际部署时需要根据具体业务场景调整NLP模型和计算机视觉算法，并考虑性能优化与安全防护措施。 技术实现路径 开放平台与API网关 构建统一的AI能力中台，将多模态AI模块（如语音识别、OCR）封装为标准化API，供内部团队和第三方开发者调用。需设计低延迟、高并发的微服务架构。 挑战与应对 技术瓶颈 多模态对齐（如语音与文本语义一致性）需跨模态Transformer模型，计算成本较高。解决方案包括模型蒸馏（如TinyBERT）和边缘计算。
27110编辑于 2026-01-20GPT-4.5多模态理解与生成能力分析
GPT-4.5作为OpenAI的最新多模态大模型，在视觉、音频和文本的交互理解与生成方面实现了重大突破。本文将深入分析GPT-4.5的多模态能力及其底层技术实现。 跨模态理解与生成GPT-4.5的真正突破在于其跨模态理解与生成能力，可以在不同模态间无缝转换和融合信息：图像到文本：不仅能描述图像内容，还能理解隐含的上下文和文化意义。 print(result)局限与未来方向尽管GPT-4.5的多模态能力已经相当强大，但仍存在一些局限：视觉生成能力有限：相比于专用的图像生成模型如DALL-E 3或Midjourney，GPT-4.5的图像生成能力相对基础 未来的发展方向很可能包括进一步增强模态间的深度融合、提升生成能力，以及加强对长视频和复杂音频场景的理解能力。 GPT-4.5的多模态能力代表了AI朝着真正的通用智能迈出的重要一步，为各行业的创新应用开辟了广阔空间。
64010编辑于 2025-03-28- 来自专栏机器之心
ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力
EMMA：深度考量 MLLMs 的多模态推理极限 将文本与图像信息有机结合、协同进行推理，是人类智能的一项核心能力。 然而，多模态大语言模型是否真正具备这种深层次、非割裂的多模态推理能力，至今仍缺乏系统而深入的研究。 EMMA 中的任务要求高级的跨模态推理，这些问题无法通过在单一模态中独立思考来解决，从而为 MLLMs 的推理能力提供了更严苛、更全面的「试金石」。 数据集构建：严谨筛选与细粒度剖析 EMMA 的构建过程经过精心设计，旨在确保其能够有效评估深层多模态推理能力。 ； 另一方面，目前模型普遍缺乏视觉信息生成与动态交互的能力，难以实现真正意义上的跨模态互动与视觉状态的实时更新。
52210编辑于 2025-05-21 - 来自专栏AI科技评论
Claude 3 惊喜上线：多模态能力比肩 GPT-4V
Claude 本次更新的一大亮点，在于长文本能力的升级以及对多模态能力的突破。 Anthropic 在推出 Claude 3 时升级了其复杂视觉功能，使其领先于其他模型，多模态能力比肩GPT-4V。 值得一提的是，它还具有超强的回忆能力。 最后，在多模态场景下，博主让Claude解读一篇论文的部分内容，其分析逻辑清晰、准确。 尽管如此，在信息丰富度方面，Claude的表现略逊于GPT-4，尚有提升空间，特别是在多模态信息整合与呈现的能力上，仍有待进一步加强。 并将持续开发如宪法式 AI 等方法，以提升模型的安全性和透明度，并对模型进行了调整优化，以降低由新型模态引发的隐私问题。
92010编辑于 2024-03-06 - 来自专栏机器之心
多模态大模型能力测评：Bard 是你需要的吗？
但是学术界发布的模型大多只在部分多模态能力（少数相关数据集）上进行了评估，而且也缺少在真实用户体验上的性能对比。Bard 开放视觉输入之后也没有给出官方的多模态能力报告。 在此背景下，我们首先提出了多模态大模型多模态能力的全面评估框架 LVLM-eHub，整合了 6 大类多模态能力，基本涵盖大部分多模态场景，包括了 47 + 个相关数据集。 同时发布了模型间能力对比的众包式用户评测平台多模态大模型竞技场，让真实用户来提问和投票哪个模型表现得更好。 我们整合了 6 大类多模态能力： a. 六大多模态能力结构图 多模态大模型竞技场 多模态大模型竞技场是一个模型间能力对比的众包式用户评测平台，与上述的在传统数据集上刷点相比，更能真实反映模型的用户体验。
87220编辑于 2023-09-08 - 来自专栏OpenMMLab
用数据说话：谷歌 Bard 的多模态能力到底如何?
7 月，谷歌发布了一次重大更新—— Bard 目前能够处理图像输入，解锁了多模态信息理解能力。那么 Bard 对图像理解的能力究竟如何，我们将用 MMBench 为大家揭晓答案。 清洗后的测试集子集包含 16 个能力维度，共 1226 个问题。 全维度对比 向上滑动阅览 在横向对比 Bard 的性能时，我们选择了两个在 MMBench 上表现优异的开源多模态大模型，Otter 和 Shikra 作为 Bard 的对手，各个任务上的性能对比如图所示 问答实例 为了更直观地了解 Bard 的多模态理解能力，我们选取了一些 MMBench 中的对话实例。 上图中，黄色为提出的问题，蓝色为 Bard 的回复，橙色为 LLaVA 的回复。 总结 本文对 Bard 多模态模型的性能进行了深入分析，并在 MMBench 客观评测集上与其他开源多模态大模型进行了比较。
55810编辑于 2023-08-21 - 来自专栏自然语言处理
ColQwen-Omni：RAG全模态检索来了，支持【文本|图像|视频|音频】四种模态！
视觉语言模型（VLM）的快速发展使得顶尖模型能够处理更多模态的数据。例如，令人惊叹的 Qwen-Omni 系列模型就能够处理音频和视频输入，而不仅仅是图像和文本！ 现在，vidore正式推出 ColQwen-Omni (3B) —— 它是 ColQwen2 的扩展，基本上可以嵌入你输入的任何模态的数据！ vidore探索了一个纯粹在视觉文档检索数据集上训练的模型，在未接触音频或视频训练数据的情况下，能否有效地将其嵌入能力迁移到其他模态。结果表明：效果还相当不错！ 在未来的迭代中，vidore计划专门将音频剪辑整合到对比训练集中，以进一步优化模型的音频检索能力，这有望显著提升性能。 vidore的目标还将是改进模型在自然图像和文本检索方面的表现，为实现真正与模态无关的检索器铺平道路！
76310编辑于 2025-07-19 多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构建多模态基准
浙江大学等提出多模态视觉推理基准。【导读】LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。 为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型，似乎都很难完成更抽象层次上的理解和推理任务。 如果要将AI系统用在更多专业领域，这些能力缺陷就显得极为突出。最近，浙江大学、中科院软件研究所、上海科技大学等机构就联合提出了一种新的多模态基准，专门衡量模型对抽象图像的理解能力和视觉推理能力。 同样也不容易，因为我们需要的是多模态数据，但LLM无法直接生成图像，DALL-E、Stable Diffusion等图像生成模型又无法同步生成文本。 结论与限制论文最重要的贡献在于指出了当前多模态LLM在视觉推理方面的次优表现，并构建了合成数据组成的基准测试集，表明合成数据训练是一个有前景的解决方案。
44110编辑于 2024-08-08- 来自专栏MixLab科技+设计实验室
被忽视的语音界面和多模态能力#工具箱更新
最近，xiaozhi 新增了 MCP 能力的支持，我写了个工具用来接入任意的mcp到xiaozhi： 把 Cursor 的 mcp.json 给 xiaozhi 使用 接入方式只需要运行一个exe，把 Andrew Ng 和 LangChain 团队成员之间的对话重点提到了：语音和多模态能力。 多模态AI能够同时处理文本、图像、音频和视频，使AI系统更接近人类认知方式，增强其对现实世界的理解和互动能力。 多模态能力正从前沿技术转变为新一代AI系统的标准配置，支持AI代理处理更复杂的任务，并重塑工作流程。 通过整合多种数据类型（如文本、音频、图像），多模态AI代理能够提供个性化分析和处理复杂查询，显著提升了客户体验和专业服务水平。
10110编辑于 2026-03-24 - 来自专栏AI人工智能
多模态AI视觉智商测试-复杂场景理解能力深度评估
今天，我想和大家分享一次深度的"视觉智商"测试实验——通过构建复杂场景理解能力评估体系，对当前主流多模态AI模型进行全方位的智能水平测试。 未来发展趋势与技术展望6.1 技术演进路线图图5：多模态AI视觉理解能力发展时间线6.2 评估体系持续改进"测试不是目的，而是推动技术进步的手段。 基于这次深度评估的经验，我认为未来的视觉智商测试体系需要在以下几个方面持续改进：动态难度调整：根据AI模型能力的提升，自动调整测试难度多模态融合评估：不仅测试视觉理解，还要评估视觉-语言-音频的综合理解能力实时性能监控 展望未来，我相信多模态AI的视觉理解能力将继续快速发展。随着技术的不断进步，我们需要持续完善评估体系，确保其能够准确反映AI能力的真实水平。 参考链接多模态AI技术发展报告视觉语言模型评估基准认知科学在AI评估中的应用大规模多模态模型性能分析AI视觉理解能力测试标准关键词标签#多模态AI #视觉智商 #场景理解 #AI评估 #深度学习
41110编辑于 2025-09-22 - 来自专栏人工智能领域
解锁DeepSeek多模态：从原理到实战全解析（318）
接着，文章提出了一个视频理解与生成的统一框架，该框架能够同时处理视频内容的理解和生成任务，显著提升了模型在复杂多模态场景下的表现能力。 通过这些内容，本文不仅展示了DeepSeek在多模态领域的强大能力，还为读者提供了丰富的实践指导，帮助他们在实际项目中更好地应用这些技术。 六、总结与展望 DeepSeek 的多模态能力在图文跨模态对齐、视频理解与生成以及多模态检索系统搭建等方面展现出了卓越的技术实力和广泛的应用价值。 如果您对[解锁DeepSeek多模态：从原理到实战全解析（3/18）]有更深入的兴趣或疑问，欢迎继续关注相关领域的最新动态，或与我们进一步交流和讨论。 让我们共同期待[解锁DeepSeek多模态：从原理到实战全解析]在未来的发展历程中，能够带来更多的惊喜和突破。 再次感谢，祝您拥有美好的一天！
2.4K51编辑于 2025-02-15 超级应用（Super App）竞逐：全模态输出 + 小应用生成
此外，百度文库与网盘通过GenFlow3.0升级，以全模态智能体能力跻身超级应用行列，甚至推出海外产品Oreate拓展全球市场，标志着超级应用的竞争已从传统服务聚合转向技术能力驱动。 在消费场景中，全模态能力实现了需求与服务的精准对接。 在企业服务领域，全模态融合推动效率革命。 这些应用表明，全模态输出通过消除工具切换与信息转换的冗余成本，正在重塑超级应用的服务能力边界。 一方面，技术壁垒将进一步拉高，具备全模态模型研发能力、大规模模板库与生态整合能力的巨头将形成垄断优势，缺乏核心技术的轻量化应用将被边缘化。
31910编辑于 2026-01-23- 来自专栏机器之心
为多模态LLM指明方向，邱锡鹏团队提出具有内生跨模态能力的SpeechGPT
，来使得模型具有多模态理解和生成的能力，从而离 AGI 更进一步。」 与此同时，多模态大型语言模型，如 GPT-4、PALM-E 和 LLaVA，已经探索了 LLM 理解多模态信息的能力。然而，当前 LLM 与通用人工智能（AGI）之间仍存在显著差距。 在本文中，来自复旦大学的张栋、邱锡鹏等研究者提出了 SpeechGPT，这是一个具有内生跨模态对话能力的大型语言模型，能够感知和生成多模态内容。 第一阶段通过离散语音单元连续任务实现了 SpeechGPT 的语音理解能力。第二阶段利用 SpeechInstruct 改进了模型的跨模态能力。 结果表明，SpeechGPT 在单模态和跨模态指令遵循任务以及口语对话任务方面展现出强大的能力。
83220编辑于 2023-05-22 Java生态AI基础能力：热门问题全解析
和单一AI功能相比，它更强调“全链路可用”——比如不仅能提取文件内容，还能自动结构化、对接数据库，最终生成业务能用的结果，而不是零散的技术输出。 JBoltAI就是通过这种思路，把各类基础AI能力整合进Java生态，让AI不再是孤立工具。问：Java系统怎么高效处理文档和图片类数据？答：核心是覆盖“提取-识别-结构化”全流程。 文档处理方面，支持常见格式的文件内容提取，还能按需求拆分片段、保留关键关联；遇到图片时，通过OCR识别提取文字，多模态AI还能理解图片语义。 问：多模态AI在Java系统中落地难吗？主要能做什么？答：不难，核心是选对适配Java生态的方案。多模态AI能处理文字、图片等多种类型数据，比如识别图片中的文字（OCR）、理解图文混合文档的语义。 JBoltAI已将多模态能力融入Java开发流程，支持图片识别、图文文档处理等场景，所有能力都通过标准化API调用，和普通Java组件使用方式一致，不用额外掌握多模态相关的复杂技术。
12110编辑于 2026-02-06- 来自专栏机器学习与统计学
全模态大模型部署，vLLM-Omni 来了，100%开源
，尤其是最近 N 多全模态大模型，vLLM 就有点捉襟见肘了 vllm-project 团队开源了一个新框架——vLLM-Omni https://github.com/vllm-project/vllm-omni 然而，随着需求演进，vLLM-Omni 将其能力扩展到了更广阔的领域： • 全模态支持：它不仅能处理文本，还支持图像、视频和音频数据。 vLLM-Omni 和 Hugging Face Transformers 对比，展示了在全模态服务中的效率提升。 vLLM-Omni 是首批支持全模态模型服务的开源框架之一，它将 vLLM 卓越的性能扩展到了多模态和非自回归推理的世界。 vllm-omni/blob/main/examples/online_serving/text_to_image/gradio_demo.py 最后，官方还提供了一系列实用教程，涉及文生图、图生图、全模态等等
2K10编辑于 2026-01-05 - 来自专栏DrugOne
. | 多模态病理全视野基础模型
研究人员提出了TITAN，一种基于Transformer架构的多模态病理基础模型，可在全视野切片（Whole-Slide Image, WSI）上实现图像–文本语义对齐与跨任务迁移。 深度学习方法虽然已能在特定癌种中辅助诊断，但其泛化性和跨中心适应能力不足，尤其在多机构数据和未标注场景中表现不稳定。 图1：TITAN 模型总体架构与多模态对齐流程 结果 多模态预训练的语义对齐能力 TITAN通过图像–文本自监督学习，形成了高度可解释的多层病理语义空间。 TITAN同时在报告生成、病例检索与特征聚类中表现出一致的语义连贯性，说明模型具备从诊断到报告生成的可迁移能力。 研究人员强调，TITAN 的优势在于： 统一多模态学习框架 —— 将组织视觉信息与诊断语言融合于同一语义空间； 高可解释性特征表示 —— 注意力机制对应真实病理区域，与医生判读逻辑一致； 卓越的迁移与泛化能力
34210编辑于 2025-11-17 - 来自专栏算法一只狗
3个Agent多模态感知秘诀，让AI真正具备“思考+执行”能力！
其实本质上Agent依赖于大模型基座，目前大模型推理能力有明显的提升，Agent的实现变得更加容易。 Agent具有三个能力：•感知能力：输入感知•规划能力：逻辑推理•行动能力：具体执行在感知能力中，包含了文本感知、图像感知、语音感知等等。文本感知：单纯的文本大语言模型靠的是文本感知。 多模态能力感知：GPT-4o的出现，使得这类大模型能够拥有视觉感知、语音感知等在规划能力中，其实就是需要 Agent 具备一定的逻辑推理能力。 写在最后随着技术的发展，Agent的能力也在不断进化，尤其是在多模态感知和复杂决策方面。2025年，预计将会迎来Agent技术的突破性进展，特别是在多任务处理和动态环境中的应用。 这将使得Agent不仅能完成静态任务，还能进行复杂的实时互动和情境感知，甚至具备自我优化的能力。
65510编辑于 2025-04-03 - 来自专栏AI SPPECH
24: 2026 推理工程师能力矩阵：多模态扩展层
，需要掌握从底层Token化到上层模型适配的全栈知识。 ，推理工程师的多模态能力需求日益迫切。 ：实现低延迟的实时多模态推理 大规模多模态推理：支持大规模的多模态推理服务 个性化多模态推理：提供个性化的多模态推理服务 6.2 推理工程师的多模态能力要求 未来，推理工程师的多模态能力要求将进一步提高 、语音处理等领域的基础知识 掌握不同模态数据的特点和处理方法 了解跨领域应用场景的需求 具备跨领域问题解决能力 6.2.3 系统设计能力 具备多模态推理系统的设计能力 掌握多模态系统的性能优化方法 了解多模态系统的部署和维护 具备系统架构设计能力 6.2.4 持续学习能力 跟踪多模态技术的最新发展 学习新型多模态模型和技术 参与开源社区，贡献代码和经验 不断提升自己的多模态技术能力 6.3 个人前瞻性预测 基于当前的技术发展趋势
39310编辑于 2026-01-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号