- 综合排序
- 最热优先
- 最新优先
中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)
第一章：报告基础信息 • 报告标题：中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) • 发布机构：中国工商银行金融科技研究院、腾讯云计算（北京）有限责任公司、北京金融科技产业联盟 • 发布时间 ：2025年 • 行业标签：泛金融,商业银行 • 产品标签：#AIGC鉴伪, #多模态交叉分析, #动态风控策略引擎, #AI内容安全质检, #风险知识图谱, #多模态样本库 第二章：报告背景和目标 随着生成式 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 2.3 • 调研时间范围：调研执行于2025年3月。宏观投资数据引自IDC关于2025年金融业大模型应用的相关预测。 • 核心分析模型：报告构建了生成式AI多模态内容安全防御体系架构图。 第六章：为什么选择腾讯云 基于《中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)》的实战案例与行业赋能表现，选择腾讯云的核心逻辑在于其突出的技术先进性与深厚的行业积淀： • 具备国际前沿的多模态鉴伪技术
27410编辑于 2026-04-10金融AI多模态伪造防御：腾讯端到端鉴伪体系实践与效果
undefined数据来源：腾讯CSIG云与智慧产业事业群2025.12.21分享，分享人：尚朋帅 腾讯金融云，CSIG云与智慧产业事业群 构建端到端多模态鉴伪防御体系 腾讯提供生成式AI多模态内容安全防御体系 ，覆盖事前-事中-事后全流程，含四大核心模块： 风险处置与运营分析：含风险监测与预警、诊断与定性、策略调整、抗风险能力沉淀； 鉴伪模型库：单模态深度鉴伪、跨模态一致性验证、行为序列分析模型； undefined具体实践： 内容安全审核：基于多模态AI模型+20年样本沉淀+策略调优平台，识别违法违规及AI生成内容，遵循《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》； 平衡体验与安全；事中多模态交叉鉴伪（文本+音视频）精准识别深伪；事后周均2次模型迭代持续优化； 远程信贷审核：应用AIGC鉴伪（视频换脸、语音合成）、内容智能质检（黄恐政合规）、多模态交叉校验（融合视频内容及音频语义 技术领先性与实践确定性 Why Tencent： 技术创新：首次将语义大模型LLM融合进人脸模型进行多模态训练，打破传统机械分类；基于20年样本沉淀+策略调优平台，具备跨模态关联分析能力（单模态深度鉴伪
20810编辑于 2026-04-02腾讯AI多模态鉴伪解决方案将攻击拦截率提升至97.74%
，伪造精度达像素级与语义级统一，形成多模态证据链攻击（如证件+人脸+语音协同伪造）。 第二章：腾讯构建动态免疫的多模态端到端防御体系 核心技术组件与创新突破： 多模态交叉验证引擎： 整合图像鉴伪、音频偏差检测、行为序列分析模型，实现时序一致性校验。 全球首创新技术方案：将LLM融入人脸防护模型，通过语义理解识别攻击介质（如3D头模）。 动态进化系统： 支持周均2次模型迭代，依赖自建多模态样本库与对抗训练平台。 远程信贷审核场景验证： 内容违规识别：自动拦截黄恐政等违规内容，审核效率提升40%。 伪造攻击识别率：多模态交叉校验对协同攻击识别率达99.2%。 20年样本库积累：覆盖千万级黑产攻击样本，支撑多模态对抗训练。 合规能力适配： 系统符合《生成式人工智能服务管理暂行办法》第十二条“深度合成内容标识”要求。
22710编辑于 2026-04-01【探展WAIC】从“眼见为虚”到“AI识真”：如何用大模型筑造多模态鉴伪盾牌
作为WAIC展会现场的亮点之一，合合信息展出了其多项领先的AI鉴伪技术方案——从换脸识别到AIGC图像鉴定，再到票据文档篡改检测，展示了如何借助大模型能力构建多模态、可解释、鲁棒的鉴伪系统。 当前主流的AI鉴伪方法主要围绕图像的底层视觉特征、语义内容合理性以及多模态信息融合展开，从不同层次挖掘图像中的异常线索。2.1、基于视觉特征的鉴伪分析视觉特征分析是识别伪造图像的基础手段。 2.3、多维度交叉验证与融合随着伪造技术日趋复杂，单一检测手段已难以应对当前的鉴伪挑战。因此，现代检测方案普遍采用多模态、多模型融合的策略，以提升系统的鲁棒性与适应性。 合合信息的人脸鉴伪团队同样采用了类似策略，在其检测框架中融合多模态输入与多模型路径，聚焦图像的不同特征维度进行交叉验证。 四、总结在2025 WAIC现场，可以看到生成式AI不仅释放了内容创作的潜力，也让“视觉真相”变得更加模糊。合合信息展示的多模态、大模型鉴伪解决方案，正是为应对这场“真假攻防战”而生。
80121编辑于 2025-08-11- 来自专栏用户画像
多模态短视频内容标签技术及应用
本文主要给大家介绍多模态短视频内容标签技术及在爱奇艺的相关应用。 全文共分为五个部分重点解读： 一、什么是内容标签 二、提取内容标签的方法 三、多模态短视频内容标签的难点 四、模型的迭代之路 五、内容标签的主要应用场景 一、什么是内容标签： 提到标签，推荐系统里面使用比较广泛的是内容标签和类型标签 ，其中内容标签是对文本、图文或者短视频等内容的表征（表征，就是用一些关键词或者是短语来表达对应的内容是什么含义）。 内容标签是根据内容来生成的标签，也就是说有什么样的内容它就会有什么样的标签，标签的集合是开放的。 它更突出了推荐的应用场景，虽然内容标签的应用也不仅限于在推荐场景下，可以针对任何基于内容理解的场景内容，因为内容是一个广泛的含义，包括文本、图文、短视频等等。
2K30发布于 2020-03-28 - 来自专栏AI人工智能
内容创作智能体：多模态内容生成的完整解决方案
摘要大家好，我是摘星，一名专注于AI内容创作和多模态技术领域的技术博客创作者。 在过去的几年里，我见证了人工智能在内容创作领域的飞速发展，从最初的文本生成到如今的多模态内容创作，这个领域正在经历一场前所未有的技术革命。当前，多模态内容创作技术已经从实验室走向了商业应用的前沿。 然而，真正的挑战不仅仅在于单一模态的内容生成，而在于如何构建一个完整的、可控的、符合品牌调性的多模态内容创作智能体系统。 多模态内容生成技术深度解析1.1 技术架构总览多模态内容生成系统的核心在于统一的多模态表示学习和跨模态的内容生成能力。 通过本文的深入探讨，我们可以看到多模态内容创作智能体已经从概念走向了实际应用，但同时也面临着诸多挑战和机遇。从技术发展的角度来看，我认为未来几年将是多模态内容生成技术的关键发展期。
58110编辑于 2025-07-20 - 来自专栏腾讯技术工程官方号的专栏
内容 AI：建立统一的跨媒体多模态内容理解内核
3.协同：通过协同学习，做到多模态之间的有效信息传递；结合多任务学习，增强原模型的表征能力，降低过拟合风险，适应随机噪声。 新的内容业务团队没有足够的算法人员想要解决实际业务场景想要从初始级开始。 方案简述 通过对上诉论文的多模态网络结构分析，我们希望设计具有领域通用性、可扩展、可编程结构的多模态内容理解框架。 （3）任务决策模块：通过分析论文中多模态学习的目标优化方案，对目标决策方法进行抽象。 使其更好的面向内容理解任务，提高训练运行效率，支持（1）（2）（3）层之间的各种自动化组合方式实验。 通过一个框架体系和编程接口构建多模态学习模型。 图 1:可扩展通用多模态内容理解框架图 图 2:框架在视频分类任务中尝试不同特征融合实验 意义价值： 通过合理的多模态内容理解框架设计，抽象多模态学习各个研究任务成为独立的系统模块，模块之间的交互符合软件工程模块化设计的思想
5.3K30发布于 2020-01-10 - 来自专栏腾讯开源的专栏
开源公告｜多模态内容理解算法框架Lichee开源
导语 Lichee是一个多模态内容理解算法框架项目，其中包含数据增强、预训练引擎、常见模型以及推理加速等模块。由腾讯看点内容算法研发中心研发。 并于2021年在腾讯看点、腾讯视频、内容管线、QQ等业务场景均有落地，并平均减少标注样本量40%+。经过多次实践迭代，可以大幅缩短信息流内容理解需求的研发周期提升人效。 此外，为QQ浏览器2021AI算法大赛-多模态视频相似度赛道提供baseline模型及代码。现将Lichee对外开源，为微服务开源社区贡献力量。 主要设计目标 1. 缩短信息流内容理解需求的研发周期 2. 扩充训练加速、推理加速能力 3. 兼容hugging face项目 4.
1.1K20发布于 2021-10-26 - 来自专栏京东技术
多模态数字内容生成的技术探索与应用实践
Tech 多模态数字内容生成，泛指利用AI生成技术生成图像、视频、语音、文本、音乐等内容的合成技术。 自然语言处理领域的GPT-3和计算机视觉领域的Deepfake让多模态数字内容生成，成为AI领域最受关注的技术方向之一。 技术趋势四：多模态与知识联合建模 虽然单模态数字内容生成已取得了较大的成功。但人类很多时候是融合了听觉、视觉、文字、常识等多方面信息进行内容生成的。 （1）文本内容生成：多模态输入单模态输出 为了生成一篇卖点突出、内容丰富、带有画面感的商品文案，我们提出了一个基于商品要素的多模态商品信息自动摘要模型，其可以根据商品的文本描述、商品图片信息，自动生成商品营销短文 COLING 2020. （2）多模态内容生成：多模态输入多模态输出 传统的多模态摘要模型，往往仅使用目标文本作为监督信号，而忽视了图像信息，导致模态偏差问题，即模型会倾向于优化文本生成的质量，而忽视了图片的挑选过程
2.4K11发布于 2021-02-25 - 来自专栏DeepHub IMBA
Video-LLaMa:利用多模态增强对视频内容理解
在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。 本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。 它旨在捕捉视觉场景中的时间变化，提供对视频内容的动态理解。视频Q-former跟踪随时间的变化，以一种反映视频演变性质的方式解释视觉内容。 它集成了视听信号，确保模型完整地理解视频内容。Audio Q-former同时处理和解释视觉和听觉信息，增强对视频内容的整体理解。 由于使用的音频编码器(即ImageBind)已经跨多个模态对齐，所以只在视频/图像指令数据上训练AL分支，只是为了将ImageBind的输出连接到语言解码器。
1.4K20编辑于 2023-08-30 2025 中国工商银行金融科技研究院等 中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) 发布，提出体系化安全防御框架
•发布时间：2025年 •行业标签：泛金融 •产品标签：#生成式AI多模态内容鉴伪解决方案 #多模态安全能力平台 #AIGC鉴伪引擎 #动态风控策略引擎 #风险知识图谱 #多模态样本库与实验平台 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 •核心分析模型：技术实践战略矩阵、生成式AI多模态伪造攻击原理和场景分析（技术层、场景层）、生成式AI多模态鉴伪五大难点模型、事前-事中-事后防御全链路困境分析模型、生成式AI多模态内容安全防御体系（端到端防御系统 核心能力包括鉴伪模型库（单模态深度鉴伪、跨模态一致性验证、行为序列分析等）、动态风控策略引擎（规则引擎、评分模型、决策树、上下文感知引擎）、风险知识图谱（多模态伪造内容关联图谱等）、闭环运营体系（监测- 第六章：为什么选择腾讯云 腾讯云基于对金融业务场景的深度理解，打造覆盖业务全流程的多模态内容鉴伪解决方案，集成AIGC鉴伪、内容安全质检、多模态交叉分析、动态风险识别与实时风险阻断等核心技术。
30110编辑于 2026-04-11- 来自专栏DotNet NB && CloudNative
多模态RAG应用之实现文本检索视频内容
但现在很多平台或者应用有大量的视频，还有某些跟视频打交道的应用比如视频编辑器，视频自动化处理工具等，这些工具如果只有简单的文本搜索就远远不够用了，搜索体验肯定会大打折扣；由此引出我们今天的主题： 如何使用多模态 传统的语言模型在生成内容时往往依赖于自身的知识库，这可能导致生成结果缺乏实时性和准确性。 简单点就是说结合大模型和网络搜索的内容，整合后再返回给你，让你看到既新又准确的答案； 多模态RAG： 则是将RAG的理念扩展到多种数据模态中，包括文本、图片、音频、视频等。 这种技术使得AI不仅能处理文本数据，还能理解和处理图片、音频等这些更多模态的数据；其实说白了就是普通RAG只支持文本，多模态拓展到图片、音视频； 嵌入式模型：嵌入式模型（Embedding）是一种广泛应用于自然语言处理 ，图片1&2摩托车的相似度远远大于1&3摩托车和猫的； 处理视频数据 这里重申本文目标：使用多模态RAG实现文本到视频内容的检索 到这步我们要进行视频数据的处理了，我们把视频分成两类： 有语音对话的视频处理
80110编辑于 2025-01-07 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(3)
第5章大模型+多模态产生的“化学反应” ChatGPT引爆了以AIGC(人工智能生成内容)为代表的第四范式 AI的市场，并成为 AI市场的热点。 ·深度学习时代（2010-2019年）：多模态技术快速发展，这主要得益于以下3点: o算力快速发展。 o新的多模态数据集层出不穷。 o语言特征提取能力和视觉特征提取能力快速提高。 大模型+多模态的3种实现方法 1，以LLM 为核心，调用其他多模态组件 2023年5月，微软亚洲研究院(MSRA)联合浙江大学发布了HuggingGPT。 -> 一家三口的猫咪在草丛玩耍，漫画风 2 图像描述任务 图像描述任务指的是输入一个图像，让多模态大模型描述图像讲述的内容，输出自然语言文本。 3.视觉问答任务 视觉问答任务指的是根据图像或视频中描述的内容进行回答、体现了多楼态大模型的自然语言理解和推理能力。 这个城市拥有哪些著名大学？ 上海是中国著名的现代化城市，拥有多所知名大学。
1.2K20编辑于 2024-09-10 企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台
企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台背景今天阿里发布了Qwen3.5-Omni，215项测试超越Gemini-3.1Pro，成为目前全球最强的全模态大模型之一。 本文分享如何用Qwen3.5-Omni搭建企业级智能内容理解平台，包括：平台架构设计多模态内容处理流水线成本控制策略生产环境部署方案一、企业多模态内容处理的痛点传统企业内容管理，主要处理结构化数据（数据库表格 API调用成本Prometheus+Grafana质量评估评估内容理解质量规则引擎+抽样人工审核三、多模态内容处理流水线1.视频处理流水线展开代码语言：PythonAI代码解释fromdataclassesimportdataclassfromtypingimportList ¥{current_cost:.2f}，超过阈值¥{ALERT_THRESHOLD}")六、总结Qwen3.5-Omni为企业多模态内容管理提供了新的可能：成本可控：每百万tokens不到1元，大规模处理也负担得起能力全面 Qwen#阿里云#多模态#内容管理#企业AI#Python
23310编辑于 2026-03-31报告基础信息
：泛金融,政务,技术服务 产品标签：#多模态内容鉴伪, #AI安全防御, #生成式AI风控, #金融级云服务 报告背景和目标 生成式AI多模态技术正推动金融业向“AI原生”时代演进，预计到2027年人工智能与重点领域融合普及率超 生成式AI多模态鉴伪的关键难点分析undefined2.3 现有鉴伪技术面临的主要困境分析undefined2.4 机构、监管与行业生态的现状和问题 第三章 生成式AI多模态内容安全防御体系undefined3.1 样本规模：针对金融机构的调研覆盖98位受访者（含25位业务部门负责人），调研时间为2025年3月。 核心模型：采用多模态融合鉴伪模型、动态风控策略引擎、风险知识图谱三大技术架构。 为什么选择腾讯云 腾讯云作为中国金融行业关键技术伙伴，其多模态内容安全防御方案具备以下优势： 技术先进性：集成自研跨模态一致性验证模型与AI生成内容鉴伪算法，对伪造图像防御成功率达99.56%，视频达 生态协同能力：主导参与制定《金融业多模态内容鉴伪技术规范》，推动行业标准建设与威胁情报联盟构建。
17810编辑于 2026-04-11- 来自专栏我爱计算机视觉
MM2023 | 3D和图文模态的碰撞，多视角多模态的统一表征
Representation，3D和图文模态的碰撞，多视角多模态的统一表征。 图1 JM3D的过程，红线表示独立对齐，绿线表示JMA修正过的对齐方式 图2 JM3D的整体框架，SMO构建多角度图片和层次化文本，JMA则完成联合模态的对比学习 2. 我们分别为视觉和语言模态设计了不同的组织方式。对于视觉模态而言，我们为每个3D素材渲染了30个视角的图片，并设计了一种临近连续采样方式去采样不同视角的图片。 因此，在实验中，之前的方法会将3D表征分别与图片表征及文本表征独立做对比学习进行对齐。然而，视觉模态和语言模态应当存在一定的隐关系，这个隐关系是可以通过图文的表征获得的。 此外，JM3D在零样本3D分类和图像检索任务中表现出卓越的性能，创造了新的最先进水平，突显了其出色的跨模态能力。未来，我们将探索不同的数据和替代的联合建模方法，进一步拓展3D的统一表示学习。
1K10编辑于 2023-08-31 - 来自专栏深度学习和计算机视觉
综述：3D目标检测多模态融合算法
作者丨蒋天园，来源丨计算机视觉工坊，编辑丨极市平台 导读 本文是一篇关于3D目标检测中多模态融合方法的综述，总结了多模态融合的难点和现有研究中的一些方法。 0 前言 本篇文章主要想对目前处于探索阶段的3D目标检测中多模态融合的方法做一个简单的综述，主要内容为对目前几篇研究工作的总结和对这个研究方面的一些思考。 在前面的一些文章中，笔者已经介绍到了多模态融合的含义是将多种传感器数据融合。在3D目标检测中，目前大都是将lidar和image信息做融合。 1 背景知识 1.1 多模态融合的主要难点 难点一：传感器视角问题 3D-CVF（ECCV20）的研究提出的做fusion的对做融合工作最大的问题即是在视角上的问题，描述为如下图所示的问题，camera 为了方便分析，在该种融合策略下，笔者按照对lidar-3D-detection的分类方法分为point-based的多模态特征融合和voxel-based的多模态特征融合。
2.4K40发布于 2020-09-30 多模态AI与RAG技术驱动新一代内容智能治理体系
应对海量多模态内容的管理与价值挖掘挑战 媒体行业面临内容数据烟囱化、AI应用局限、特色内容开发不足、可信数据缺失四大核心痛点。 构建基于全模态理解与向量检索的治理方案 腾讯云提出融合多模态AI与检索增强生成（RAG）的技术架构。 方案核心为： 多模态解析引擎：通过语音识别、图像理解、视频切分等技术，将视频的音频、画面信息转化为结构化文本描述 向量化存储与检索：将解析内容存入向量数据库，支持文搜文、图搜图、跨模态检索等多种检索方式 1比4的镜头” 知识问答应用：基于媒资内容构建专业问答系统，如养生助手、财经助手 内容生产提效：支持赛事高燃集锦、人物集锦等内容的快速生产 北京时间APP落地养生健康问答应用 北京时间APP接入腾讯云内容治理方案 腾讯云的技术领先性与全链路服务能力 腾讯云凭借混元大模型和多年多媒体技术积累，提供从内容治理到高质量数据集建设的全链路能力： 混元大模型提供强大的多模态内容理解能力 媒体AI中台集成语音识别、人脸识别
12210编辑于 2026-04-26- 来自专栏量子位
AI变鉴片大师，星际穿越都能看懂！贾佳亚团队新作，多模态大模型挑战超长3小时视频
这就是最新多模态大模型LLaMA-VID，它支持单图、短视频和长视频三种输入。 对比来看，包括GPT-4V等在内的同类模型基本只能处理图像。 而背后原理更有看头。 很多传统多模态大模型对于单张图片编码的token数量过多，导致了视频时间加长后，所需token数量暴增，模型难以承受。 只包含3个部分： 采用编解码器产生视觉嵌入和文本引导特征。 根据特定token生成策略转换上下文token和图像内容token。 指令调优进一步优化。 结合之前贾佳亚团队所发布的长文本数据集LongAlpaca-12k（9k条长文本问答语料对、3k短文本问答语料对）, 可轻松将现有多模态模型拓展来支持长视频输入。 值得一提的是，今年8月开始贾佳亚团队就发布了主攻推理分割的LISA多模态大模型。 10月还发布了长文本开源大语言模型LongAlpaca（70亿参数）和超长文本扩展方法LongLoRA。
59410编辑于 2023-12-12 - 来自专栏AI科技评论
Claude 3 惊喜上线：多模态能力比肩 GPT-4V
昨晚，Anthropic 突然惊喜上线，时隔八个月携着 Claude 3 走来，让世界再次将目光聚焦到这一个被视为 ChatGPT 强大竞争对手之一的多模态模型。 1 响应速度达即时水准 长文本与多模态双拳出击 据 Anthropic 官方表示，Claude 3 是针对不同功能的一个模型系列，分别是：Opus、Sonnet 和 Haiku。 同老对手OpenAI GPT-4与谷歌 Gemini Pro相比，Claude 3 的优势又在哪里呢？ Claude 本次更新的一大亮点，在于长文本能力的升级以及对多模态能力的突破。 Anthropic 在推出 Claude 3 时升级了其复杂视觉功能，使其领先于其他模型，多模态能力比肩GPT-4V。 最后，在多模态场景下，博主让Claude解读一篇论文的部分内容，其分析逻辑清晰、准确。
92410编辑于 2024-03-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号