- 综合排序
- 最热优先
- 最新优先
中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)
第一章：报告基础信息 • 报告标题：中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) • 发布机构：中国工商银行金融科技研究院、腾讯云计算（北京）有限责任公司、北京金融科技产业联盟 • 发布时间 ：2025年 • 行业标签：泛金融,商业银行 • 产品标签：#AIGC鉴伪, #多模态交叉分析, #动态风控策略引擎, #AI内容安全质检, #风险知识图谱, #多模态样本库 第二章：报告背景和目标 随着生成式 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 2.3 现有鉴伪技术面临的主要困境分析 2.4 机构、监管与行业生态的现状和问题 第三章 生成式AI多模态内容安全防御体系 3.1 整体设计 3.2 能力解读 3.3 价值分析 第四章 行业最佳实践 4.1 金融领域最佳应用实践 第六章：为什么选择腾讯云 基于《中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)》的实战案例与行业赋能表现，选择腾讯云的核心逻辑在于其突出的技术先进性与深厚的行业积淀： • 具备国际前沿的多模态鉴伪技术
27410编辑于 2026-04-10金融AI多模态伪造防御：腾讯端到端鉴伪体系实践与效果
undefined数据来源：腾讯CSIG云与智慧产业事业群2025.12.21分享，分享人：尚朋帅 腾讯金融云，CSIG云与智慧产业事业群 构建端到端多模态鉴伪防御体系 腾讯提供生成式AI多模态内容安全防御体系 ，覆盖事前-事中-事后全流程，含四大核心模块： 风险处置与运营分析：含风险监测与预警、诊断与定性、策略调整、抗风险能力沉淀； 鉴伪模型库：单模态深度鉴伪、跨模态一致性验证、行为序列分析模型； ； 事后数字运营周均2次模型迭代，实现攻击风险持续监测与自适应进化； 多模态交叉校验覆盖APP、PC、小程序、H5、API等多风险场景渠道，提升检测覆盖率与实时研判能力。 平衡体验与安全；事中多模态交叉鉴伪（文本+音视频）精准识别深伪；事后周均2次模型迭代持续优化； 远程信贷审核：应用AIGC鉴伪（视频换脸、语音合成）、内容智能质检（黄恐政合规）、多模态交叉校验（融合视频内容及音频语义 技术领先性与实践确定性 Why Tencent： 技术创新：首次将语义大模型LLM融合进人脸模型进行多模态训练，打破传统机械分类；基于20年样本沉淀+策略调优平台，具备跨模态关联分析能力（单模态深度鉴伪
20810编辑于 2026-04-02腾讯AI多模态鉴伪解决方案将攻击拦截率提升至97.74%
第二章：腾讯构建动态免疫的多模态端到端防御体系 核心技术组件与创新突破： 多模态交叉验证引擎： 整合图像鉴伪、音频偏差检测、行为序列分析模型，实现时序一致性校验。 动态进化系统： 支持周均2次模型迭代，依赖自建多模态样本库与对抗训练平台。 持续进化机制： 运营端每周生成风险热力图，驱动AI模型针对性优化（周均迭代2次）。 远程信贷审核场景验证： 内容违规识别：自动拦截黄恐政等违规内容，审核效率提升40%。 伪造攻击识别率：多模态交叉校验对协同攻击识别率达99.2%。 20年样本库积累：覆盖千万级黑产攻击样本，支撑多模态对抗训练。 合规能力适配： 系统符合《生成式人工智能服务管理暂行办法》第十二条“深度合成内容标识”要求。
22710编辑于 2026-04-01【探展WAIC】从“眼见为虚”到“AI识真”：如何用大模型筑造多模态鉴伪盾牌
作为WAIC展会现场的亮点之一，合合信息展出了其多项领先的AI鉴伪技术方案——从换脸识别到AIGC图像鉴定，再到票据文档篡改检测，展示了如何借助大模型能力构建多模态、可解释、鲁棒的鉴伪系统。 当前主流的AI鉴伪方法主要围绕图像的底层视觉特征、语义内容合理性以及多模态信息融合展开，从不同层次挖掘图像中的异常线索。2.1、基于视觉特征的鉴伪分析视觉特征分析是识别伪造图像的基础手段。 2.3、多维度交叉验证与融合随着伪造技术日趋复杂，单一检测手段已难以应对当前的鉴伪挑战。因此，现代检测方案普遍采用多模态、多模型融合的策略，以提升系统的鲁棒性与适应性。 合合信息的人脸鉴伪团队同样采用了类似策略，在其检测框架中融合多模态输入与多模型路径，聚焦图像的不同特征维度进行交叉验证。 四、总结在2025 WAIC现场，可以看到生成式AI不仅释放了内容创作的潜力，也让“视觉真相”变得更加模糊。合合信息展示的多模态、大模型鉴伪解决方案，正是为应对这场“真假攻防战”而生。
80221编辑于 2025-08-11- 来自专栏用户画像
多模态短视频内容标签技术及应用
本文主要给大家介绍多模态短视频内容标签技术及在爱奇艺的相关应用。 全文共分为五个部分重点解读： 一、什么是内容标签 二、提取内容标签的方法 三、多模态短视频内容标签的难点 四、模型的迭代之路 五、内容标签的主要应用场景 一、什么是内容标签： 提到标签，推荐系统里面使用比较广泛的是内容标签和类型标签 ，其中内容标签是对文本、图文或者短视频等内容的表征（表征，就是用一些关键词或者是短语来表达对应的内容是什么含义）。 内容标签是根据内容来生成的标签，也就是说有什么样的内容它就会有什么样的标签，标签的集合是开放的。 它更突出了推荐的应用场景，虽然内容标签的应用也不仅限于在推荐场景下，可以针对任何基于内容理解的场景内容，因为内容是一个广泛的含义，包括文本、图文、短视频等等。
2K30发布于 2020-03-28 - 来自专栏AI人工智能
内容创作智能体：多模态内容生成的完整解决方案
摘要大家好，我是摘星，一名专注于AI内容创作和多模态技术领域的技术博客创作者。 在过去的几年里，我见证了人工智能在内容创作领域的飞速发展，从最初的文本生成到如今的多模态内容创作，这个领域正在经历一场前所未有的技术革命。当前，多模态内容创作技术已经从实验室走向了商业应用的前沿。 然而，真正的挑战不仅仅在于单一模态的内容生成，而在于如何构建一个完整的、可控的、符合品牌调性的多模态内容创作智能体系统。 多模态内容生成技术深度解析1.1 技术架构总览多模态内容生成系统的核心在于统一的多模态表示学习和跨模态的内容生成能力。 通过本文的深入探讨，我们可以看到多模态内容创作智能体已经从概念走向了实际应用，但同时也面临着诸多挑战和机遇。从技术发展的角度来看，我认为未来几年将是多模态内容生成技术的关键发展期。
58110编辑于 2025-07-20 - 来自专栏腾讯开源的专栏
开源公告｜多模态内容理解算法框架Lichee开源
导语 Lichee是一个多模态内容理解算法框架项目，其中包含数据增强、预训练引擎、常见模型以及推理加速等模块。由腾讯看点内容算法研发中心研发。 并于2021年在腾讯看点、腾讯视频、内容管线、QQ等业务场景均有落地，并平均减少标注样本量40%+。经过多次实践迭代，可以大幅缩短信息流内容理解需求的研发周期提升人效。 此外，为QQ浏览器2021AI算法大赛-多模态视频相似度赛道提供baseline模型及代码。现将Lichee对外开源，为微服务开源社区贡献力量。 主要设计目标 1. 缩短信息流内容理解需求的研发周期 2. 扩充各领域的预训练模型 2. 扩充训练加速、推理加速能力 3. 兼容hugging face项目 4.
1.1K20发布于 2021-10-26 - 来自专栏腾讯技术工程官方号的专栏
内容 AI：建立统一的跨媒体多模态内容理解内核
新的内容业务团队没有足够的算法人员想要解决实际业务场景想要从初始级开始。 方案简述 通过对上诉论文的多模态网络结构分析，我们希望设计具有领域通用性、可扩展、可编程结构的多模态内容理解框架。 （2）特征融合对齐模块：针对各模态数据特征，支持适用于内容理解的融合算法，如特定模态算法提取的向量特征；显式属性值特征；外部编码特征之间的融合对齐。支持多种编码表示。 做到可编程的支持多类损失函数；各类梯度下降算法；多种集成学习技术；支持转化和对齐的多模态学习任务（如通过对抗性损失函数解耦表征，反向优化特征，分离出内容结构特征和内容语义特征）。 使其更好的面向内容理解任务，提高训练运行效率，支持（1）（2）（3）层之间的各种自动化组合方式实验。 通过一个框架体系和编程接口构建多模态学习模型。 图 1:可扩展通用多模态内容理解框架图 图 2:框架在视频分类任务中尝试不同特征融合实验 意义价值： 通过合理的多模态内容理解框架设计，抽象多模态学习各个研究任务成为独立的系统模块，模块之间的交互符合软件工程模块化设计的思想
5.3K30发布于 2020-01-10 - 来自专栏京东技术
多模态数字内容生成的技术探索与应用实践
Tech 多模态数字内容生成，泛指利用AI生成技术生成图像、视频、语音、文本、音乐等内容的合成技术。 自然语言处理领域的GPT-3和计算机视觉领域的Deepfake让多模态数字内容生成，成为AI领域最受关注的技术方向之一。 技术趋势四：多模态与知识联合建模 虽然单模态数字内容生成已取得了较大的成功。但人类很多时候是融合了听觉、视觉、文字、常识等多方面信息进行内容生成的。 （1）文本内容生成：多模态输入单模态输出 为了生成一篇卖点突出、内容丰富、带有画面感的商品文案，我们提出了一个基于商品要素的多模态商品信息自动摘要模型，其可以根据商品的文本描述、商品图片信息，自动生成商品营销短文 COLING 2020. （2）多模态内容生成：多模态输入多模态输出 传统的多模态摘要模型，往往仅使用目标文本作为监督信号，而忽视了图像信息，导致模态偏差问题，即模型会倾向于优化文本生成的质量，而忽视了图片的挑选过程
2.4K11发布于 2021-02-25 - 来自专栏数据科学（冷冻工厂）
单细胞分析：多模态 reference mapping (2)
内容 在本示例中，我们将展示如何利用一个已经建立的参考数据集来解读单细胞RNA测序（scRNA-seq）查询： 根据参考数据集定义的细胞状态集，对每个查询细胞进行标注。 尽管我们也可以计算并应用传统的PCA投影，但在处理通过WNN分析构建的多模态参考数据时，我们更推荐使用监督式PCA（sPCA）。 spca.annoy.neighbors"]], file = "/brahms/shared/vignette-data/reftmp.idx") 查询数据集预处理 本节我们将展示如何将来自多位捐献者的骨髓样本与一个多模态骨髓参考集进行比对 hcabm40k.batches <- lapply(X = hcabm40k.batches, FUN = NormalizeData, verbose = FALSE) Mapping 接下来，我们在每位捐献者的数据集与多模态参考集之间确定锚点 = 3) p1 + p2 + plot_layout(guides = "collect") 我们还可以把所有的数据对象合并成一个统一的数据集。
41910编辑于 2024-05-17 - 来自专栏DeepHub IMBA
Video-LLaMa:利用多模态增强对视频内容理解
本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。 VL分支模型：ViT-G/14 + BLIP-2 Q-Former 引入了一个两层视频Q-Former和一个帧嵌入层(应用于每帧的嵌入)来计算视频表示。 在Webvid-2M视频标题数据集上训练VL分支，并完成视频到文本的生成任务。还将图像-文本对(来自LLaVA的约595K图像标题)添加到预训练数据集中，以增强对静态视觉概念的理解。 2、Audio Q-former:视听集成 Audio Q-former是Video-LLaMa框架的另一个重要组件。它集成了视听信号，确保模型完整地理解视频内容。 由于使用的音频编码器(即ImageBind)已经跨多个模态对齐，所以只在视频/图像指令数据上训练AL分支，只是为了将ImageBind的输出连接到语言解码器。
1.4K20编辑于 2023-08-30 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(2)
oSoftMax函数：将多酚类输出值转转换为[0,1]之间的概率分布，且概率和为1. 这批数据的总量不大，但是其种类丰富，包含了基于各个任务的多轮对话数据。 2.第二个阶段: 训练 RM 需要用户对 ChatGPT 针对同一个令输出的多个回复内容进行完整的排序,使得 ChatGPT 能够理解什么是真正用户满意的翔实、符合事实逻辑并且安全无害的回复内容。 这句话可以按以下思维逻辑分解:如果去掉余的两个苹果，剩下的苹果应该等分为2份，那么老大最后的苹果数量(26-2)/2=12个，老二分得的苹果比老大的多两个，则老二的苹果数量12+2=14个。 GPT-3 文本生成、多轮对话、机器翻译方面、智能问答具有优势。
55710编辑于 2024-09-10 - 来自专栏DotNet NB && CloudNative
多模态RAG应用之实现文本检索视频内容
但现在很多平台或者应用有大量的视频，还有某些跟视频打交道的应用比如视频编辑器，视频自动化处理工具等，这些工具如果只有简单的文本搜索就远远不够用了，搜索体验肯定会大打折扣；由此引出我们今天的主题： 如何使用多模态 传统的语言模型在生成内容时往往依赖于自身的知识库，这可能导致生成结果缺乏实时性和准确性。 简单点就是说结合大模型和网络搜索的内容，整合后再返回给你，让你看到既新又准确的答案； 多模态RAG： 则是将RAG的理念扩展到多种数据模态中，包括文本、图片、音频、视频等。 这种技术使得AI不仅能处理文本数据，还能理解和处理图片、音频等这些更多模态的数据；其实说白了就是普通RAG只支持文本，多模态拓展到图片、音视频； 嵌入式模型：嵌入式模型（Embedding）是一种广泛应用于自然语言处理 对比结果准确，图片1&2摩托车的相似度远远大于1&3摩托车和猫的； 处理视频数据 这里重申本文目标：使用多模态RAG实现文本到视频内容的检索 到这步我们要进行视频数据的处理了，我们把视频分成两类： 有语音对话的视频处理
80110编辑于 2025-01-07 企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台
企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台背景今天阿里发布了Qwen3.5-Omni，215项测试超越Gemini-3.1Pro，成为目前全球最强的全模态大模型之一。 本文分享如何用Qwen3.5-Omni搭建企业级智能内容理解平台，包括：平台架构设计多模态内容处理流水线成本控制策略生产环境部署方案一、企业多模态内容处理的痛点传统企业内容管理，主要处理结构化数据（数据库表格 +Milvus成本监控实时监控API调用成本Prometheus+Grafana质量评估评估内容理解质量规则引擎+抽样人工审核三、多模态内容处理流水线1.视频处理流水线展开代码语言：PythonAI代码解释 ¥{current_cost:.2f}，超过阈值¥{ALERT_THRESHOLD}")六、总结Qwen3.5-Omni为企业多模态内容管理提供了新的可能：成本可控：每百万tokens不到1元，大规模处理也负担得起能力全面 Qwen#阿里云#多模态#内容管理#企业AI#Python
23310编辑于 2026-03-31- 来自专栏机器之心
多模态版Llama2上线，Meta发布AnyMAL
一个统一的模型，可以对不同模态输入内容（文本、图像、视频、音频、IMU 运动传感器数据）实现理解，并生成文本响应，技术基于 Llama 2，来自 Meta。 ）对齐，从而实现了交错式多模态上下文提示。 方法 方法概览 预训练模态对齐 本文使用配对的多模态数据（特定模态信号和文本叙述）对 LLM 进行预训练，从而实现多模态理解能力，如图 2 所示。 利用多模态指令数据集进行微调 为了进一步提高模型对不同输入模态的指令跟随能力，研究利用多模态指令调整（MM-IT）数据集进行了额外的微调。 更多详细内容请阅读原文。 © THE END 转载请联系本公众号获得授权
65020编辑于 2023-10-04 2025 中国工商银行金融科技研究院等 中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) 发布，提出体系化安全防御框架
•发布时间：2025年 •行业标签：泛金融 •产品标签：#生成式AI多模态内容鉴伪解决方案 #多模态安全能力平台 #AIGC鉴伪引擎 #动态风控策略引擎 #风险知识图谱 #多模态样本库与实验平台 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 •核心分析模型：技术实践战略矩阵、生成式AI多模态伪造攻击原理和场景分析（技术层、场景层）、生成式AI多模态鉴伪五大难点模型、事前-事中-事后防御全链路困境分析模型、生成式AI多模态内容安全防御体系（端到端防御系统 核心能力包括鉴伪模型库（单模态深度鉴伪、跨模态一致性验证、行为序列分析等）、动态风控策略引擎（规则引擎、评分模型、决策树、上下文感知引擎）、风险知识图谱（多模态伪造内容关联图谱等）、闭环运营体系（监测- 第六章：为什么选择腾讯云 腾讯云基于对金融业务场景的深度理解，打造覆盖业务全流程的多模态内容鉴伪解决方案，集成AIGC鉴伪、内容安全质检、多模态交叉分析、动态风险识别与实时风险阻断等核心技术。
30110编辑于 2026-04-11报告基础信息
报告标题：中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) 发布机构：中国工商银行金融科技研究院、腾讯云、腾讯云计算（北京）有限责任公司、北京金融科技产业联盟 发布时间：2025年 行业标签 ：泛金融,政务,技术服务 产品标签：#多模态内容鉴伪, #AI安全防御, #生成式AI风控, #金融级云服务 报告背景和目标 生成式AI多模态技术正推动金融业向“AI原生”时代演进，预计到2027年人工智能与重点领域融合普及率超 生成式AI多模态鉴伪的关键难点分析undefined2.3 现有鉴伪技术面临的主要困境分析undefined2.4 机构、监管与行业生态的现状和问题 第三章 生成式AI多模态内容安全防御体系undefined3.1 为什么选择腾讯云 腾讯云作为中国金融行业关键技术伙伴，其多模态内容安全防御方案具备以下优势： 技术先进性：集成自研跨模态一致性验证模型与AI生成内容鉴伪算法，对伪造图像防御成功率达99.56%，视频达 生态协同能力：主导参与制定《金融业多模态内容鉴伪技术规范》，推动行业标准建设与威胁情报联盟构建。
17810编辑于 2026-04-11多模态AI与RAG技术驱动新一代内容智能治理体系
应对海量多模态内容的管理与价值挖掘挑战 媒体行业面临内容数据烟囱化、AI应用局限、特色内容开发不足、可信数据缺失四大核心痛点。 构建基于全模态理解与向量检索的治理方案 腾讯云提出融合多模态AI与检索增强生成（RAG）的技术架构。 方案核心为： 多模态解析引擎：通过语音识别、图像理解、视频切分等技术，将视频的音频、画面信息转化为结构化文本描述 向量化存储与检索：将解析内容存入向量数据库，支持文搜文、图搜图、跨模态检索等多种检索方式 1比4的镜头” 知识问答应用：基于媒资内容构建专业问答系统，如养生助手、财经助手 内容生产提效：支持赛事高燃集锦、人物集锦等内容的快速生产 北京时间APP落地养生健康问答应用 北京时间APP接入腾讯云内容治理方案 腾讯云的技术领先性与全链路服务能力 腾讯云凭借混元大模型和多年多媒体技术积累，提供从内容治理到高质量数据集建设的全链路能力： 混元大模型提供强大的多模态内容理解能力 媒体AI中台集成语音识别、人脸识别
12210编辑于 2026-04-26腾讯云创意工坊：重塑AIGC多模态内容生产流的无限画布实践
数据与观点溯源：腾讯云文化传媒解决方案中心（2026.04） 突破AIGC影视制作的碎片化与低画质瓶颈 在AIGC技术深度介入广电融媒与影视制作的进程中，内容生产团队正面临从“技术尝鲜”到“工业化量产” 该平台底层部署于公有云，利用云原生组件搭建高可用架构，并以 腾讯云智能体开发平台（TCADP） 为核心驱动力，重构了内容生产链条： 部署智能体（Agent）集群：基于TCADP，平台内置了剧本创作、分镜脚本 量化创作效能：多模态融合与4K超分应用 创意工坊通过整合腾讯云底层基础资源（CVM、GPU）与AI套件（ASR、OCR、TTS、MPS等），在真实生产环境中实现了关键业务指标的跃升： 突破画质天花板（核心 ROI）：充分融合腾讯云音视频处理（MPS）的超分能力，将传统AIGC视频的低清画质直接拉升，独家支持直接生成 4K/2K 分辨率的AIGC视频，达到专业广电播出标准。 收拢 7大 核心生产节点：将传统的离散工作流整合为“故事创作→角色形象→分镜表→关键帧生图→视频生成→视频配音→预览导出”一条直线流水线，并 独家支持多段视频自动导入画布非编工具的时间线 进行在线剪辑。
67310编辑于 2026-04-16- 来自专栏优图实验室的专栏
优Tech分享 | 腾讯优图多模态图文内容的识别与定位在内容安全上的应用
在此背景下，越来越多的研究开始从多模态方面开展。然而，早期的多模态研究思路是如何将多个模型进行更好地融合，最终实现1+1>2的效果。 为解决以上问题，腾讯优图实验室研究员xavierzwlin以「多模态图文内容的识别与定位」为主题，结合腾讯优图实验室在多模态任务的研究进展、成果以及在内容安全领域中的实践经验，为大家解析背后的技术原理和内在逻辑 01 多模态任务的研究进展 多模态即是从多种信息形式上实现对一个物体传播信息进行相关的处理。 03 采取预训练方式 的多模态内容安全识别 腾讯优图从模型结构优化、任务设计、模型加速等几个方面进行优化，采用预训练方式，进行多模态内容安全识别。 在经过一系列优化后，腾讯优图的多模态预训练模型的功能和功效都获得了显著的提高： 首先，相对于单模态，多模态内容安全识别的召回率提高了30%； 其次，模型小型化让整个模型的运行速度训练效率得到了明显提升，
1.9K40发布于 2021-08-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号