- 综合排序
- 最热优先
- 最新优先
中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)
第一章：报告基础信息 • 报告标题：中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) • 发布机构：中国工商银行金融科技研究院、腾讯云计算（北京）有限责任公司、北京金融科技产业联盟 • 发布时间 ：2025年 • 行业标签：泛金融,商业银行 • 产品标签：#AIGC鉴伪, #多模态交叉分析, #动态风控策略引擎, #AI内容安全质检, #风险知识图谱, #多模态样本库 第二章：报告背景和目标 随着生成式 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 2.3 现有鉴伪技术面临的主要困境分析 2.4 机构、监管与行业生态的现状和问题 第三章 生成式AI多模态内容安全防御体系 3.1 整体设计 3.2 能力解读 3.3 价值分析 第四章 行业最佳实践 4.1 金融领域最佳应用实践 第六章：为什么选择腾讯云 基于《中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)》的实战案例与行业赋能表现，选择腾讯云的核心逻辑在于其突出的技术先进性与深厚的行业积淀： • 具备国际前沿的多模态鉴伪技术
27410编辑于 2026-04-10金融AI多模态伪造防御：腾讯端到端鉴伪体系实践与效果
undefined数据来源：腾讯CSIG云与智慧产业事业群2025.12.21分享，分享人：尚朋帅 腾讯金融云，CSIG云与智慧产业事业群 构建端到端多模态鉴伪防御体系 腾讯提供生成式AI多模态内容安全防御体系 ，覆盖事前-事中-事后全流程，含四大核心模块： 风险处置与运营分析：含风险监测与预警、诊断与定性、策略调整、抗风险能力沉淀； 鉴伪模型库：单模态深度鉴伪、跨模态一致性验证、行为序列分析模型； ； 事后数字运营周均2次模型迭代，实现攻击风险持续监测与自适应进化； 多模态交叉校验覆盖APP、PC、小程序、H5、API等多风险场景渠道，提升检测覆盖率与实时研判能力。 平衡体验与安全；事中多模态交叉鉴伪（文本+音视频）精准识别深伪；事后周均2次模型迭代持续优化； 远程信贷审核：应用AIGC鉴伪（视频换脸、语音合成）、内容智能质检（黄恐政合规）、多模态交叉校验（融合视频内容及音频语义 技术领先性与实践确定性 Why Tencent： 技术创新：首次将语义大模型LLM融合进人脸模型进行多模态训练，打破传统机械分类；基于20年样本沉淀+策略调优平台，具备跨模态关联分析能力（单模态深度鉴伪
20810编辑于 2026-04-02腾讯AI多模态鉴伪解决方案将攻击拦截率提升至97.74%
，伪造精度达像素级与语义级统一，形成多模态证据链攻击（如证件+人脸+语音协同伪造）。 第二章：腾讯构建动态免疫的多模态端到端防御体系 核心技术组件与创新突破： 多模态交叉验证引擎： 整合图像鉴伪、音频偏差检测、行为序列分析模型，实现时序一致性校验。 动态进化系统： 支持周均2次模型迭代，依赖自建多模态样本库与对抗训练平台。 远程信贷审核场景验证： 内容违规识别：自动拦截黄恐政等违规内容，审核效率提升40%。 伪造攻击识别率：多模态交叉校验对协同攻击识别率达99.2%。 20年样本库积累：覆盖千万级黑产攻击样本，支撑多模态对抗训练。 合规能力适配： 系统符合《生成式人工智能服务管理暂行办法》第十二条“深度合成内容标识”要求。
22710编辑于 2026-04-01【探展WAIC】从“眼见为虚”到“AI识真”：如何用大模型筑造多模态鉴伪盾牌
作为WAIC展会现场的亮点之一，合合信息展出了其多项领先的AI鉴伪技术方案——从换脸识别到AIGC图像鉴定，再到票据文档篡改检测，展示了如何借助大模型能力构建多模态、可解释、鲁棒的鉴伪系统。 当前主流的AI鉴伪方法主要围绕图像的底层视觉特征、语义内容合理性以及多模态信息融合展开，从不同层次挖掘图像中的异常线索。2.1、基于视觉特征的鉴伪分析视觉特征分析是识别伪造图像的基础手段。 2.3、多维度交叉验证与融合随着伪造技术日趋复杂，单一检测手段已难以应对当前的鉴伪挑战。因此，现代检测方案普遍采用多模态、多模型融合的策略，以提升系统的鲁棒性与适应性。 合合信息的人脸鉴伪团队同样采用了类似策略，在其检测框架中融合多模态输入与多模型路径，聚焦图像的不同特征维度进行交叉验证。 四、总结在2025 WAIC现场，可以看到生成式AI不仅释放了内容创作的潜力，也让“视觉真相”变得更加模糊。合合信息展示的多模态、大模型鉴伪解决方案，正是为应对这场“真假攻防战”而生。
80021编辑于 2025-08-11- 来自专栏用户画像
多模态短视频内容标签技术及应用
本文主要给大家介绍多模态短视频内容标签技术及在爱奇艺的相关应用。 全文共分为五个部分重点解读： 一、什么是内容标签 二、提取内容标签的方法 三、多模态短视频内容标签的难点 四、模型的迭代之路 五、内容标签的主要应用场景 一、什么是内容标签： 提到标签，推荐系统里面使用比较广泛的是内容标签和类型标签 ，其中内容标签是对文本、图文或者短视频等内容的表征（表征，就是用一些关键词或者是短语来表达对应的内容是什么含义）。 内容标签是根据内容来生成的标签，也就是说有什么样的内容它就会有什么样的标签，标签的集合是开放的。 它更突出了推荐的应用场景，虽然内容标签的应用也不仅限于在推荐场景下，可以针对任何基于内容理解的场景内容，因为内容是一个广泛的含义，包括文本、图文、短视频等等。
2K30发布于 2020-03-28 - 来自专栏AI人工智能
内容创作智能体：多模态内容生成的完整解决方案
摘要大家好，我是摘星，一名专注于AI内容创作和多模态技术领域的技术博客创作者。 在过去的几年里，我见证了人工智能在内容创作领域的飞速发展，从最初的文本生成到如今的多模态内容创作，这个领域正在经历一场前所未有的技术革命。当前，多模态内容创作技术已经从实验室走向了商业应用的前沿。 然而，真正的挑战不仅仅在于单一模态的内容生成，而在于如何构建一个完整的、可控的、符合品牌调性的多模态内容创作智能体系统。 多模态内容生成技术深度解析1.1 技术架构总览多模态内容生成系统的核心在于统一的多模态表示学习和跨模态的内容生成能力。 通过本文的深入探讨，我们可以看到多模态内容创作智能体已经从概念走向了实际应用，但同时也面临着诸多挑战和机遇。从技术发展的角度来看，我认为未来几年将是多模态内容生成技术的关键发展期。
58110编辑于 2025-07-20 - 来自专栏腾讯技术工程官方号的专栏
内容 AI：建立统一的跨媒体多模态内容理解内核
在内容理解领域，需要分析的模态有文本，图片，视频，语音对应的不同级别特征；其他辅助描述特征等。 当前多模态的技术落地和具体任务是强相关的。 构建团队统一的内容理解模型框架。建立了完善的算法工程体系（样本标注管理，内容实验，模型自动化训练升级）。 (5)优化级(Optimizing): 已可集中精力改进模型，针对业务场景优化。 新的内容业务团队没有足够的算法人员想要解决实际业务场景想要从初始级开始。 方案简述 通过对上诉论文的多模态网络结构分析，我们希望设计具有领域通用性、可扩展、可编程结构的多模态内容理解框架。 做到可编程的支持多类损失函数；各类梯度下降算法；多种集成学习技术；支持转化和对齐的多模态学习任务（如通过对抗性损失函数解耦表征，反向优化特征，分离出内容结构特征和内容语义特征）。 图 1:可扩展通用多模态内容理解框架图 图 2:框架在视频分类任务中尝试不同特征融合实验 意义价值： 通过合理的多模态内容理解框架设计，抽象多模态学习各个研究任务成为独立的系统模块，模块之间的交互符合软件工程模块化设计的思想
5.3K30发布于 2020-01-10 - 来自专栏腾讯开源的专栏
开源公告｜多模态内容理解算法框架Lichee开源
导语 Lichee是一个多模态内容理解算法框架项目，其中包含数据增强、预训练引擎、常见模型以及推理加速等模块。由腾讯看点内容算法研发中心研发。 并于2021年在腾讯看点、腾讯视频、内容管线、QQ等业务场景均有落地，并平均减少标注样本量40%+。经过多次实践迭代，可以大幅缩短信息流内容理解需求的研发周期提升人效。 此外，为QQ浏览器2021AI算法大赛-多模态视频相似度赛道提供baseline模型及代码。现将Lichee对外开源，为微服务开源社区贡献力量。 主要设计目标 1. 缩短信息流内容理解需求的研发周期 2. 5. 能力插件 提供了更多的结构化能力插件，如词法分析工具LICHEE-LAC、句子相似度工具LICHEE-SIM、人脸识别工具等。 6.
1.1K20发布于 2021-10-26 - 来自专栏京东技术
多模态数字内容生成的技术探索与应用实践
Tech 多模态数字内容生成，泛指利用AI生成技术生成图像、视频、语音、文本、音乐等内容的合成技术。 自然语言处理领域的GPT-3和计算机视觉领域的Deepfake让多模态数字内容生成，成为AI领域最受关注的技术方向之一。 技术趋势四：多模态与知识联合建模 虽然单模态数字内容生成已取得了较大的成功。但人类很多时候是融合了听觉、视觉、文字、常识等多方面信息进行内容生成的。 （1）文本内容生成：多模态输入单模态输出 为了生成一篇卖点突出、内容丰富、带有画面感的商品文案，我们提出了一个基于商品要素的多模态商品信息自动摘要模型，其可以根据商品的文本描述、商品图片信息，自动生成商品营销短文 COLING 2020. （2）多模态内容生成：多模态输入多模态输出 传统的多模态摘要模型，往往仅使用目标文本作为监督信号，而忽视了图像信息，导致模态偏差问题，即模型会倾向于优化文本生成的质量，而忽视了图片的挑选过程
2.4K11发布于 2021-02-25 - 来自专栏云云众生s
5个实际开源的多模态AI模型
了解最新的开源多模态AI系统，以下列出了五个领先的选项，包括其功能和用途。 虽然市场上已经存在许多强大的、专有的多模态AI系统，但小型多模态AI模型和开源替代方案也正在迅速发展，因为用户不断寻求更易访问和更易适应的选项，并优先考虑透明度和协作。 为了让您了解最新的开源多模态AI系统，我们将概述一些更受欢迎的选项，包括它们的功能和用途。 1. Leopard旨在解决多模态AI领域的两大挑战，即高质量多图像数据集的稀缺性以及图像分辨率与序列长度之间的平衡。 5. xGen-MM 也被称为 BLIP-3，这是来自Salesforce 的一套最先进的开源多模态模型，它包含一系列变体，包括一个预训练基础模型，一个指令微调模型和一个旨在减少有害输出的安全微调模型。
2.1K10编辑于 2024-12-14 - 来自专栏DeepHub IMBA
Video-LLaMa:利用多模态增强对视频内容理解
在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。 本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。 它旨在捕捉视觉场景中的时间变化，提供对视频内容的动态理解。视频Q-former跟踪随时间的变化，以一种反映视频演变性质的方式解释视觉内容。 它集成了视听信号，确保模型完整地理解视频内容。Audio Q-former同时处理和解释视觉和听觉信息，增强对视频内容的整体理解。 由于使用的音频编码器(即ImageBind)已经跨多个模态对齐，所以只在视频/图像指令数据上训练AL分支，只是为了将ImageBind的输出连接到语言解码器。
1.4K20编辑于 2023-08-30 - 来自专栏云云众生s
5个小型多模态AI模型及其功能
随着对多模态AI系统兴趣的增长，这些多功能工具的小型版本也随之增多。 在本文的其余部分，我们将介绍五种最近备受关注的小型多模态AI工具。 1. 该模型拥有42亿个参数，Phi-3 Vision能够支持高达128K个token的上下文长度，并具有“广泛的多模态推理能力” ，使其能够理解和生成基于图表、图形和表格的内容。 潜在用例包括文档和图像分析以改进客户支持、社交媒体内容审核以及公司或教育机构的视频分析。 5. 结论 多模态模型以及大型语言模型的可访问性和成本效益仍然是主要问题。但随着越来越多的相对轻量级但功能强大的多模态AI选项可用，这意味着更多机构和小型企业将能够在其工作流程中采用AI。
73210编辑于 2024-12-04 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(5)
国内外多模态大模型对比 国内 LLaMA-Adapter V2 香港中文大学 双语输出 输入 •图像 •语音 •文本 •视频 • 3D 点云 起源：LLaMA-Adapter •在线性层上进行偏差调整 多模态大模型评测数据集 国内评测数据集 OwlEval •基于mPLUG-Owl模型发布 • 包含 •50 张图片 •82 个回题 •功能 •故事生成 •广告生成 •代码生成 MME •开发 •结构 •265 016张图片 •每张图片至少有 3 个问题(平均 5.4个每个问题） •每个问题 •有 10 个基本事实答案 •有 3 个合理(但可能不正确)的答案 多模态大模型的评测标准 国内评测标准 OwIEva •人工标注 •A=“正确且令人满意" •B=“有一些不完美，但可以接受” •C-“理解了指令但是回复内容存在明显错误” •D=“完全不相关或者不正确的回复内容” MME •二分类的 •KROCC( Kendall Rank Order Correlation Coefficient，肯德尔秩相关系数) •RMSE( Root Mean Square Error,均方根误差 ) 多模态大模型对比
36310编辑于 2024-09-10 - 来自专栏DotNet NB && CloudNative
多模态RAG应用之实现文本检索视频内容
但现在很多平台或者应用有大量的视频，还有某些跟视频打交道的应用比如视频编辑器，视频自动化处理工具等，这些工具如果只有简单的文本搜索就远远不够用了，搜索体验肯定会大打折扣；由此引出我们今天的主题： 如何使用多模态 传统的语言模型在生成内容时往往依赖于自身的知识库，这可能导致生成结果缺乏实时性和准确性。 简单点就是说结合大模型和网络搜索的内容，整合后再返回给你，让你看到既新又准确的答案； 多模态RAG： 则是将RAG的理念扩展到多种数据模态中，包括文本、图片、音频、视频等。 这种技术使得AI不仅能处理文本数据，还能理解和处理图片、音频等这些更多模态的数据；其实说白了就是普通RAG只支持文本，多模态拓展到图片、音视频； 嵌入式模型：嵌入式模型（Embedding）是一种广泛应用于自然语言处理 0.4851664642889189 图片1&3的余弦相似度是:0.14224603129566593 对比结果准确，图片1&2摩托车的相似度远远大于1&3摩托车和猫的； 处理视频数据 这里重申本文目标：使用多模态
80110编辑于 2025-01-07 企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台
企业多模态内容管理：用Qwen3.5-Omni搭建智能内容理解平台背景今天阿里发布了Qwen3.5-Omni，215项测试超越Gemini-3.1Pro，成为目前全球最强的全模态大模型之一。 本文分享如何用Qwen3.5-Omni搭建企业级智能内容理解平台，包括：平台架构设计多模态内容处理流水线成本控制策略生产环境部署方案一、企业多模态内容处理的痛点传统企业内容管理，主要处理结构化数据（数据库表格 API调用成本Prometheus+Grafana质量评估评估内容理解质量规则引擎+抽样人工审核三、多模态内容处理流水线1.视频处理流水线展开代码语言：PythonAI代码解释fromdataclassesimportdataclassfromtypingimportList ¥{current_cost:.2f}，超过阈值¥{ALERT_THRESHOLD}")六、总结Qwen3.5-Omni为企业多模态内容管理提供了新的可能：成本可控：每百万tokens不到1元，大规模处理也负担得起能力全面 Qwen#阿里云#多模态#内容管理#企业AI#Python
23310编辑于 2026-03-312025 中国工商银行金融科技研究院等 中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) 发布，提出体系化安全防御框架
•发布时间：2025年 •行业标签：泛金融 •产品标签：#生成式AI多模态内容鉴伪解决方案 #多模态安全能力平台 #AIGC鉴伪引擎 #动态风控策略引擎 #风险知识图谱 #多模态样本库与实验平台 1.4 利用生成式AI的多模态内容伪造成金融安全新挑战 第二章 生成式AI多模态伪造的金融安全挑战详解 2.1 生成式AI多模态伪造攻击原理和场景 2.2 生成式AI多模态鉴伪的关键难点分析 •核心分析模型：技术实践战略矩阵、生成式AI多模态伪造攻击原理和场景分析（技术层、场景层）、生成式AI多模态鉴伪五大难点模型、事前-事中-事后防御全链路困境分析模型、生成式AI多模态内容安全防御体系（端到端防御系统 核心能力包括鉴伪模型库（单模态深度鉴伪、跨模态一致性验证、行为序列分析等）、动态风控策略引擎（规则引擎、评分模型、决策树、上下文感知引擎）、风险知识图谱（多模态伪造内容关联图谱等）、闭环运营体系（监测- 第六章：为什么选择腾讯云 腾讯云基于对金融业务场景的深度理解，打造覆盖业务全流程的多模态内容鉴伪解决方案，集成AIGC鉴伪、内容安全质检、多模态交叉分析、动态风险识别与实时风险阻断等核心技术。
30110编辑于 2026-04-11报告基础信息
报告标题：中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025) 发布机构：中国工商银行金融科技研究院、腾讯云、腾讯云计算（北京）有限责任公司、北京金融科技产业联盟 发布时间：2025年 行业标签 ：泛金融,政务,技术服务 产品标签：#多模态内容鉴伪, #AI安全防御, #生成式AI风控, #金融级云服务 报告背景和目标 生成式AI多模态技术正推动金融业向“AI原生”时代演进，预计到2027年人工智能与重点领域融合普及率超 生成式AI多模态鉴伪的关键难点分析undefined2.3 现有鉴伪技术面临的主要困境分析undefined2.4 机构、监管与行业生态的现状和问题 第三章 生成式AI多模态内容安全防御体系undefined3.1 为什么选择腾讯云 腾讯云作为中国金融行业关键技术伙伴，其多模态内容安全防御方案具备以下优势： 技术先进性：集成自研跨模态一致性验证模型与AI生成内容鉴伪算法，对伪造图像防御成功率达99.56%，视频达 生态协同能力：主导参与制定《金融业多模态内容鉴伪技术规范》，推动行业标准建设与威胁情报联盟构建。
17810编辑于 2026-04-11GPT-5多模态与情境感知AI技术解析
GPT-5以分钟级代码生成能力注入"人性化"AI语音该模型具备增强的自主行动与推理能力，例如在演示中仅用数分钟便编写400余行代码创建交互式物理模拟。 用户无需手动选择深度推理模式，GPT-5可自动判断问题复杂度，同时支持通过下拉菜单强制激活深度推理。 OpenAI研究主管在直播中表示："其目标是提供恰到好处的思考量以生成完美答案"。 API提供三种变体： GPT-5：面向逻辑与多步骤任务的前沿模型 GPT-5-mini：低成本轻量版 GPT-5-nano：低延迟场景专用优化版 开发者可调节"详细度"参数，并选择"极简模式"以满足超低延迟需求 技术泄漏事件正式发布前，部分GPT-5技术资料曾短暂出现在代码托管平台。 尽管近期有观点认为生成式AI进入平台期，但分析师强调GPT-5在推理精度、领域准确性与幻觉控制方面实现显著突破："性能提升更多源于系统设计创新而非单纯规模扩张"。
36910编辑于 2025-08-11- 来自专栏云云众生s
用于训练多模态AI模型的5个有用数据集
面向开发者的五大领先多模态数据集，以及这些数据集包含的内容和用途说明。 训练过程结束后，就可以部署AI模型，利用自然语言处理和计算机视觉技术识别新图像的内容并生成相关的文本。 同样的想法也适用于各种各样的任务，例如视频分析、视听语音识别、跨模态检索、医学诊断等等。 这是因为多模态数据集使AI模型能够学习对象及其上下文之间更复杂的语义关系，从而提高模型的性能和准确性。 有如此多的多模态数据集公开可用，很难知道从哪里开始。 在这篇文章中，我们将介绍目前可用的最著名的一些多模态数据集，并简要描述它们包含的内容以及它们可能被用于什么。 1. 更多信息，请查看我们关于构建多模态AI应用程序的工具的帖子，以及一些开源和小型多模态AI模型。
1.6K10编辑于 2025-01-17 多模态AI与RAG技术驱动新一代内容智能治理体系
应对海量多模态内容的管理与价值挖掘挑战 媒体行业面临内容数据烟囱化、AI应用局限、特色内容开发不足、可信数据缺失四大核心痛点。 构建基于全模态理解与向量检索的治理方案 腾讯云提出融合多模态AI与检索增强生成（RAG）的技术架构。 方案核心为： 多模态解析引擎：通过语音识别、图像理解、视频切分等技术，将视频的音频、画面信息转化为结构化文本描述 向量化存储与检索：将解析内容存入向量数据库，支持文搜文、图搜图、跨模态检索等多种检索方式 1比4的镜头” 知识问答应用：基于媒资内容构建专业问答系统，如养生助手、财经助手 内容生产提效：支持赛事高燃集锦、人物集锦等内容的快速生产 北京时间APP落地养生健康问答应用 北京时间APP接入腾讯云内容治理方案 腾讯云的技术领先性与全链路服务能力 腾讯云凭借混元大模型和多年多媒体技术积累，提供从内容治理到高质量数据集建设的全链路能力： 混元大模型提供强大的多模态内容理解能力 媒体AI中台集成语音识别、人脸识别
12210编辑于 2026-04-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号