首页
学习
活动
专区
圈层
工具
发布

AIGC应用必须过的安全关:如何审核AI生成内容中的违法、涉黄、暴恐风险?

摘要: 当你的产品集成了AI大模型来生成内容时,你就必须为AI的"不当言论"负责——AI可能生成涉黄暗示、违法引导、暴力描述甚至钓鱼话术。...限时优惠活动:立即查看促销价格 一、AI不是永远"安全"的 大语言模型在生成内容时,存在以下安全风险: 风险类型 说明 触发方式 违法引导 AI生成教唆违法、鼓励危险行为的内容 恶意prompt注入 涉黄低俗...AI生成低俗暗示、涉黄行为描述 角色扮演诱导 暴力内容 AI生成暴力场景描述、武器制造指引 间接提问绕过 钓鱼话术 AI生成社工攻击话术、诈骗脚本 指令注入攻击 有害信息 AI生成错误的医疗、法律建议...三、腾讯云TMS的AIGC审核能力 识别能力 AIGC场景应用 色情识别 拦截AI生成的低俗暗示和涉黄内容 暴恐识别 拦截暴力描述和恐怖主义内容 违法识别 拦截教唆违法、危险指引 广告识别 拦截AI被诱导生成的广告内容...自定义识别 针对特定应用场景的定制化拦截 四、AIGC安全审核最佳实践 4.1 输入+输出双向审核 输入侧:审核用户的prompt,拦截恶意注入 输出侧:审核AI的回复,过滤违规内容 4.2 分级处理策略

1.2K10

点播视频多维度审核实战:画面、音频、OCR文本三管齐下杜绝违规

错过色情画面、暴力镜头 ❌ 只能看到文字部分 ❌ 漏掉画面中的违规文字 ❌ 漏掉画面中的违规元素 ❌ 覆盖面极其有限 现实案例:某平台只做画面审核,结果一条视频——画面是正常的风景,但音频全程都在播放涉黄内容...因为没有音频审核,这条视频在平台上存在了3天才被用户举报发现。 教训:视频是多模态媒体,审核也必须是多模态的。...二、三维审核深度详解 维度一:画面审核 识别类型 具体内容 色情识别 直接裸露、隐晦涉黄、漫画色情、涉黄物体、性行为 暴力识别 血腥画面、暴力行为、恐怖元素 违法识别 违禁物品、赌博场景、涉毒画面 广告识别...维度三:OCR文本审核 识别类型 具体内容 违规文字 画面中出现的涉黄、涉政、违法等文字 联系方式 手机号、微信号、QQ号等引流信息 广告文字 促销文案、虚假宣传语 字幕内容 视频字幕中的违规内容 三...万分钟/年65,000元32,500元(约2,708元/月) 提示:点播视频套餐包已包含由视频审核引起的图片和音频审核费用,无需额外购买。

68610
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    电商平台商品图智能审核:从涉黄检测到虚假宣传识别的全链路方案

    1.1 场景全景图 场景 审核对象 核心风险 风险等级 商品上架 商品主图、SKU图、详情图 违禁品、涉黄、虚假资质、侵权 ⭐⭐⭐⭐⭐ 买家评价 买家晒图、追评图片 广告引流、涉黄、竞品攻击 ⭐⭐⭐⭐...重点检测二维码、微信号、手机号 涉黄 部分商品的"买家秀"可能含不当内容 自定义黑名单 竞品推广海报、已知黑灰产引流图 OCR文字 检测"加微信""私聊优惠"等引流话术 2.3 场景三:营销素材审核...) 涉黄/暴恐/性感检测 侵权内容(未经授权的品牌LOGO/代言人) 自定义黑名单 AI生成的虚假效果图 AI生成识别 2.4 场景四:客服沟通图片 售后场景中用户上传的图片也需要审核: 风险 说明...大促前可叠加购买额外套餐包。 七、结语 电商平台的图片审核是一场涉及商品合规、消费者保护、平台安全的多维战役。...只审核"涉黄"是远远不够的——违禁品、虚假宣传、竞品引流、AI假图,每一个维度都需要专项应对。 腾讯云IMS的六大识别维度+自定义策略+OCR文字审核+AI生成识别,为电商场景提供了最完整的武器库。

    95211

    视频智能审核技术解析:画面+音频+文字三位一体的内容安全防线

    摘要 视频审核不是鉴黄的同义词,而是覆盖画面、音频、文字三路信号,对涉黄、涉暴、违禁、版权、质量等多类风险的系统工程。...三、画面通道 3.1 任务分层 任务 类别 技术 涉黄检测 分类 + 关键区域分割 CNN + Attention 涉暴检测 场景识别 Video Transformer 违禁物品 目标检测 YOLO...5.2 文本审核要点 关键词库:黑名单 + 白名单 + 变体(谐音、拆字、火星文); 语义分类器:基于 Transformer 的多标签分类(涉黄、涉暴、仇恨、广告、政治敏感); 对抗鲁棒:对形近字、插入特殊字符做归一化...八、审核指标 指标 公式 目标 召回率 TP / (TP + FN) 95%(涉黄、涉政) 误伤率 FP / (FP + TN) < 1% 端到端延迟 上传到结果返回 视频(离线) 吞吐...日成本(按 0.08 元/分钟): 50 万 × 3 分钟 × 0.08 = 12 万/日 相比人工审核团队(日均数十万),成本显著可控。

    1.3K10

    传统审核无法识别的新型风险及应对策略

    摘要: 传统的音频审核方案是为"内容违规"设计的——识别涉黄、暴力、广告等"说了坏话"的情况。但AI合成语音诈骗是一种全新的威胁:音频内容本身完全"正常",违规的是"这个声音不是真人发出的"。...新型风险图谱 风险类型 传统审核能否识别 危害程度 涉黄言论 ✅ 能 ⚠️⚠️⚠️ 暴力谩骂 ✅ 能 ⚠️⚠️⚠️ 广告导流 ✅ 能 ⚠️⚠️ AI冒充亲友诈骗 ❌ 不能 ⚠️⚠️⚠️⚠️⚠️ AI伪造领导指令...仅需少量声音+在线工具 质量越来越高 时间 合成质量 早期 机器感明显,人耳可辨 中期 较自然,仔细听能发现 当前 极度拟真,人耳几乎无法分辨 获取越来越容易 社交媒体上的语音动态 → 声音克隆素材 短视频中的语音...腾讯云AMS的"双引擎"方案 引擎 解决的问题 技术手段 音频内容安全服务 识别违规内容(涉黄/暴力/广告) 音转文+语义分析+声学分析 音频AI生成识别服务 鉴别AI合成语音 声纹比对+频谱分析+大模型...双引擎协同工作 音频输入 → 双引擎并行审核 ├→ 引擎1(内容安全):检查"说了什么" └→ 引擎2(AI鉴别):检查"是不是真人说的" → 汇总结果 → 综合决策 内容安全结果 AI鉴别结果 综合判断

    49010

    “黄暴”视频看出心理阴影,内容审核师能被AI拯救吗?

    不止是Peter和同事们,另一位视频审核师Daisy曾负责Google视频中的恐怖主义和儿童虐待内容的审核,从事这项工作后,她曾一度难以和孩子交流互动。...AI能拯救视频审核师吗? AI参与视频审核并非近几年才有,最早2000年左右,就有公司在做这方面的尝试。但那时,视频审核需要人为设定特征和规则,比如黄颜色皮肤面积分布情况。...YouTube的算法工程师向文摘菌透露,目前YouTube上大部分视频仍需要经过人工审核,被审核视频一部分是AI检测出来,一部分是用户举报的,但最终都需要专业的审核师把关决定是否违规。...“good”或“bad”,当审核师遇到标注有“bad”视频时再细致地审核,这也提高了审核效率。...相关报道: https://www.theverge.com/2019/12/16/21021005/google-youtube-moderators-ptsd-accenture-violent-disturbing-content-interviews-video

    6.4K20

    快手电商“源头好货”法则

    关注直播和视频电商两年多来,除了内容形式带来的冲击和改变之外,如果仔细研究商家的运营体系和系统架构,以及后端供应链,就可以发现没有根本性的变化。...带着这个思考了许久,却一直没有找到有效解决方案的问题,直到我参加了10月12日在快手总部举行的“源头好货”发布会。...快手的直播电商看起来像是随机购买,似乎复购率没有中心化电商高。可实际上由于有“去中心化”的粉丝关注机制,许多粉丝会直接到自己关注的快手账号观看一场又一场的直播进行重复购买。...从上图来看,快手电商的入驻审核体系除了和电商平台一样都有资质和商品审核之外,在内容审核方面也在持续强化。...据我了解,快手公司1万多名员工中,有近一半是内容审核团队,并且很早就建立了三审制度,能够保证用户不会在平台看到涉黄、涉黑、涉爆等违规及不适内容。

    2.4K00

    音乐平台版权与内容安全双重挑战:音频审核如何两手抓?

    一方面,平台需要过滤涉黄低俗、广告导流等违规内容;另一方面,AI生成音乐和翻唱作品的泛滥又带来了新的版权风险。本文探讨音乐平台如何利用腾讯云AMS同时应对内容安全与AI生成鉴别的双重挑战。...产品快速了解:腾讯云音频内容安全产品介绍 | 限时特惠活动 音乐平台的双重风险 风险一:内容安全 违规类型 具体表现 涉黄歌词 显性/隐性涉黄内容的歌曲 低俗音频 ASMR、擦边声音作品 广告植入 音频中插入引流广告...仇恨言论的音频 风险二:AI生成泛滥 问题类型 具体表现 AI翻唱 用AI模仿知名歌手音色翻唱 AI生成音乐 AI批量生成的低质音乐内容 AI播客 AI合成的有声内容冒充人工创作 解决方案:内容安全+AI鉴别双引擎...引擎一:音频内容安全 能力 说明 涉黄识别 精准识别涉黄歌词和声音内容 低俗检测 音频信号特征分析,识别无语义违规声音 广告过滤 音转文识别引流广告 自定义词库 平台专属违规词过滤 引擎二:AI生成识别...格式/时长校验 → 双引擎并行审核 ├→ AMS内容安全审核 └→ AMS

    71710

    腾讯云双十一直播间活动规则

    兑奖方式: 本次直播间的互动中奖名单及前10名下单中奖名单均会在【腾讯云音视频双11直播群】进行公布。中奖用户请微信添加音视频小姐姐(shipinyun0925)兑奖。...License SDK28天使用权,购买10TB点播流量包,赠1年短视频License 精简版使用权。...)日结流量和标准直播国际/港澳台日结流量;自2021年04月20日起,支持抵扣快直播国际/港澳台日结流量,详情可查看 云直播预付费说明; 购买后5天内未使用,支持无理由退款,使用后不支持退款;若账户内容因内容审核问题...(涉黄、涉政等)导致停服,账户下所有资源包均不支持退款; 3、实时音视频:对于单个腾讯云账号,TRTC 预付费套餐包自新购订单发货成功之日起,可享受1次五天内(含五天)无理由全额退还1个套餐包的机会。...、语音通话、视频互动直播、语音互动直播的服务用量; 实时音视频 套餐包自购买之日起至次年本月有效; 4、即时通信IM:各类套餐包使用说明,可查看价格说明; 如果您在购买即时通信 IM 套餐包后有任何不满意

    19.3K170

    云点播可以审核视频吗?

    搭建云点播可以帮助我们解决很多视频相关的难题,例如视频的存储以及视频的播放,甚至是一些其他难题云点播都可以轻松解决。想要搭建云点播,需要进行一些必要的操作。那么,本地云点播搭建流程是什么呢?...1、首先在云点播平台官网进行资质认证,选择适合自己的套餐进行购买,接下来就可以进行云点播的搭建工作。 2、首先我们需要上传视频文件,云点播会对视频进行转码,通过路径的方式对视频进行发布。...3、如果大家建设的是一个视频网站,当然需要先将网站搭建好,其他软件也是同理。实际上只要按照操作步骤进行操作,就可以将云点播轻松搭建起来。 云点播可以审核视频吗?...云点播除了可以对视频进行存储和播放以外,还可以对视频进行审核。云点播通过人工智能的方式对视频进行识别,同时对内容进行审核。如果有涉黄或者其他不良内容,云点播会讲信息提示给管理者。...另外云点播还提供具有审核功能的控制台,用户可以对视频的审核进行自定义操作,审核的方向可以由管理者自己把控。除了这些以外,云点播也有截图和剪辑的功能,大大减轻管理员的工作。

    8K20

    一文看懂:腾讯云天御内容安全全家桶(文本+图片+音频+视频)如何协同作战

    单模态审核的致命盲区 来看几个真实场景: 场景 违规方式 单模态审核结果 社区帖子 图片正常,但配文含暴力引导 ❌ 图片审核通过,文字违规漏检 直播间 画面正常,但主播语音涉黄 ❌ 视频截帧审核通过,音频违规漏检...二、腾讯云天御内容安全产品矩阵 腾讯云天御(T-Sec)内容安全解决方案由四大核心产品组成: 产品 英文缩写 审核模态 核心能力 图片内容安全 IMS 图片 涉黄/暴恐/违法/广告/自定义识别 + AI...生成识别 文本内容安全 TMS 文本 敏感词/涉黄/暴恐/广告/自定义词库 音频内容安全 AMS 音频 语音转文字+音频审核,识别违规音频 视频内容安全 VMS 视频 截帧审核+音频提取+字幕识别 加上...↓ 可疑房间预警/强制下线 协同价值: 当主播画面正常但语音涉黄时,单靠视频截帧审核无法检出,AMS的音频审核能力补上了这个盲区。...(涉黄/暴恐/违法/广告等) 视频截帧依赖 VMS的截帧审核依赖IMS的图片识别能力 OCR提取 IMS的OCR能力为文字审核提供图片中的文字内容 AI鉴伪唯一入口 AI生成识别服务通过IMS接口调用

    97110

    内容安全最佳实践 | 腾讯云COS这个案例,教你轻松规避内容风险

    VIPKID 直播流传输到 COS 对视频帧进行审核 ? 对于教学中裸露身体的场景,COS内容审核支持根据审核分数进行灵活配置,控制涉黄尺度。...如上图,是VIPKID使用内容审核的应用流程:学生在直播上课时,直播数据传输到VIPKID的服务器,VIPKID将直播的视频进行截帧传给COS,COS为其进行涉黄、涉政、广告的审核,审核完后将数据传输给...内容审核核心优势: COS存储+内容审核,一键开启一站式完成内容审核,无额外流量消耗; 成本最优,按截帧频率收费,可以根据场景和涉敏概率,灵活控制截帧数; 机器识别+人工复检,确保审核结果的准确率高达99%...图片识别场景包括: 色情:识别多种涉黄违规类型的图片,如色情漫画、涉黄图片等 广告:识别多种形式的广告图片,包括网络小广告、微商商品图片、招嫖广告等 违禁:识别多种违法违规内容,包括抽烟吸毒、赌博、打架斗殴等...视频审核 利用视频截帧能力将视频帧进行图片审核,可自定义截帧频率,有效降低视频审核成本。

    5.6K60

    从3000张免费试用开始:零基础接入图片内容安全服务完整教程

    摘要: 腾讯云IMS提供3000张/15天免费试用额度,零成本验证图片审核能力。本文提供从注册开通到API调用的完整教程,零基础30分钟即可完成接入。...cloud.tencent.com/act/pro/moltbotandai#nrsb 一、免费试用详情 项目 说明 免费额度 3,000张图片 有效期 15天(自开通日起) 适用范围 图片内容安全服务(涉黄...(10分钟) 进入内容安全控制台 → 应用管理 → 新增应用 选择应用 → 场景管理 → 新建场景 选择需要检测的风险类型(涉黄/暴恐/违法/广告等) 保存后获取 Biztype 字段值(API调用时需要传入...三、理解审核结果 API返回的核心字段: 字段 含义 取值 Suggestion 建议操作 Pass(放行)/ Review(复审)/ Block(拦截) Label 命中的风险标签 Porn(涉黄)/...涉黄、暴恐、违法、广告、自定义识别等所有图片内容安全功能都可以测试。AI生成识别服务需要单独开通(0.1元/张)。 Q:试用期结束后不购买会怎样? A:如果不购买套餐包且未开通按量后付费,服务将停止。

    1.2K10

    UGC 平台怎么防违规内容:天御内容安全实践-UserStory

    摘要: UGC 平台防违规内容,核心是在所有用户发布入口接入机审、按业务配审核策略、机审 + 人工协同、持续用数据优化。腾讯云天御内容安全平台支持文图音视四模态审核,覆盖涉黄、违法、暴恐、广告等风险。...UGC(用户生成内容)平台最大的风险就是「用户发了什么你管不住」——评论区骂战、图片涉黄、直播违规、广告刷屏,轻则影响体验,重则触碰合规红线被处罚。...、头像 图片 涉黄、暴力、二维码引流 语音、语聊房 音频 低俗言论、不良诱导 短视频、直播 视频 涉黄擦边、暴恐、不良示范 把入口和风险列全,才知道要接哪些审核接口、重点防什么。...对照上一步盘的入口清单,每个入口接对应的审核接口:文本入口接文本内容安全、图片入口接图片内容安全、音视频入口接对应接口。别留死角。...正确的架构是机审 + 人工协同: 机审打底:天御机审先过一遍所有内容,明显违规的(高置信度涉黄、暴恐等)直接拦截,明显正常的直接放行。这一层处理掉绝大部分内容。

    28621

    腾讯云通信TRTC推出实时音视频鉴黄功能,一键净化网络环境

    随着视频互动、语聊交友等场景应用的飞速发展,用户的内容也以多种形态在广泛的传播,如何有效的识别应用中潜在的涉黄、涉暴、低俗等不良内容,已经成为了行业的课题。...告别自建审核系统 很多音视频社交平台的审核系统包括三段:截取音视频内容,调用内容审核服务和人工确认审核结果,但是随着平台规模的快速增长和不良内容的多变,自建审核系统维护成本越来越大。...针对这种情况,TRTC上线审核服务,客户只要开启了语音审核和视频审核功能,就能快速检测所有音视频互动内容,对不良内容实时告警,有效解决审核痛点,让平台专注内容运营。...视频内容检测 对于开启了视频内容检测服务的客户,TRTC 通过旁路直播功能将视频流推到云直播服务,云直播从视频流中定期截取图片,并将截取的图片送给天御的图像审核服务进行不良内容鉴定,天御完成审核之后通过回调接口通知客户审核结果...如何接入视频鉴黄 依托云直播的能力,在实时音视频控制台开启旁路直播后可对实时视频流进行鉴黄处理。视频鉴黄功能默认关闭,可登录云直播控制台开启,接入详情请点击“阅读原文”。

    7.3K30

    内容审核怎么做:文本、图片、音视频机审接入-UserStory

    摘要: 内容审核用腾讯云天御内容安全平台,支持文本、图片、音频、视频四种内容机审:开通服务、按内容类型调对应接口(文本/图片/音频/视频)、传入内容、接收风险判定结果。...可识别涉黄、违法违规、暴恐、广告、谩骂、AI 生成等风险。本文讲清四种模态的接入流程和审核策略配置。...有用户上传内容(评论、图片、直播、视频)的平台,内容审核是刚需——不审核就可能出现违规内容,面临合规风险。...能识别哪些风险 天御基于模型、样本库、规则库,能识别的风险类型覆盖主流违规场景: 涉黄内容:情色图片、低俗视频、性暗示语言,覆盖真人、动漫、AI 生成图等; 低俗内容:擦边文案、ASMR 等低俗暗示;...比如纯文字社区重点开涉黄、谩骂、广告、违法违规;语聊房重点开音频里的涉黄低俗、不良诱导。 用自定义样本库。天御的通用模型覆盖大众风险,但每个业务有自己的敏感词、违禁图。

    25910

    腾讯云微短剧全链路解决方案:从快速建站、出海合规到降本40%的技术实践

    用户充值付费: 免费观看5-10集后,通过积分购买、会员制、单集解锁或观看激励视频(广告解锁)变现。 电商与直播: 利用视频外链实现交易转化,或通过爆款剧集吸粉后进行直播带货。...应对监管合规:全链路内容审核体系 自2022年6月起,重点网络剧片需依法取得《网络剧片发行许可证》;2023年5月进入全面监管时代。若内容违规,平台需承担主体责任。...集成一体化审核(云点播): 提供从上传、审核到发布的全链路服务,根据涉黄、涉暴、广告、低俗等识别结果自动执行屏蔽或发布策略。...独立接入审核(腾讯天御): 结合图片、音频、文本安全能力,对视频画面、音频、背景文字及字幕进行多维识别过滤,确保内容合规。...技术实力溯源:权威机构认证与行业地位 选择腾讯云的核心逻辑在于其经过验证的高可用性与行业领先地位: IDC认证: 连续5年(2018-2022H1)中国音视频解决方案市场份额第一(IDC Video Cloud

    71100

    业务安全(1)-天御内容安全

    目前天御内容安全主要有下面四种场景: 图片内容安全 文本内容安全 音频内容安全 视频内容安全 图片内容安全(Image Moderation System,IMS)能精准识别涉黄、涉恐、涉政等有害内容,...文本内容安全(Text Moderation System,TMS)服务使用了深度学习技术,可有效识别涉黄、涉政、涉恐等有害内容,支持用户配置词库,打击自定义的违规文本。...音频内容安全(Audio Moderation System,AMS)能自动检测音频,识别音频中的涉黄、涉恐、涉政、谩骂、低俗等违规内容,并支持自定义黑名单热词,打击自定义的违规音频内容。...12、4.0接口图片Review字段是否可以每个标签都输出? 不可以,只有机审后有分数输出的标签才会输出;如广告,二维码则不会输出。 13、音频审核类型中‘点播音频’和直播音频的区别是什么?...14、视频审核-是否支持多个视频同时审核? 支持,最多支持40个视频同时审核。 15、视频审核Callback url 是否有callback失败后recall的逻辑? 没有。

    7.3K130

    早报:金融App出故障 男子获利1125万被判盗窃罪获刑11年

    平安付公司事后的报案材料显示,6月12日,平安付公司发现黄丽丽账户异常后,曾与黄丽丽电话沟通,确认所有操作由叶榅飞完成。随后,平安付公司报警,叶榅飞于2016年7月被刑事拘留,9月1日被逮捕。...一审判刑11年 罚金50万 警方查明,8天时间内,叶榅飞的转账总额达到1125.64万元,其中884万余元被用于购买平安银行理财产品,241万余元用于购买黄金、归还债务,并购买了奥迪A4和A6轿车各一辆...黄丽丽偿还了29.6万元,但仍有约206万元无法给付。 平安付公司的报案材料证实,2016年6月2日至12日,“壹钱包”的还款渠道系统曾出现问题。...舟山市新城管委会基层网格员(打黄扫非进基层信息员)刘海波:出于好奇,我就下载了一个,注册进去以后发现里面有大量的淫秽视频,我第一时间向文化执法支队报了案。...舟山市文化局文化综合执法支队副支队长 陈焕超:我们立即对快鱼云播这个软件进行了远程勘验,并在这款软件里面发现了大量淫秽视频,淫秽视频数量之多在浙江乃至全国都属于罕见。

    1.3K80

    为什么我的 WordPress 网站被封了?

    网站被封禁有很多原因,其中最常见的就是网站内容违规,即网页包含了涉黄、广告等违法违规的内容,那么如何有效管理网站内容,防止网站被封呢?  ...在此基础上,我们可以基于数据万象 CI 的一站式内容审核服务,对存储在 COS 中的图片、视频、语音、文档等静态资源进行多场景的审核,从而有效地识别并冻结色情低俗、违法违规、恶心反感等违禁内容,防患于未然...,这样就再也不用担心你的网站突然被封啦~ 静态资源审核 静态资源审核可以对媒体库中的图片、视频、音频、文档进行审核,识别并冻结涉黄、广告、恶心反感等违法违规内容,避免违法违规内容在网站上传播,防范封禁风险...上述两种审核配置都支持用户自定义审核策略,通过设置自定义策略可以定制涉黄涉政等个性化场景的审核;审核后支持按照指定的分数范围进行冻结,智能机审+精确人审的方式帮你有效避免违法内容的传播;审核结果可以通过配置的回调链接返回给用户...,对存储在 COS 中的图片、视频等静态资源进行多场景的审核。

    6K50
    领券