腾讯优图属于国内工业界CV领域实验室的第一梯队,其不仅服务腾讯内部线上产品,也开源了多个前沿研究和工程项目,本文盘点优图实验室开源的所有项目,其中最“火”的三个工程是『NCNN』、『人脸检测-DSFD』 腾讯优图项目主页: https://github.com/TencentYoutuResearch 01 SuperResolution-RealSR ? github.com/nihui/ncnn-android-mobilenetssd MTCNN人脸检测工程: https://github.com/moli232777144/mtcnn_ncnn 下滑查看效果图: 单阶段通用目标检测器:OSD 特征: 同时包括Yolov2和Yolov3 性能优 训练速度如 darknet 一样快 A lot of efficient backbones on hand 代码地址
注意,训练图像的输入尺寸为640,这意味着从最低层到最高层的特征图大小为160到5。 然后对上面的特征图进行抽样,用当前的特征映射来制作元素级的产品。最后将特征映射分为三个部分,然后是包含不同数目的膨胀卷积层的三个子网络。 ? 实验 特征增强模块的有效性 ?
注意,训练图像的输入尺寸为640,这意味着从最低层到最高层的特征图大小为160到5。 然后对上面的特征图进行抽样,用当前的特征映射来制作元素级的产品。最后将特征映射分为三个部分,然后是包含不同数目的膨胀卷积层的三个子网络。 ? 实验 特征增强模块的有效性 ?
腾讯优图实验室年度主题曲上线啦! 快来康康wuli实验室小哥哥们 如何变身帅气唱跳rapper! 优图boys,你值得了解! 腾讯优图2020年终MV 视频内容 腾讯优图实验室的视频 你印象中的程序员是怎样的? 闷骚?无趣?老实?内向?秃头?格子衫? 发型乱糟糟,说话慢吞吞 只有手指在键盘上飞舞? 把标签都丢掉 把刻板印象都粉碎掉 快来腾讯优图实验室看看 最fashion的程序员是什么模样吧! MATRIX 加速度 快来解锁《这就是优图》 感受腾讯优图实验室的别样魅力吧! 点击「阅读原文」 让我们一起跟着优图boys 乘着代码踏着beat 在AI世界自由飞行 最后的最后 欢迎加入腾讯优图实验室!
AI 科技评论按:腾讯优图首个 AI 开源项目 ncnn 目前已正式加入 ONNX,现已支持将 ONNX 文件转换为 ncnn 模型。 腾讯优图 ncnn 是腾讯社交网络事业群公布的首个 AI 开源项目,也是腾讯优图实验室第一次对外公开深度学习的研究成果。 ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。
优图团队亮相国际顶级会议ICMR 2015年国际顶级会议ICMR 于6月24日~6月26日在上海国际会议中心召开,期间吸引了不少国内外学术界和工业界的同行出席。 腾讯优图团队吴永坚高级研究员在大会上做了题为“Trends of Multimedia Research and Application in Tencent Social Network”的主题报告( 在互联网工业界中,以腾讯公司为例,详细介绍了腾讯公司在图像多媒体方面的研究进展。 腾讯优图团队的科研路线也随着移动互联网的趋势向前演进。 ? ? ? ? 脚踏实地 =Product Impact= 优图团队致力于技术的前沿深入与产品落地两手抓,坚持做有用的研究。 以人脸技术为例,优图团队的技术指标已达到国际领先水平,同时在微众银行、天天P图、QQ空间等应用中有多项技术落地,让AI 技术创造更好的用户体验。 ? ? ? ? ?
项目背景 About Project 腾讯优图实验室(Tencent YouTu Lab) —— 腾讯旗下顶级机器学习研发团队,在人脸检测、五官定位、人脸识别、图像理解等领域都积累了完整的解决方案和领先的技术水平 作为腾讯顶尖科技的品牌,其品牌应当结合优图实验室的“科技”“人工智能”等特性,让用户感受到品牌的魅力和实力,提升整体品牌体验。同时品牌视觉识别应当保持统一风格,构建一个完善的视觉识别系统。 品牌概述 Brand Overview 腾讯优图实验室隶属于腾讯社交网络事业群(SNG),团队整体立足于腾讯社交网络大平台,遵循公司“一切以用户价值为依归”的理念和“研究成果落地才能产生价值”的原则,专注于机器学习 目前优图在人脸识别、图像识别、声音识别三大领域拥有数十项业界领先的技术,均在国际比赛中创造了世界纪录。 优图实验室通过智能云服务、智能硬件、行业解决方案等多元化的产品策略,大力推动人工智能技术的广泛应用,通过人工智能提升互联网使用体验。
作者简介 倪辉,喜爱C/C++,腾讯优图实验室基础研究组高级研究员,负责图像和人脸相关的技术研究和软件开发,非常热爱开源社区,系腾讯社交网络事业群首个AI开源项目ncnn负责人。 ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。 经过一年多的持续开发,基本实现了卷积神经网络的所有特性,精细调优后的效率领先目前一切已知的开源框架。ncnn 目前已在腾讯许多APP中使用,经过大量的实践测试,稳定性很好。 作为腾讯对开源社区的贡献,希望能为人工智能的发展助力,将更多的深度学习研究成果落地到用户面前,提升人类生活品质。 ? 同类框架对比 ?
2015年9月22日,国内首个以人工智能为主题的“2015首届腾讯优图高校创新大赛”在清华大学启动,并面向全国所有全日制高校在校生开幕。 本次大赛由腾讯优图主办,以“人工智能重塑生活”为主题,以优图开放平台技术服务为核心主体,是国内首个以人工智能为主题的科技创新类大赛,共吸引了来自海内外百余所高校在校生的参与,其中绝大部分为重点高校。 大赛金奖获得者《上课啦》团队负责人巩云龙代表团队感言说,“非常激动能获得腾讯优图首届高校创新大赛的金奖。 最后,祝愿腾讯优图高校创新大赛越办越好,产生更多好的想法和作品,让更多人从中受益!”。 值得一提的是,大赛金银铜奖的获奖者将获得优图校招的绿色通道资格。 不仅进一步加深了优图与高校的合作关系,同时为培养广大人工智能领域的人才做出了积极的贡献,为我国人工智能产业的发展注入了新的动力。 附:2015腾讯优图首届高校创新大赛获奖名单 ?
腾讯优图实验室高级研究员noahpan以「弱监督目标定位的研究及应用」为主题,结合腾讯优图实验室在弱监督目标定位的研究进展、成果以及相关思考进行了分享。 因此,腾讯优图提出两个解决方案。 在测试阶段,对分类结果进行重新排列,得到类似于CNN中 CAM的结果,进而得到每个类别上响应图。之后和从Transformer结构里面提取的整体相关性进行相乘,得到类别感知的激活图。 04 在图像内容审核等领域中的应用 基于目标定位,优图实验室尝试进行了一些简单应用。 目前,腾讯优图也在做这方面的尝试,这是一个更有价值,更有意义,更有前景的方向。
继神经网络推理框架 ncnn、TNN,动作检测算法 DBG,通用目标检测算法 OSD,人脸检测算法 DSFD、人脸属性算法 FAN等众多优秀的框架、算法开源后,腾讯优图实验室又有一项人脸识别算法研究项目 TFace开源地址: https://github.com/Tencent/TFace 01 项目背景 TFace是由腾讯优图实验室研发的人脸识别算法研究项目,其中TFace中的T意为“trusty”, 经过多年的行业实战经验,优图在每个方向都积累了大量硬核技术,其中很多提炼后作为学术成果发表在相关顶级CV会议中。 Li_Spherical_Confidence_Learning_for_Face_Recognition_CVPR_2021_paper.pdf 目前,TFace项目中的算法能力已应用在内外多个业务中,对内广泛支撑了腾讯内部如微信 ,QQ中的身份识别需求,对外则通过腾讯云服务的形式,提供了ToC、ToB的相关能力,典型应用案例如跨年龄寻人、人脸核身、刷脸支付等。
倪辉,喜爱C/C++,腾讯优图实验室基础研究组高级研究员,负责图像和人脸相关的技术研究和软件开发,非常热爱开源社区,系腾讯社交网络事业群首个AI开源项目ncnn负责人。 ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。 经过一年多的持续开发,基本实现了卷积神经网络的所有特性,精细调优后的效率领先目前一切已知的开源框架。ncnn 目前已在腾讯许多APP中使用,经过大量的实践测试,稳定性很好。 作为腾讯对开源社区的贡献,希望能为人工智能的发展助力,将更多的深度学习研究成果落地到用户面前,提升人类生活品质。
近期,腾讯优图实验室荣获5项行业最具影响力大奖,一不小心成为人工智能领域的“当红炸子鸡”。想知道我们都荣获了哪些奖项吗? 其中腾讯优图凭【工业AI质检解决方案】成功入选“AI中国·最具商业价值解决方案TOP 30”,该方案主要体现腾讯优图和富驰高科联手打造的一款工业AI质检仪,通过AI、大数据的应用,提高了工厂整体运营管理效率 2021年腾讯优图打造共计9场优Tech分享直播分享,内容包括人脸3D重建、多模态图文识别、弱监督目标定位等不同前沿技术的实践运用。 2021年6月,腾讯优图再次开源一项新技术——TFace人脸识别算法研究项目。不断面向行业输出自身开源技术和创新成果,正是腾讯优图获奖的主要原因。 其中,腾讯优图实验室总经理吴运声荣获“2021年度人工智能技术领袖TOP20”。
中国计算机学会计算机视觉专委会走进企业系列交流会 CCF-CV@Industry 腾讯优图·上海 主题:图像识别和多媒体分析技术前沿 时间:2016年5月13日(星期五) 14:00 活动召集人: 王亮博士,中国科学院自动化研究所,中国计算机学会计算机视觉专委会,秘书长 黄飞跃博士,腾讯优图研发中心总监,腾讯T4专家。 郭晓威,腾讯优图图像理解与深度学习团队技术负责人。2007年硕士毕业于中山大学信息与计算科学专业,模式识别方向。2011年入职腾讯。 在本报告中,我将介绍腾讯优图在音乐信息检索领域的进展,包括原声识别、哼唱识别、歌词对齐、原声消伴、假midi制作等。 演讲嘉宾简介: ? 李科,腾讯优图音频团队技术负责人。 人脸识别领域,开发的人脸检测系统于2014年在FDDB上世界第一的成绩,成功应用于QQ空间、微众人脸核身、优图会议签到等十多个产品中。
因此腾讯优图联合腾讯安全天御、微信团队共同推出侵权保护方案。该方案目前已应用于微信小游戏IP侵权保护系统,对微信小游戏平台的数万款游戏进行筛查、防止侵权行为。 优图实验室联合腾讯安全天御、微信团队推出的侵权保护方案,也将通过AI能力加速版权筛查和对侵权行为的拦截,助力游戏市场有序、健康生长。 作为腾讯顶级的人工智能实验室,优图实验室在“泛人脸识别”技术上已持续深耕超过8年,支持识别的IP形象超过5000个,并在iCartoonFace挑战赛中斩获冠军。 腾讯优图长期坚持基础研究和产业落地两条腿走路,通过腾讯云对外进行AI技术开放,目前已经为超过30个行业提供AI技术解决方案,将AI技术解决方案应用在更多场景中,帮助更多产业实现“降本增效”。 近日,腾讯优图实验室所参与的《面向复杂场景的人物视觉理解技术及应用》项目,获得上海市科技进步奖特等奖。
近日,在国际顶级图学习榜单OGB(Open Graph Benchmark)上,腾讯优图实验室凭借自研AI算法,打破众多顶尖高校和科技公司创下的纪录,获得图属性预测赛道Ogbg-molhiv、Ogbg-molpcba OGB是目前公认的图学习基准数据集代表,由斯坦福大学Jure Leskovec教授团队建立,于2019年国际顶级学术会议NeurIPS上正式开源。 其囊括了节点性质预测、边性质链接预测、图性质预测等图学习领域众多权威赛道,以质量高、规模大、场景复杂、难度高著称,素有图学习领域“ImageNet”之称,吸引了包括微软、Deepmind、Facebook 图神经网络(GNN)由于其强大的非结构化数据的处理能力受到了工业界以及学术届的广泛关注。此次,腾讯优图实验室参与了图属性预测赛道下Ogbg-molhiv、Ogbg-molpcba等四项极具价值的任务。 其中,腾讯优图实验室在transformer和GNN结合的分子建模基础上针对分子的2D-3D结构建模、数据扩充、训练算法等方向进行了一系列改进,例如改进的FLAG算法、图插值算法等。
作者:Edison_G ECCV 2020即将要开始,很多互联网络公司都有技术论文中标,腾讯优图就8篇入选,涵盖了目标跟踪、行人重识别、人脸识别等领域。 今天我们先预告下人脸识别相关的技术,我们会详细分析优图的“分布式知识蒸馏损失”应用在人脸识别领域,去较大程度改善了困难样本的技术,希望持续关注我们“计算机视觉研究院”! ? 1、背景 今天我们“计算机视觉研究院”先给大家讲讲什么是“知识蒸馏”,下一期我们再来深入解读优图的“分布式知识蒸馏损失改善人脸识别困难样本”技术。 ? 知识蒸馏被广泛的用于模型压缩和迁移学习当中。
近日,腾讯云在首届技术领袖峰会上宣布开放优图人脸识别技术,当人脸识别与云计算结合,势必加速推进安防领域的智能化、去人工化。 在这一方面,腾讯优图人脸识别有着得天独厚的优势。在数量方面,优图拥有千亿级的大数据处理平台,在QQ空间相册平台里优图团队单日最多处理上亿张照片,累计已经分析处理了数百亿张照片。 结合腾讯云的强大计算能力,优图人脸识别的可以快速在海量数据中完成人脸的比对、验证、识别。 腾讯云上的优图人脸识别 优图团队目前以OpenAPI的方式开放人脸检测和人脸识别的核心能力,一共提供了人脸检测、人脸注册、人脸比对等11个核心API供用户使用,可以实现人脸检测,1:1人脸验证 腾讯优图开放平台已于6月正式对外发布,包括人脸检测、人脸识别等在内的核心技术开始对外开放。优图在腾讯云上的开放,将进一步推动人脸识别技术在各行业的广泛引用。
机器之心发布 机器之心编辑部 6 月 10 日,腾讯优图实验室宣布正式开源新一代移动端深度学习推理框架 TNN。 从学界到工业界,「开源」已经成为 AI 领域的关键词。 腾讯优图基于自身在深度学习方面的技术积累,借鉴业内主流框架的优点,推出了针对手机端的高性能、轻量级移动端推理框架 TNN。 开源文化兴起,AI 底层技术助推产业发展 事实上,作为腾讯旗下顶级 AI 实验室,腾讯优图长期致力于 AI 基础设施的研发和推进。 腾讯优图实验室副总经理吴永坚介绍,腾讯优图后续将在现有 CV 业务的基础上研发更多的 AI 推理模型,涉及语音、NLP 等相关业务;同时开展针对 CPU、GPU 服务器端的服务,为业界公司提供更广泛的优化服务 「作为产业发展的高速公路,以深度学习框架、组件为代表的 AI 基础设施将是未来的主流趋势,腾讯优图也将以此为着力点,助推产业发展。」
Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer 单位:中科院, 上交, 腾讯优图, 国科大 论文:https://arxiv.org 技术细节 图2介绍了Evo-ViT的具体框架设计,包括基于全局class attention的token选择以及慢速-快速双流token更新两个模块。 图3 Evo-ViT与当前token裁剪相关算法的实验结果对比 图4为Evo-ViT在金字塔型结构上的验证实验。 图4 Evo-ViT与SOTA 直筒型、金字塔型transformer算法的对比 该工作还进一步可视化了其token选择结果,如图5所示。 图5 token选择可视化结果 结论 本文提出了一种基于慢速-快速双流更新思想的通用视觉Transformer加速方法,Evo-ViT。