腾讯优图属于国内工业界CV领域实验室的第一梯队,其不仅服务腾讯内部线上产品,也开源了多个前沿研究和工程项目,本文盘点优图实验室开源的所有项目,其中最“火”的三个工程是『NCNN』、『人脸检测-DSFD』 腾讯优图项目主页: https://github.com/TencentYoutuResearch 01 SuperResolution-RealSR ? Light-weight CNN: SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet ... Detection: YOLOV2 YOLOV3 MobileNet-YOLOV3 YOLOV4 ... Segmentation: FCN PSPNet UNet YOLACT ... 单阶段通用目标检测器:OSD 特征: 同时包括Yolov2和Yolov3 性能优 训练速度如 darknet 一样快 A lot of efficient backbones on hand 代码地址
体系结构使用了与Pyramid Box和S3FD相同的扩展VGG16框架,在分类层之前被截断,并添加了一些辅助结构。注意,训练图像的输入尺寸为640,这意味着从最低层到最高层的特征图大小为160到5。 不同于S3FD和Pyramid Box,在利用有限元法中的感受野放大和新的锚设计策略后,对于步长、锚和感受野三种尺寸满足等比例间隔原则的情况,都是不必要的。因此,DSFD具有更大的灵活性和鲁棒性。 然后对上面的特征图进行抽样,用当前的特征映射来制作元素级的产品。最后将特征映射分为三个部分,然后是包含不同数目的膨胀卷积层的三个子网络。 ? 实验 特征增强模块的有效性 ?
在此感谢腾讯优图实验室开源这么棒的项目,并特别鸣谢优图小伙伴:mileistone(YOLO系列复现作者)。 前言 本文给各位CVers介绍一个由腾讯优图实验室开源的One-Stage目标检测项目。 来看一下阵容: 基于PyTorch的YOLO系列代码实现,包含Tiny-YOLOv2、YOLOv2、Tiny-YOLOv3、YOLO-v3以及MobileNet、MobileNetv2、ShuffleNet 腾讯优图—YOLO 这里简单介绍项目里的部分亮点 环境 Python 3.6 PyTorch 0.4.0 性能 哇,这mAP!哇,这速度! ? ? 支持训练&评估 之前很多同学向我吐槽,网上可以找到基于PyTorch的YOLOv3代码,但只支持inference,不能训练。那你看看腾讯优图这个,不仅教你怎么训练,还手把手教你评估。远程比心! ? 不仅仅有Google Drive,还有良心的百度云链接(国内coding man福利) PS:googledrieve打错了,大家快去提交issue,还能成为优图开源项目的贡献者(手动狗头.jpg) ?
体系结构使用了与Pyramid Box和S3FD相同的扩展VGG16框架,在分类层之前被截断,并添加了一些辅助结构。注意,训练图像的输入尺寸为640,这意味着从最低层到最高层的特征图大小为160到5。 不同于S3FD和Pyramid Box,在利用有限元法中的感受野放大和新的锚设计策略后,对于步长、锚和感受野三种尺寸满足等比例间隔原则的情况,都是不必要的。因此,DSFD具有更大的灵活性和鲁棒性。 然后对上面的特征图进行抽样,用当前的特征映射来制作元素级的产品。最后将特征映射分为三个部分,然后是包含不同数目的膨胀卷积层的三个子网络。 ? 实验 特征增强模块的有效性 ?
腾讯优图实验室年度主题曲上线啦! 快来康康wuli实验室小哥哥们 如何变身帅气唱跳rapper! 优图boys,你值得了解! 腾讯优图2020年终MV 视频内容 腾讯优图实验室的视频 你印象中的程序员是怎样的? 闷骚?无趣?老实?内向?秃头?格子衫? 发型乱糟糟,说话慢吞吞 只有手指在键盘上飞舞? 把标签都丢掉 把刻板印象都粉碎掉 快来腾讯优图实验室看看 最fashion的程序员是什么模样吧! MATRIX 加速度 快来解锁《这就是优图》 感受腾讯优图实验室的别样魅力吧! 点击「阅读原文」 让我们一起跟着优图boys 乘着代码踏着beat 在AI世界自由飞行 最后的最后 欢迎加入腾讯优图实验室!
AI 科技评论按:腾讯优图首个 AI 开源项目 ncnn 目前已正式加入 ONNX,现已支持将 ONNX 文件转换为 ncnn 模型。 腾讯优图 ncnn 是腾讯社交网络事业群公布的首个 AI 开源项目,也是腾讯优图实验室第一次对外公开深度学习的研究成果。 ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。
腾讯优图团队吴永坚高级研究员在大会上做了题为“Trends of Multimedia Research and Application in Tencent Social Network”的主题报告( 在互联网工业界中,以腾讯公司为例,详细介绍了腾讯公司在图像多媒体方面的研究进展。 小编为大家总结了3个关键词【顺势而为】、【脚踏实地】、【开放共赢】来帮助大家理解优图团队在多媒体技术方面的研究及发展,阅读全文可查看完整版PPT。 ? 腾讯优图团队的科研路线也随着移动互联网的趋势向前演进。 ? ? ? ? 脚踏实地 =Product Impact= 优图团队致力于技术的前沿深入与产品落地两手抓,坚持做有用的研究。 以人脸技术为例,优图团队的技术指标已达到国际领先水平,同时在微众银行、天天P图、QQ空间等应用中有多项技术落地,让AI 技术创造更好的用户体验。 ? ? ? ? ?
(International Conference on Computer Vision,ICCV) 将于 2019 年 10 月 27 日 - 11 月 2 日在韩国首尔举行,近日论文收录名单揭晓,腾讯优图共有 13篇论文入选,居业界实验室前列,其中3篇被选做口头报告(Oral),该类论文仅占总投稿数的4.3%(200/4323)。 下面将对腾讯优图入选的两篇论文进行重点解析。 长远来看,这项技术的应用有望让普通的2D视频也能实现3D观感,就像在电影院观看的3D电影一样。 论文下载: 上两篇论文可在我爱计算机视觉公众号后台回复优图CV,即可收到百度云下载地址。 本文转载自腾讯优图。 ----
项目背景 About Project 腾讯优图实验室(Tencent YouTu Lab) —— 腾讯旗下顶级机器学习研发团队,在人脸检测、五官定位、人脸识别、图像理解等领域都积累了完整的解决方案和领先的技术水平 作为腾讯顶尖科技的品牌,其品牌应当结合优图实验室的“科技”“人工智能”等特性,让用户感受到品牌的魅力和实力,提升整体品牌体验。同时品牌视觉识别应当保持统一风格,构建一个完善的视觉识别系统。 品牌概述 Brand Overview 腾讯优图实验室隶属于腾讯社交网络事业群(SNG),团队整体立足于腾讯社交网络大平台,遵循公司“一切以用户价值为依归”的理念和“研究成果落地才能产生价值”的原则,专注于机器学习 目前优图在人脸识别、图像识别、声音识别三大领域拥有数十项业界领先的技术,均在国际比赛中创造了世界纪录。 优图实验室通过智能云服务、智能硬件、行业解决方案等多元化的产品策略,大力推动人工智能技术的广泛应用,通过人工智能提升互联网使用体验。
2015年9月22日,国内首个以人工智能为主题的“2015首届腾讯优图高校创新大赛”在清华大学启动,并面向全国所有全日制高校在校生开幕。 本次大赛由腾讯优图主办,以“人工智能重塑生活”为主题,以优图开放平台技术服务为核心主体,是国内首个以人工智能为主题的科技创新类大赛,共吸引了来自海内外百余所高校在校生的参与,其中绝大部分为重点高校。 大赛金奖获得者《上课啦》团队负责人巩云龙代表团队感言说,“非常激动能获得腾讯优图首届高校创新大赛的金奖。 最后,祝愿腾讯优图高校创新大赛越办越好,产生更多好的想法和作品,让更多人从中受益!”。 值得一提的是,大赛金银铜奖的获奖者将获得优图校招的绿色通道资格。 不仅进一步加深了优图与高校的合作关系,同时为培养广大人工智能领域的人才做出了积极的贡献,为我国人工智能产业的发展注入了新的动力。 附:2015腾讯优图首届高校创新大赛获奖名单 ?
作者简介 倪辉,喜爱C/C++,腾讯优图实验室基础研究组高级研究员,负责图像和人脸相关的技术研究和软件开发,非常热爱开源社区,系腾讯社交网络事业群首个AI开源项目ncnn负责人。 ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。 经过一年多的持续开发,基本实现了卷积神经网络的所有特性,精细调优后的效率领先目前一切已知的开源框架。ncnn 目前已在腾讯许多APP中使用,经过大量的实践测试,稳定性很好。 作为腾讯对开源社区的贡献,希望能为人工智能的发展助力,将更多的深度学习研究成果落地到用户面前,提升人类生活品质。 ? 同类框架对比 ?
腾讯优图实验室高级研究员noahpan以「弱监督目标定位的研究及应用」为主题,结合腾讯优图实验室在弱监督目标定位的研究进展、成果以及相关思考进行了分享。 因此,腾讯优图提出两个解决方案。 在测试阶段,对分类结果进行重新排列,得到类似于CNN中 CAM的结果,进而得到每个类别上响应图。之后和从Transformer结构里面提取的整体相关性进行相乘,得到类别感知的激活图。 04 在图像内容审核等领域中的应用 基于目标定位,优图实验室尝试进行了一些简单应用。 目前,腾讯优图也在做这方面的尝试,这是一个更有价值,更有意义,更有前景的方向。
倪辉,喜爱C/C++,腾讯优图实验室基础研究组高级研究员,负责图像和人脸相关的技术研究和软件开发,非常热爱开源社区,系腾讯社交网络事业群首个AI开源项目ncnn负责人。 ncnn 目前已在腾讯多款应用中使用,如 QQ,Qzone,微信,天天P图等。 经过一年多的持续开发,基本实现了卷积神经网络的所有特性,精细调优后的效率领先目前一切已知的开源框架。ncnn 目前已在腾讯许多APP中使用,经过大量的实践测试,稳定性很好。 作为腾讯对开源社区的贡献,希望能为人工智能的发展助力,将更多的深度学习研究成果落地到用户面前,提升人类生活品质。
继神经网络推理框架 ncnn、TNN,动作检测算法 DBG,通用目标检测算法 OSD,人脸检测算法 DSFD、人脸属性算法 FAN等众多优秀的框架、算法开源后,腾讯优图实验室又有一项人脸识别算法研究项目 TFace开源地址: https://github.com/Tencent/TFace 01 项目背景 TFace是由腾讯优图实验室研发的人脸识别算法研究项目,其中TFace中的T意为“trusty”, 经过多年的行业实战经验,优图在每个方向都积累了大量硬核技术,其中很多提炼后作为学术成果发表在相关顶级CV会议中。 TFace也会逐渐开放对于光线、表情、姿态这些细粒度属性的3D增强代码; 2、在骨干网络模型库中,TFace实现了十余种学术界常见的人脸识别提特征网络结构,可以满足终端和后台等常用场景下的耗时需求; 3 ,QQ中的身份识别需求,对外则通过腾讯云服务的形式,提供了ToC、ToB的相关能力,典型应用案例如跨年龄寻人、人脸核身、刷脸支付等。
近期,腾讯优图实验室荣获5项行业最具影响力大奖,一不小心成为人工智能领域的“当红炸子鸡”。想知道我们都荣获了哪些奖项吗? 其中腾讯优图凭【工业AI质检解决方案】成功入选“AI中国·最具商业价值解决方案TOP 30”,该方案主要体现腾讯优图和富驰高科联手打造的一款工业AI质检仪,通过AI、大数据的应用,提高了工厂整体运营管理效率 2021年腾讯优图打造共计9场优Tech分享直播分享,内容包括人脸3D重建、多模态图文识别、弱监督目标定位等不同前沿技术的实践运用。 2021年6月,腾讯优图再次开源一项新技术——TFace人脸识别算法研究项目。不断面向行业输出自身开源技术和创新成果,正是腾讯优图获奖的主要原因。 其中,腾讯优图实验室总经理吴运声荣获“2021年度人工智能技术领袖TOP20”。
近日,腾讯优图首个医疗 AI 深度学习预训练模型 MedicalNet (https://github.com/Tencent/MedicalNet)正式对外开源,这也是全球第一个提供多种 3D 医疗影像专用预训练模型的项目 为了产生 3D 医疗影像的预训练模型,MedicalNet 聚集多个来自不同 3D 医疗领域的语义分割小规模数据集,并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。 )以及 Kinetics 视频 3D 预训练模型在性能以及收敛速度上做了比较。 可以看出,基于腾讯预训练模型(MedicalNet)的结果最接近标签(ground truth),且远优于从零训练(train from scratch)的结果。 ? 注:封面图来自腾讯优图MedicalNet的Github项目(https://github.com/Tencent/MedicalNet)
中国计算机学会计算机视觉专委会走进企业系列交流会 CCF-CV@Industry 腾讯优图·上海 主题:图像识别和多媒体分析技术前沿 时间:2016年5月13日(星期五) 14:00 活动召集人: 王亮博士,中国科学院自动化研究所,中国计算机学会计算机视觉专委会,秘书长 黄飞跃博士,腾讯优图研发中心总监,腾讯T4专家。 郭晓威,腾讯优图图像理解与深度学习团队技术负责人。2007年硕士毕业于中山大学信息与计算科学专业,模式识别方向。2011年入职腾讯。 在本报告中,我将介绍腾讯优图在音乐信息检索领域的进展,包括原声识别、哼唱识别、歌词对齐、原声消伴、假midi制作等。 演讲嘉宾简介: ? 李科,腾讯优图音频团队技术负责人。 人脸识别领域,开发的人脸检测系统于2014年在FDDB上世界第一的成绩,成功应用于QQ空间、微众人脸核身、优图会议签到等十多个产品中。
近日,在国际顶级图学习榜单OGB(Open Graph Benchmark)上,腾讯优图实验室凭借自研AI算法,打破众多顶尖高校和科技公司创下的纪录,获得图属性预测赛道Ogbg-molhiv、Ogbg-molpcba OGB是目前公认的图学习基准数据集代表,由斯坦福大学Jure Leskovec教授团队建立,于2019年国际顶级学术会议NeurIPS上正式开源。 其囊括了节点性质预测、边性质链接预测、图性质预测等图学习领域众多权威赛道,以质量高、规模大、场景复杂、难度高著称,素有图学习领域“ImageNet”之称,吸引了包括微软、Deepmind、Facebook 图神经网络(GNN)由于其强大的非结构化数据的处理能力受到了工业界以及学术届的广泛关注。此次,腾讯优图实验室参与了图属性预测赛道下Ogbg-molhiv、Ogbg-molpcba等四项极具价值的任务。 其中,腾讯优图实验室在transformer和GNN结合的分子建模基础上针对分子的2D-3D结构建模、数据扩充、训练算法等方向进行了一系列改进,例如改进的FLAG算法、图插值算法等。
因此腾讯优图联合腾讯安全天御、微信团队共同推出侵权保护方案。该方案目前已应用于微信小游戏IP侵权保护系统,对微信小游戏平台的数万款游戏进行筛查、防止侵权行为。 优图实验室联合腾讯安全天御、微信团队推出的侵权保护方案,也将通过AI能力加速版权筛查和对侵权行为的拦截,助力游戏市场有序、健康生长。 作为腾讯顶级的人工智能实验室,优图实验室在“泛人脸识别”技术上已持续深耕超过8年,支持识别的IP形象超过5000个,并在iCartoonFace挑战赛中斩获冠军。 腾讯优图长期坚持基础研究和产业落地两条腿走路,通过腾讯云对外进行AI技术开放,目前已经为超过30个行业提供AI技术解决方案,将AI技术解决方案应用在更多场景中,帮助更多产业实现“降本增效”。 近日,腾讯优图实验室所参与的《面向复杂场景的人物视觉理解技术及应用》项目,获得上海市科技进步奖特等奖。
作者:Edison_G ECCV 2020即将要开始,很多互联网络公司都有技术论文中标,腾讯优图就8篇入选,涵盖了目标跟踪、行人重识别、人脸识别等领域。 今天我们先预告下人脸识别相关的技术,我们会详细分析优图的“分布式知识蒸馏损失”应用在人脸识别领域,去较大程度改善了困难样本的技术,希望持续关注我们“计算机视觉研究院”! ? 1、背景 今天我们“计算机视觉研究院”先给大家讲讲什么是“知识蒸馏”,下一期我们再来深入解读优图的“分布式知识蒸馏损失改善人脸识别困难样本”技术。 ? 知识蒸馏被广泛的用于模型压缩和迁移学习当中。 3、为什么叫「蒸馏」? image.png 4、与直接优化logits差异相比 image.png 5、实验与结论 Hinton等人做了三组实验,其中两组都验证了知识蒸馏方法的有效性。