一、前言 为了解决目标检测任务中小目标检测精度低、误检、漏检率高等问题,有研究者提出了一种基于YOLOv4卷积神经网络的多目标检测方法。 多目标检测作为目标检测领域的一个重要研究方向,一直受到研究人员的广泛关注。目前,在智能交通、智能辅助驾驶和视频监控等领域已经产生了深入的研究。 随着2012年AlexNet在图像分类任务上的重大突破,利用卷积神经网络自动学习特征提取过程代替传统的人工设计是当前的主要研究方向。 有文献【Deep learning strong parts for pedestrian detection】使用联合学习方法对不同的行人遮挡模式进行建模,但其检测框架复杂且无法穷尽所有情况。 二、概要 今天分享的框架,新的方法基于YOLOv4。 高层特征的语义信息首先通过FPN采样传播到低层网络,然后与底层特征的高分辨率信息融合,以提高小目标检测对象的检测效果。
actions that best satisfy our goals over time: 量子位的中文翻译: https://mp.weixin.qq.com/s/XHdaoOWBgOWX7SrOemY4jw
通常有三种拓扑形式的Siamese网络结构,如图4。 ? 图4:三种Siamese网络拓扑结构。 Chu等人对行人多目标跟踪问题中跟踪算法发生漂移进行统计分析,发现不同行人发生交互时,互相遮挡是跟踪算法产生漂移的重要原因[4]。如图10。 ? 针对这个问题,文献[4]提出了基于空间时间关注模型(STAM)用于学习遮挡情况,并判别可能出现的干扰目标。 4、基于深度学习的视觉多目标跟踪算法讨论 上文我们讨论了视觉多目标跟踪领域中,深度学习算法近年来的发展。 目前的基于深度学习的多目标跟踪框架在以下两个方向取得了较好的进展:(1)结合多目标跟踪场景的网络设计,比如在文献[4]中考虑多目标交互的情况设计网络架构,这种考虑跟踪场景的网络设计对于跟踪结果有明显提升
这些概率实际上就是模型要学习的目标,多种目标综合起来,包括阅读、点赞、收藏、分享等等一系列的行为,归纳到一个模型里面进行学习,这就是推荐系统的多目标学习。 做推荐算法肯定绕不开多目标。 4. 排序学习 多模型分数融合通过计算推荐物的综合得分来排序(point-wise),其目的是为了推荐物品。 因此,也可以直接预测物品两两之间相对顺序的问题(pair-wise)来解决多目标学习的问题,常用的算法比如 BPR,还可以预测物品序列之间的得分情况(list-wise) 来解决多目标学习的问题。 在这个学习任务下,如果去共享底层网络参数的话,可能会造成底层的每个目标都能学习一点,但是每个目标学习的都不够充分,这是多目标学习系统实现的一个难点。 _cA 推荐多目标进阶之自适应权重学习 - billlee的文章 - 知乎 https://zhuanlan.zhihu.com/p/238125972 多目标学习之自适应权重学习进阶 - billlee
4. 总结 双通道模型在提升模型效果的同时,使得特征工程的流程大幅减少,复杂度也明显降低了。主要可以细分为以下四点: 实现了基线最优模型的稳定超越:其中点击率提升了3%, 曝光转化率提升5%。 ① 多目标优化,这也是我们未来重点的探索方向。虽然首页猜你喜欢显出了多目标平衡的特点,但是由于58的业务是非闭环的。所以我们无法直接跟踪到用户最终的交易行为,目标定义存在巨大的挑战。 这一方面我们还在持续的探索,但是在模型上我们会进一步探索多任务的学习模型和强化学习。 ② 多通道深度兴趣模型:包括内容行为序列优化,基于窗口协同方式的持续优化。 多目标优化:基于现有的模型架构,采用ESSM多目标模型来做训练, ③ 重排:从规则打散到基于相似度的柔性打散策略 ④ 展示优化: 样式对齐:我们引入了特色展示元素。 目前,排序模型上,基于序列化模型组件等构建了适配58业务特点的多通道深度模型架构,成为了主要场景的主流线上模型,仍在进一步结合业务探索新模型架构/强化学习/迁移学习等的落地应用,期待和大家进一步探讨交流
多目标优化在系统最优设计、最优控制以及社会科学等方面都具有广泛的应用,例如:坦克的变速箱不仅需要良好的传动精度,运动过程中还需要保持极高的稳定性;火箭的恒温层结构不仅需要极好的隔热性能,更需要保证良好的耐撞性能 多目标优化的特征为:一般情况下,多目标优化问题的各个子目标之间是相互矛盾的(一个子目标的改善可能会引起另几个子目标性能的降低),很难使得多个子目标同时达到最优值,只能在多个目标之间进行折中处理,使得各个子目标都尽可能达到最优解 ,从数学角度可以做如下描述: No.1 多目标优化 多目标优化与单目标优化具有本质区别,主要体现于多目标优化问题的解并非唯一,而是存在一组由众多Pareto最优解组成的集合,具体如下图中蓝色曲线所示 ,采用优化算法过程中出现收敛性困难等问题; 3、多目标优化问题的帕累托解集包含更多有效信息。 No.2 程序代码 NSGA-Ⅱ是目前流行的多目标遗传算法之一,它降低了非劣排序遗传算法的复杂性,具有运行速度快,解集的收敛性好的优点,成为其他多目标优化算法性能的基准。
什么是多目标规划? 在此之前,要了解一下单目标的线性规划 看个例子: 其中,maxz就是单个目标,下面的就是约束条件 如果有其他目标,就是多目标规划问题 比如: p1,p2,p3代表优先级,没有实际意义 ,可自行分配权重 d1,d2,d3,d4的意义如下: 求解方法(3种) 1、效用最优化模型(线性加权法) 简单来说,就是两个目标给予不同权重,然后相加合成新的目标 2、罚款模型 就是把多个目标拆分成单个目标,最后把各自的结果平方和开方变成新的单目标函数 3、约束模型(极大极小法) 简单来说,就是把其中一个目标的最大最小值求出来把目标变成约束条件 三个方法本质上都是把多目标化为单目标问题求解
作者:伍瀚,聂佳浩,张照娓,何志伟,高明煜 来源:计算机科 编辑:东岸因为@一点人工一点智能 多目标跟踪(MOT)旨在从给定视频序列中输出所有目标的运动轨迹并维持各目标的身份。 01 引言 多目标跟踪(Multiple object tracking,MOT)的主要任务是从给定视频中输出所有目标的运动轨迹,并维持各目标的身份信息(Identity,ID)。 此外,MOT是姿态估计、行为识别、行为分析、视频分析等高级计算机视觉任务的基础[3-4]。 多目标跟踪准确度(Multiple Object Tracking Accuracy,MOTA)是最重要的评价指标之一,如式(1)所示,其综合考虑了FP,FN以及IDs。 图4 不同检测结果下跟踪算法的准确性 通过使计算量最大的两个子模块目标检测和目标外观特征提取共享特征,JDE范式具有计算量和参数量较小的特点,因此成为了目前工业界常用的跟踪方式。
然后把多任务的学习知识蒸馏到双塔网络中。 2. 方法介绍 2.1 多任务teacher模型 image.png image.png pCTCVR中引用了pCTR。 image.png 为了达到上述目标,则把左边的多任务学习任务当做teacher网络,右边的双塔结构当做student网络,用蒸馏把teacher网络的知识迁移到student网络。 4. 创新点&&点评 这篇论文中,作者提出了基于蒸馏的多任务学习框架来建模阅读duration来进行召回。 消融实验不够完善:例如精排模型的结构是否有必要这么复杂,对召回模型影响又有多大;又或者是否一定需要以蒸馏的方式来召回学习精排,直接引入精排预估分作为soft分效果如何。
作者:伍瀚,聂佳浩,张照娓,何志伟,高明煜来源:计算机科学编辑:东岸因为@一点人工一点智能原文地址:基于深度学习的视觉多目标跟踪研究综述多目标跟踪(MOT)旨在从给定视频序列中输出所有目标的运动轨迹并维持各目标的身份 01 引言多目标跟踪(Multiple object tracking,MOT)的主要任务是从给定视频中输出所有目标的运动轨迹,并维持各目标的身份信息(Identity,ID)。 此外,MOT是姿态估计、行为识别、行为分析、视频分析等高级计算机视觉任务的基础[3-4]。 多目标跟踪准确度(Multiple Object Tracking Accuracy,MOTA)是最重要的评价指标之一,如式(1)所示,其综合考虑了FP,FN以及IDs。 图4给出了这3个算法分别采用FasterR-CNN(FRCNN),MaskR-CNN(MASK),YOLOv3,DPM和SDP作为检测算法时在MOT17数据集上的MOTA,显然各算法的跟踪准确性皆因不同检测结果而发生了明显变化
为了能平衡最终的多个目标,需要对多个目标建模,多目标建模的常用方法主要可以分为: 多模型的融合 多任务学习 底层共享表示的优化 任务序列依赖关系建模 多模型的融合是根据不同的指标训练不同的模型, 最终对多个模型的结果做融合;多任务学习是目前处理多目标建模使用较多的方法,相较于多模型的融合,多任务学习能做到端到端的学习,同时能够节约建模的时间,因为多个模型可以同时建模。 在多目标的建模过程中,如果不同的学习任务之间较为相关时,多个任务之间可以共享一部分的信息,这样最终能够提升整体的模型学习效果。 分别为face classification,bounding box regression和facial landmark localization,这三个任务可以共享底层的CNN网络,以MTCNN[4] 总结 多目标建模已经成为当前推荐系统中的标配,在多目标建模过程中,需要考虑多个目标之间的相互关系,以选择合适的多目标建模方法,同时,在多目标的损失函数的设计上,也存在很多的优化方案,需要根据具体的应用场景选择合适的损失函数
一、引言 在朴素的深度学习ctr预估模型中(如DNN),通常以一个行为为预估目标,比如通过ctr预估点击率。 更多是多种目标融合的结果,比如视频推荐,会存在视频点击率、视频完整播放率、视频播放时长等多个目标,而多种目标如何更好的融合,在工业界与学术界均有较多内容产出,由于该环节对实际业务影响最为直接,特开此专栏对推荐系统深度学习多目标问题进行讲述 该方法通过对不同正向行为给予不同权重,将多目标问题转化为单目标问题。本质是保证一个主目标的同时,将其它目标转化为样本权重,通过复制行为的方法改变数据分布,达到优化其它目标的效果。 三、总结 本文从技术原理和技术优缺点方面对推荐系统深度学习多目标融合的“样本Loss加权”进行简要讲解,本质是对多个样本行为进行复制,以达到对预期指标的强化,具有模型简单,成本较低的优点,但同时优化周期长
这里贴张目标图像,就是需要匹配的图像,先从简单到复杂讲解,对单目标匹配完才能进行多目标匹配嘛,如下图所示为目标图像,由于太大了,缩放下,模板图像其实是从红色框框里抠出来的。 ? 接下来说说多目标模板匹配吧。 三. 多目标模板匹配 有了之前的基础,这里要说说多目标模板匹配,目标图像中很有可能出现需要匹配的目标处于旋转一定角度的,就是说,目标与模板的摆放角度并不相同,如下图所示: ?
今天介绍一份PyTorch实现的多目标跟踪的开源库,在Github 上搜索 MOT tracking ,该份代码排名第一位,目前已经有505颗星。 该代码实现的是广为人知的deep sort多目标跟踪算法,算法原作者的实现是基于TensorFlow的,作者用PyTorch实现了RE-ID(目标重识别)模块,并将目标检测模型从Faster RCNN
极市导读 本文介绍了一篇关于多任务学习的综述,详细介绍了文章中关于多任务学习的两个主要研究方向:task balancing和其他。 ? 这篇文章提到了多任务学习的两个主要研究方向: 1、多任务学习的网络结构的构造; 2、多任务学习对标的多目标优化的方法; ? 从上图的方程可以看出: 1、loss大则梯度更新量也大; 2、不同任务的loss差异大导致模型更新不平衡的本质原因在于梯度大小; 3、通过调整不同任务的loss权重wi可以改善这个问题; 4、直接对不同任务的梯度进行处理也可以改善这个问题 则在多目标的前提下,我们认为总的同方差不确定性可以用不同任务的不确定性的乘积来表示: ? 通过对公式(4)进行对数变换后可以得到: ? (这个正比的公式是怎么得到的。。。) 4、实际应用的一个问题,权重可能会变成负数,导致我们最终的loss变成负数了。。。
为了能平衡最终的多个目标,需要对多个目标建模,多目标建模的常用方法主要可以分为:多模型的融合多任务学习- 底层共享表示的优化- 任务序列依赖关系建模多模型的融合是根据不同的指标训练不同的模型,最终对多个模型的结果做融合 ;多任务学习是目前处理多目标建模使用较多的方法,相较于多模型的融合,多任务学习能做到端到端的学习,同时能够节约建模的时间,因为多个模型可以同时建模。 在多目标的建模过程中,如果不同的学习任务之间较为相关时,多个任务之间可以共享一部分的信息,这样最终能够提升整体的模型学习效果。 \left \{ det,box,landmark \right \}}\alpha _j\beta _i^jL_i^j其中,\alpha _j 和\beta _i^j 是两个超参,这两个超参在参考[4] 总结多目标建模已经成为当前推荐系统中的标配,在多目标建模过程中,需要考虑多个目标之间的相互关系,以选择合适的多目标建模方法,同时,在多目标的损失函数的设计上,也存在很多的优化方案,需要根据具体的应用场景选择合适的损失函数
actions that best satisfy our goals over time: 量子位的中文翻译: https://mp.weixin.qq.com/s/XHdaoOWBgOWX7SrOemY4jw
4 数据简介 比赛的数据来源主要是一部分电影剧本,以及爱奇艺标注团队的情感标注结果,主要用于提供给各参赛团队进行模型训练和结果验证使用。 6 基于预训练模型的对目标学习 这个题目可操作的地方有很多,一开始见到这个比赛的时候见想到了multi outputs的模型构建,这里给大家分享下这个基线,希望有大佬能够针对这个思路优化上去~ 6.1 = 4: print("ERROR:", sp) continue data.append(sp) train = pd.DataFrame
actions that best satisfy our goals over time: 量子位的中文翻译: https://mp.weixin.qq.com/s/XHdaoOWBgOWX7SrOemY4jw
用 OpenCV 实现目标追踪 GOTURN: 基于深度学习的目标追踪 为什么我们需要多目标追踪 大多数计算机视觉和机器学习的入门者都学习目标识别。 多目标追踪:OpenCV 的多目标追踪器 OpenCV 中的 MultiTracker 类提供了多目标追踪的实施方法。 让我们一步步查看代码,学习我们如何用 OpenCV 的多目标追踪 API。 下载代码 为了能容易地跟着这个教程学习,请点击下面的按钮,下载代码。代码是免费的! 这个追踪器会用于多目标追踪器。 Python # Set video to load videoPath = "videos/run.mp4" # Create a video capture object to read