近日,我院数据挖掘与机器学习团队教师万林博士以第一作者身份在信息安全领域国际顶级期刊IEEE Transactions on Information Forensicsand Security(TIFS, CCF A类期刊,中科院一区)上在线发表了题为“Self-Supervised Modality-Aware Multiple Granularity Pre-Training for RGB-Infrared Person Re-Identification”的研究成果。
论文的工作主要聚焦于解决多模态视频监控场景下行人重识别任务中的模态偏差预训练问题。研究表明,传统基于ImageNet的预训练方法会严重阻碍下游多模态任务性能的提升。因此,研究提出了一种新颖的自监督预训练方法-模态感知多粒度学习(MMGL),可在小规模的多模态数据集上直接开展预训练,无须依赖外部数据集和复杂的精调技巧,就能达到与ImageNet预训练相媲美的结果。经实验验证,相较于基于ImageNet的预训练,该方法训练速度更快、数据效率更高,并且表现出优秀的泛化性能和跨数据集迁移性能,这些结果表明,该方法具有推广到更多多模态图像检索任务的潜力。
论文链接:https://ieeexplore.ieee.org/document/10124098
通讯员:蒋良孝
审核:曾德泽
校对:石剑峰