CV-visiontransformer经典论文解读|RepViT: Revisiting Mobile CNN From ViT PerspectiveRepViT：从ViT视角重新审视移动CNN

论文标题

RepViT: Revisiting Mobile CNN From ViT Perspective

RepViT：从ViT视角重新审视移动CNN

论文链接

RepViT: Revisiting Mobile CNN From ViT Perspective论文下载

论文作者

Ao Wang, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

内容简介

本文研究了从视觉变换器（ViT）这一视角重构轻量级卷积神经网络（CNN）的技术方案，并旨在提升其在移动设备上的运行效率与性能。研究人员通过将轻量级ViT的高效架构整合到主流轻量化CNN框架（例如MobileNetV3）中，并结合创新性的模块化设计策略，在此基础上开发出一种新型系列的轻量化CNN模型——RepViT框架。

研究表明，在多种视觉任务中进行比较实验后发现，基于旋转预测器（RepViT）的方法不仅在iPhone 12上达到了80%以上的top-1准确率，并且每毫秒仅需一次推理的速度；同时，在与SAM结合时的表现更为卓越，在推理速度方面较MobileSAM快了大约十倍以上。

关键点

1.背景与动机 ：

轻量级ViT在移动设备上的应用表现出色, 但它在硬件支持方面存在不足, 并且对高分辨率输入较为敏感的问题. 相比之下, CNN在边缘设备上具有明显的优势, 因此研究者们致力于通过整合ViT的设计方案来优化CNN的表现.

2.方法 ：

研究人员基于MobileNetV3开发了一种创新性的方法，在逐步融入轻量化的ViT高效架构后成功构建了具有代表性的RepViT架构模型

3.实验结果 ：

RepViT在ImageNet上表现出了突破性的80%以上的top-1准确率，并且仅用iPhone 12设备实现了第一流的低延迟体验；值得注意的是，在目标检测、实例分割和语义分割等多个下游应用领域中，RepViT同样展现出色的能力。

4.与SAM结合 ：

集成Segment Anything Model（SAM）后形成的RepViT-SAM模型，在移动设备上的推理速度表现显著优于MobileSAM版本，并展现出卓越的零样本迁移性能。

CV-vision-transformer必读论文合集：

精选计算机视觉与图像变换技术领域的必读论文集合 - CV-vision transformer必读论文合集

期待这些学术资源能为您提供帮助！若觉得有收获，请别忘了点赞加关注哦~ 我们承诺会持续分享更多高质量的学术资源！

论文代码

GitHub - THU-MIG/RepViT: RepViT: 从Vision Transformer视角回顾Mobile CNN模型 [CVPR 2024] 和 RepViT-SAM: 旨在实现实时 anything分割