Advertisement

AAAI2024论文合集解读|MWSIS Multimodal Weakly Supervised Instance Segmentation with 2D Bo

阅读量：

论文标题

Multiscale Weakly Supervised Instance Segmentation with 2D Box Annotations and Applications in Autonomous Driving Technology

论文链接

MWSIS: Multimodal Weakly Supervised Instance Segmentation with 2D Box Annotations for Autonomous Driving 论文下载

论文作者

Guangfeng Jiang, Jun Liu, Yuzhi Wu, Wenlong Liao, Tao He, Pai Peng

内容简介

本文开发了一种命名为多模态弱监督实例分割（MWSIS）的新型框架。该框架被设计为利用仅二维框标注来进行图像与点云的实例分割器训练，并通过结合2D和3D模态的信息实现性能提升。传统的实例分割方法基于像素级或点级标注运行效率较低且成本高昂；而MWSIS通过引入多种细粒度标签纠正模块以及跨模态蒸馏技术实现了对分割性能的有效提升。该框架包含基于伪掩码生成（IPG）和基于空间伪标签生成（SPG）的关键组件；这些组件能够生成高质量伪标签并通过一致性稀疏跨模态监督（CSCS）机制减少多模态预测的一致性差异。实验结果表明，在Waymo数据集上应用该框架可分别实现2D和3D实例分割任务中2.59%及12.75%的mAP提升效果

分点关键点

MWSIS框架概述

MWSIS框架主要依赖于2D框标注来训练二维与三维分割器，并充分利用不同模态间的互补特征。该框架包含多个组件（如IPG与SPG），负责生成并纠正伪标签以提升分割精度。

在这里插入图片描述

伪标签生成与校正模块

  • IPG模块基于自监督学习构建2D伪掩码。另一方面，SPG模块通过空间先验信息生成3D伪标签。PVC和RSC模块进一步优化伪标签以保证标签的准确性和一致性。
在这里插入图片描述

跨模态监督

*基于蒸腾响应机制实现了跨模态监督，在教师网络的基础上对学生成员进行指导，并显著提升了多模态分割器的整体性能。

在这里插入图片描述

实验结果与性能提升

基于Waymo数据集的基础上

论文代码

代码链接：https://github.com/jiangxb98/mwsis-plugin

AAAI2024论文合集：

AAAI2024论文合集

期待这些论文能助力你的学习与成长！如果你觉得有收获，请别忘了点赞关注哦！后续我们还会有更多的资源分享给大家。

中文关键词

  1. 多模态
  2. 弱监督
  3. 实例分割
  4. 二维框标注
  5. 伪标签生成
  6. 跨模态监督

全部评论 (0)

还没有任何评论哟~

相关文章推荐

AAAI2024论文合集解读|MWSIS Multimodal Weakly Supervised Instance Segmentation with 2D Bo

论文标题 MWSIS:MultimodalWeaklySupervisedInstanceSegmentationwith2DBoxAnnotationsforAutonomousDriving基于二...

Weakly Supervised Instance Segmentation using Class Peak Response 解读

基于弱监督的实例分割 一.使用PeakResponseMapPRM实现对图像中目标的位置的定位。 1.1在全卷积神经网络最后的分类器部分（CNNclassifiers）可以生成类响应图（classre...

Weakly supervised learning of instance segmentation with inter-pixelrelations（CVPR2019）

摘要 本文提出了一种以图像级类标签作为监督的实例分割学习方法。我们的方法生成训练图像的伪实例分割标签，用于训练完全监督模型。为了生成伪标签，我们首先从图像分类模型的注意图中识别对象类的自信种子区域，并...

AAAI2024论文解读|Self-Supervised Likelihood Estimation with Energy Guidance for Anomaly Segmentation in

论文标题 SelfSupervisedLikelihoodEstimationwithEnergyGuidanceforAnomalySegmentationinUrbanScenes基于能量引导的自...

[WSIS] Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images

1\.Motivation 弱监督实例分割（WSIS） WeaklysupervisedinstancesegmentationWSISisimportantincomputervisionforat...

【论文笔记】Simple Does It: Weakly Supervised Instance and Semantic Segmentation

abstract Semanticlabellingandinstancesegmentationaretwotasksthatrequireparticularlycostlyannotations...

【论文阅读】SPMF-Net: Weakly Supervised Building Segmentation...

文章目录 摘要 2\.Methodology 2.1WeakSupervisionLabelGeneration 2.1.1SuperpixelPooling 2.1.2MultiScaleFeatu...

Weakly Supervised Instance Segmentation using Class Peak Response阅读笔记

论文链接：https://arxiv.org/abs/1804.00880 目前技术空缺 目前大部分弱监督下的实例分割技术需要大范围像素级的标注去训练深度神经网络，然而这种方法往往耗费大量人力物力[1...

论文阅读《Object Instance Mining for Weakly Supervised Object Detection》

1主要思想 弱监督目标检测（WSOD）仅仅使用的是图像级别的标注从而实现解决目标检测问题，在过去几年中得到了一些研究者的关注，而当前存在的一些解决方法都存在自己的局限性，例如使用最广泛的MIL（多实例...

Weakly supervised object recognition with convolutional neural networks 论文解读

1\.ModelOverview 1.1什么是weaklysupervisedlearning <https://stackoverflow.com/questions/18944805/whatis...