Advertisement

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

阅读量：

动机：

为什么选择这篇文章？因为其性能卓越，在多个数据集上取得了优异成绩。经过一系列优化后，在各个数据集上均位居前列：支持语义分割、分类以及目标检测任务，并且均跻身前十名。

在这里插入图片描述

CC

CC

CC

CC

注

解题思路

CC

CC

CC

CC

CC

CC

CC

CC

CC

CC

在这里插入图片描述

CC

CC

CC

CC

CC

CC

CC

CC

在这里插入图片描述

CC

CC

CC

在这里插入图片描述

CC

CC

CC

CC

CC

相关工作

CC

CC

Overall Architecture

在这里插入图片描述

CC

CC

CC

在这里插入图片描述

CC

CC

patch merging

在这里插入图片描述

【CC】patch merging的过程如上图

Swin Transformer Blocks

在这里插入图片描述

CC

CC

Efficient modeling

Assuming that each window includes a grid of M×M elements within an image that has been segmented into patches of size h×w, the value of M remains constant, defaulting to 7.

在这里插入图片描述

CC

CC

在这里插入图片描述

Shift Window & Mask

在这里插入图片描述

CC

CC

在这里插入图片描述

【CC】上图是以shift后 左下部分 计算过程分下 mask应该如何设计

在这里插入图片描述

【CC】上图是论文作者在git答疑时画出来的4个mask模板

相对位置编码：

二维相对位置编码有机会再介绍

源码参考链接：

https://github.com/microsoft/Swin-Transformer.

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

动机： 为啥挑这篇文章，因为效果炸裂，各种改款把各种数据集霸榜了：语义分割/分类/目标检测，前10都有它 SwinTransformer,thatcapablyservesasageneralpurp...

Swin Transformer : Hierarchical Vision Transformer using Shifted Windows

论文地址 本文主要研究学习一种新的Transformer架构——SwinTransformer，其目的：新建一个通用架构 Transfoemer从NLP应用到CV领域存在以下几个挑战： 痛点：CV中视...

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

PaperReadingNote URL:<https://arxiv.org/pdf/2103.14030.pdf Milestone！！ transfomer屠榜cnn的最新力作 cnn老年迟暮，...

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

总结 1.移动窗口，在单个窗口中的patch之间做selfAttention，VIT是在所有的patch，每次向右下方移动，增加了不同窗口之间的交互，增加了归纳偏差，减少了计算量，由VIT的平方变为线...

2021：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

摘要 本文提出一种新的视觉Transformer\SwinTransformer，它可以成为计算机视觉的通用主干。从语言到视觉采用Transformer的挑战来自于这两个领域之间的差异，比如视觉实体的...

CVPR2021 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

动机 1、一个跨计算机视觉和自然语言处理的统一体系结构将有利于两个领域的研究，因为它将促进虚拟信号和文本信号的联合建模，并且两个领域的建模知识可以更深入地共享。 计算机视觉中的建模一直由卷积神经网络（...

2021-Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

paper:<https://arxiv.org/abs/2103.14030 code:<https://github.com/microsoft/SwinTransformer 将Transfor...

Swin Transformer详解: Hierarchical Vision Transformer using Shifted Windows

这篇文章结合了CNN的归纳偏置，基于局部窗口做注意力，并且逐步融合到深层transformer层中构建表征，来达到扩大感受野，并且极大降低了计算量。是一个特征提取的主干网络，backbone。

[Paper Notes]: Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

目录 TL;DR 主要设计 窗口注意力 ShiftedWindow 相对位置编码 VisionTransformer架构如何解决动态输入问题 TL;DR swintransformer是基于trans...

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows解读

论文、代码和ppt地址：swintransformer。 ABSTRACT 本文提出了一种新的视觉Transformer，名为SwinTransformer，它能够作为计算机视觉的通用骨干网络。