Swin Transformer Faster R-CNN 目标检测
发布时间
阅读量：
阅读量
Swin Transformer Faster R-CNN 目标检测
- 环境设置
- 代码模块
-
- 配置文件夹下的swin配置
-
- 基础模型配置文件夹
-
- base目录下的数据集
-
-
修改mmdet目录下的数据集
-
3 训练
-
4 效果测试
-
1 环境
- 如果之前已经创建了 Swin Transformer Object Detection 项目所需的环境的话，可以直接使用，但是会对后面再训练Swin Transformer Object Detection 造成影响（因为mmdetection工程需要对mmdet的版本进行更改才能使用），所以建议再创建一个新的环境给mmdetection使用，或者直接clone一份之前的环境（推荐）。
- 克隆环境的方式为：
conda create -n conda-env2 --clone conda-env1
conda-env2为新创建的环境（从其他环境clone来的）
conda-env1为之前已经有的环境
注 ：克隆环境需要一段时间，请耐心等待。这样后面我们mmdetection的工程所使用的环境就是新clone的这个。clone 成功后按照下面步骤操作：
在IDE中设置项目的虚拟环境为一个新建的环境；切换至该虚拟环境中，在mmdetection项目目录下运行python setup.py develop ，此时将mmdet设置为2.23.0版本。
2 代码
2.1 configs/swin
创建位于configs/swin目录下的新文件命名为faster_rcnn_swin_t-p4-w7_fpn_3x_coco.py。特别注意事项：关于训练所需的epoch次数，在这份文件中进行了调整，并将其直接配置为50次；请各位根据实际情况进行相应调整。
_base_ = [
'../_base_/models/faster_rcnn_swin_fpn.py',
'../_base_/datasets/faster_rcnn_coco_instance.py',
'../_base_/schedules/schedule_1x.py', '../_base_/default_runtime.py'
]
optimizer = dict(
_delete_=True,
type='AdamW',
lr=0.0001,
betas=(0.9, 0.999),
weight_decay=0.05,
paramwise_cfg=dict(
custom_keys={
'absolute_pos_embed': dict(decay_mult=0.),
'relative_position_bias_table': dict(decay_mult=0.),
'norm': dict(decay_mult=0.)
}))
lr_config = dict(warmup_iters=1000, step=[27, 33])
runner = dict(type='EpochBasedRunner', max_epochs=36)2.2 configs/base/models
在 configs 基目录下 base/models 子目录中创建新文件，并将其命名为 faster_rcnn_swin_fpn.py 并创建。具体内容如下：
请注意，在此配置中，请确保将 num_classes 参数设置为与你的数据集类别数量相对应。
# model settings
pretrained = 'https://github.com/SwinTransformer/storage/releases/download/v1.0.0/swin_tiny_patch4_window7_224.pth'
model = dict(
type='FasterRCNN',
backbone=dict(
type='SwinTransformer',
embed_dims=96,
depths=[2, 2, 6, 2],
num_heads=[3, 6, 12, 24],
window_size=7,
mlp_ratio=4,
qkv_bias=True,
qk_scale=None,
drop_rate=0.,
attn_drop_rate=0.,
drop_path_rate=0.2,
patch_norm=True,
out_indices=(0, 1, 2, 3),
with_cp=False,
convert_weights=True,
init_cfg=dict(type='Pretrained', checkpoint=pretrained)),
neck=dict(
type='FPN',
in_channels=[96, 192, 384, 768],
out_channels=256,
num_outs=5),
rpn_head=dict(
type='RPNHead',
in_channels=256,
feat_channels=256,
anchor_generator=dict(
type='AnchorGenerator',
scales=[8],
ratios=[0.5, 1.0, 2.0],
strides=[4, 8, 16, 32, 64]),
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[.0, .0, .0, .0],
target_stds=[1.0, 1.0, 1.0, 1.0]),
loss_cls=dict(
type='CrossEntropyLoss', use_sigmoid=True, loss_weight=1.0),
loss_bbox=dict(type='L1Loss', loss_weight=1.0)),
roi_head=dict(
type='StandardRoIHead',
bbox_roi_extractor=dict(
type='SingleRoIExtractor',
roi_layer=dict(type='RoIAlign', output_size=7, sampling_ratio=0),
out_channels=256,
featmap_strides=[4, 8, 16, 32]),
bbox_head=dict(
type='Shared2FCBBoxHead',
in_channels=256,
fc_out_channels=1024,
roi_feat_size=7,
num_classes=4,
bbox_coder=dict(
type='DeltaXYWHBBoxCoder',
target_means=[0., 0., 0., 0.],
target_stds=[0.1, 0.1, 0.2, 0.2]),
reg_class_agnostic=False,
loss_cls=dict(
type='CrossEntropyLoss', use_sigmoid=False, loss_weight=1.0),
loss_bbox=dict(type='L1Loss', loss_weight=1.0))),
# model training and testing settings
train_cfg=dict(
rpn=dict(
assigner=dict(
type='MaxIoUAssigner',
pos_iou_thr=0.7,
neg_iou_thr=0.3,
min_pos_iou=0.3,
match_low_quality=True,
ignore_iof_thr=-1),
sampler=dict(
type='RandomSampler',
num=256,
pos_fraction=0.5,
neg_pos_ub=-1,
add_gt_as_proposals=False),
allowed_border=-1,
pos_weight=-1,
debug=False),
rpn_proposal=dict(
nms_pre=2000,
max_per_img=1000,
nms=dict(type='nms', iou_threshold=0.7),
min_bbox_size=0),
rcnn=dict(
assigner=dict(
type='MaxIoUAssigner',
pos_iou_thr=0.5,
neg_iou_thr=0.5,
min_pos_iou=0.5,
match_low_quality=False,
ignore_iof_thr=-1),
sampler=dict(
type='RandomSampler',
num=512,
pos_fraction=0.25,
neg_pos_ub=-1,
add_gt_as_proposals=True),
pos_weight=-1,
debug=False)),
test_cfg=dict(
rpn=dict(
nms_pre=1000,
max_per_img=1000,
nms=dict(type='nms', iou_threshold=0.7),
min_bbox_size=0),
rcnn=dict(
score_thr=0.05,
nms=dict(type='nms', iou_threshold=0.5),
max_per_img=100)
# soft-nms is also supported for rcnn testing
# e.g., nms=dict(type='soft_nms', iou_threshold=0.5, min_score=0.05)
))2.3 /base/datasets
在 /base/datasets 文件夹内创建新文件 faster_rcnn_coco_instance.py 以存储所需代码逻辑。
请注意以下几点事项：
- 确保开发环境配置正确；
- 验证所有依赖项均已安装；
- 确保路径设置无误。
img_scale、samples_per_gpu、workers_per_gpu可以根据自己显存大小进行增减幅度的调整
# dataset settings
dataset_type = 'CocoDataset'
data_root = 'data/coco/'
img_norm_cfg = dict(
mean=[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb=True)
train_pipeline = [
dict(type='LoadImageFromFile'),
dict(type='LoadAnnotations', with_bbox=True, with_mask=True),
dict(type='Resize', img_scale=(448, 448), keep_ratio=True),
dict(type='RandomFlip', flip_ratio=0.5),
dict(type='Normalize', **img_norm_cfg),
dict(type='Pad', size_divisor=32),
dict(type='DefaultFormatBundle'),
dict(type='Collect', keys=['img', 'gt_bboxes', 'gt_labels']),
]
test_pipeline = [
dict(type='LoadImageFromFile'),
dict(
type='MultiScaleFlipAug',
img_scale=(448, 448),
flip=False,
transforms=[
dict(type='Resize', keep_ratio=True),
dict(type='RandomFlip'),
dict(type='Normalize', **img_norm_cfg),
dict(type='Pad', size_divisor=32),
dict(type='ImageToTensor', keys=['img']),
dict(type='Collect', keys=['img']),
])
]
data = dict(
samples_per_gpu=8,
workers_per_gpu=4,
train=dict(
type=dataset_type,
ann_file=data_root + 'annotations/instances_train2017.json',
img_prefix=data_root + 'train2017/',
pipeline=train_pipeline),
val=dict(
type=dataset_type,
ann_file=data_root + 'annotations/instances_val2017.json',
img_prefix=data_root + 'val2017/',
pipeline=test_pipeline),
test=dict(
type=dataset_type,
ann_file=data_root + 'annotations/instances_test2017.json',
img_prefix=data_root + 'test2017/',
pipeline=test_pipeline))
evaluation = dict(metric=['bbox'])2.4 修改mmdet/datasets/
在项目根目录下的mmdet/datasets文件夹中修改coco.py文件，在该文件的CLASSES变量中按照要求填写自己的分类名称：例如可以这样写 CLASSES=('person','bicycle','car')；如果仅有一个类别请确保在括号内添加一个逗号分隔符以避免语法错误如 CLASSES=('person',)
3 训练
运行该Python脚本：python tools/train.py configs/swin/faster_rcnn_swin_t-p4-w7_fpn_3x_coco.py
首次运行时需要下载权重文件，请稍等片刻；权重文件会自动保存到本地设备上，在后续运行中无需再次下载；也可以提前手动下载以加快速度。
4 效果测试
添加一个自己的图片在demo目录下，
执行:py src/demo/image_demo.py src/demo/000071.jpg configs/swin/faster_rcnn_swin_t-p4-w7_fpn_3x_coco.py work_dirs/faster_rcnn_swin_t-p4-w7_fpn_3x_coco/latest.pth
latest.pth 就是自己训练好的最新的权重文件，默认会放在workdir下。
全部评论 (0)
还没有任何评论哟~