[西安交通大学][高校贡献][PyTorch][Swin-Transformer-V2]--初次提交 · Pull Request !2593 · Ascend/ModelZoo-PyTorch

# Swin-Transformer-V2 for PyTorch

-   [概述](概述.md)
-   [准备训练环境](准备训练环境.md)
-   [开始训练](开始训练.md)
-   [训练结果展示](训练结果展示.md)
-   [版本说明](版本说明.md)

# 概述

## 简述

Swin Transformer在扩展模型容量和窗口分辨率时存在以下两个问题：一是扩展模型容量的不稳定问题，二是扩展模型容量的不稳定问题。针对这两个问题，Swin Transformer V2提出后归一化（post normalization）技术和缩放余弦注意力（scaled cosine attention）方法，来提高大型视觉模型的稳定性；提出 log-spaced 连续位置偏差技术，可有效地将在低分辨率图像和窗口中预训练的模型迁移到更高分辨率对应模型。

- 参考实现：

```
  url=https://github.com/microsoft/Swin-Transformer
  commit_id=575a2924baccbbfb6af6d9c52cd8d482da5eb49c
  ```

- 适配昇腾 AI 处理器的实现：

```
  url=https://gitee.com/ascend/ModelZoo-PyTorch.git
  code_path=PyTorch/contrib/cv/classification
  ```

- 通过Git获取代码方法如下：

```
  git clone {url} # 克隆仓库的代码
  cd {code_path} # 切换到模型代码所在路径，若仓库下只有该模型，则无需切换
  ```

- 通过单击“立即下载”，下载源码包。

# 准备训练环境

## 准备环境

- 当前模型支持的固件与驱动、 CANN 以及 PyTorch 如下表所示。

**表 1**  版本配套表

| 配套       | 版本                                                         |
  | ---------- | ------------------------------------------------------------ |
  | 固件与驱动 | [5.1.RC2](https://www.hiascend.com/hardware/firmware-drivers?tag=commercial) |
  | CANN       | [5.1.RC2](https://www.hiascend.com/software/cann/commercial?version=5.1.RC2) |
  | PyTorch    | [1.8.1](https://gitee.com/ascend/pytorch/tree/master/)       |

- 环境准备指导。

请参考《[Pytorch框架训练环境准备](https://www.hiascend.com/document/detail/zh/ModelZoo/pytorchframework/ptes)》。

- 安装依赖。

```
  pip install -r requirements.txt
  ```

## 准备数据集

1. 获取数据集。

用户自行获取原始数据集，使用的开源数据集为ImageNet，将数据集上传到服务器任意路径下并解压。 数据集目录结构如下所示：

```
    ├── ImageNet
      ├──train
           ├──类别1
                 │──图片1
                 │──图片2
                 │   ...       
           ├──类别2
                 │──图片1
                 │──图片2
                 │   ...   
           ├──...                     
      ├──val  
           ├──类别1
                 │──图片1
                 │──图片2
                 │   ...       
           ├──类别2
                 │──图片1
                 │──图片2
                 │   ...    
   ```

> **说明：** 
   > 该数据集的训练过程脚本只作为一种参考示例

# 开始训练

## 训练模型

1. 进入解压后的源码包根目录。

```
   cd /${模型文件夹名称}
   ```

2. 运行训练脚本。
   该模型支持单机单卡训练和单机8卡训练。

- 单机单卡训练

启动单卡训练。

```
     bash ./test/train_performance_1p.sh --data_path={data/path}	# 1p性能
     ```

- 单机8卡训练

启动8卡训练。

```
     bash ./test/train_performance_8p.sh --data_path={data/path}   # 8p性能
     bash ./test/train_full_8p.sh --data_path={data/path}          # 8p精度
     bash ./test/train_eval_8p.sh --data_path={data/path}          # 8p验证 
     ```

--data_path参数填写数据集路径。

对于train_eval_8p.sh，--pth_path参数指定evaluate的模型参数文件路径。

# 训练结果展示

**表 2**  训练结果展示表
## Swin-Transformer-V1-Tiny2
| NAME    | Acc@1 |  FPS | Epochs | AMP_Type |
| ------- | ----- | ---: | ------ | -------: |
| 1p-gpu | -     |  257.56 | 1      |        O2 |
| 1p-NPU  | -   |   284.87 | 1      |       O2 |
| 8p-gpu | 53.0 | 2049.5| 20    |        O2 |
| 8p-NPU  | 56.0 | 2260.69 | 20    |       O2 |
## Swin-Transformer-V1-Tiny2-finetune
| NAME    | Acc@1 |  FPS | Epochs | AMP_Type |
| ------- | ----- | ---: | ------ | -------: |
| 1p-gpu | -     |  328 | 1      |        O2 |
| 1p-NPU  | -   |   453.83 | 1      |       O2 |
| 8p-gpu | 80.9 | 2402| 30    |        O2 |
| 8p-NPU  | 81.414 | 3590.8 | 30    |       O2 |
## Swin-Transformer-V1-Small
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 157  |   1    |    O1    |
| 1p-NPU |   -   | 191  |   1    |    O1    |
| 8p-GPU | 62.93 | 1324 |   21   |    O1    |
| 8p-NPU | 64.15 | 1463 |   21   |    O1    |
## Swin-Transformer-V1-Small-finetune
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 212  |   1    |    O2    |
| 1p-NPU |   -   | 244  |   1    |    O2    |
| 8p-GPU | 83.26 | 1604 |   30   |    O2    |
| 8p-NPU | 83.68 | 1834 |   30   |    O2    |
## Swin-Transformer-V1-base
| NAME    | Acc@1 |  FPS | Epochs | AMP_Type |
| ------- | ----- | ---: | ------ | -------: |
| 1p-gpu | -     |  127.44 | 1      |        O1 |
| 1p-NPU  | -   |   148.65 | 1      |       O1 |
| 8p-gpu | 72.9 | 1066 | 50    |        O1 |
| 8p-NPU  | 72.0 | 641.85 | 50    |       O1 |
## Swin-Transformer-V1-base-finetune
| NAME    | Acc@1 |  FPS | Epochs | AMP_Type |
| ------- | ----- | ---: | ------ | -------: |
| 1p-gpu | -     |  53.028 | 1      |        O2 |
| 1p-NPU  | -   |   43.24 | 1      |       O2 |
| 8p-gpu | 84.53 | 404.71 | 10    |        O2 |
| 8p-NPU  | 83.98 | 348.21 | 10    |       O2 |
## Swin-Transformer-V1-Large-finetune
| NAME    | Acc@1 |  FPS | Epochs | AMP_Type |
| ------- | ----- | ---: | ------ | -------: |
| 1p-gpu | -     |  112 | 1      |        O2 |
| 1p-NPU  | -   |   131 | 1      |       O2 |
| 8p-gpu | 86.04 | 852.78| 30    |        O2 |
| 8p-NPU  | 86.3 | 1023.80 | 30    |       O2 |
## Swin-Transformer-V2-Tiny
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 249  |   1    |    O2    |
| 1p-NPU |   -   | 255  |   1    |    O2    |
| 8p-GPU | 71.97 | 1869 |   65   |    O2    |
| 8p-NPU | 72.11 | 1992 |   65   |    O2    |
## Swin-Transformer-V2-Large-finetune
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 60.44 |   1    |    O2    |
| 1p-NPU |   -   | 47.47  |   1    |    O2    |
| 8p-GPU | 86.2 | 464.51 |   5   |    O2    |
| 8p-NPU | 86.1 | 352.42 |   5   |    O2    |
## Swin-Transformer-V2-base
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 110   |   1    |    O2    |
| 1p-NPU |   -   | 97   |   1    |    O2    |
| 8p-GPU | 86.13 | 833  |   30   |    O2    |
| 8p-NPU | 86.08 | 776  |   30   |    O2    |
## Swin-Transformer-V2-base-finetune
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 95   |   1    |    O2    |
| 1p-NPU |   -   | 65   |   1    |    O2    |
| 8p-GPU | 86.13 | 717  |   30   |    O2    |
| 8p-NPU | 86.08 | 491  |   30   |    O2    |
## Swin-Mlp-Tiny
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 259  |   1    |    O2    |
| 1p-NPU |   -   | 322  |   1    |    O2    |
| 8p-GPU | 60.91 | 1421 |   25   |    O2    |
| 8p-NPU | 60.73 | 2317 |   25   |    O2    |
## Swin-Mlp-Base
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 141  |   1    |    O1    |
| 1p-NPU |   -   | 188  |   1    |    O1    |
| 8p-GPU | 70.58 | 1026 |   42   |    O1    |
| 8p-NPU | 70.63 | 1417 |   42   |    O1    |
## Swin-Transformer-V2-Small
|  NAME  | Acc@1 | FPS  | Epochs | AMP_Type |
| :----: | :---: | :--: | :----: | :------: |
| 1p-GPU |   -   | 118  |   1    |    O2    |
| 1p-NPU |   -   |  81  |   1    |    O2    |
| 8p-GPU | 82.11 | 614  |  100   |    O2    |
| 8p-NPU | 82.19 | 597  |  100   |    O2    |

# 版本说明

2022.11.15：版本1.0。

## 已知问题

无。

Ascend/ModelZoo-PyTorch .gitee-modal { width: 500px !important; }

搜索帮助

Ascend/ModelZoo-PyTorch