[中山大学计算机学院][高校贡献][PyTorch训练][TinyBERT]-初次提交 · Pull Request !88 · Ascend/ModelZoo-PyTorch

基于PyTorch的TinyBERT训练
===================

- 参考实现：
```
url=https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/TinyBERT 
branch=master 
```
- 精度性能

|device|acc of 1p|acc of 8p|fps of 1p|fps of 8p 
|  ----  | ----  | ----| ----|----|
|GPU|91.63|90.94|337.50|2308.89| 
|NPU|90.85|90.04|94.54|554.09|
|baseline(TinyBERT<sub>4</sub>)|92.6|None|None|None|
|requirement|87.6|None|None|None|

自验报告
=======
```
# 1p train perf
# 是否正确输出了性能log文件
bash ./test/train_performance_1p_1.sh
# 验收结果： OK

# 8p train perf
# 是否正确输出了性能log文件
bash ./test/train_performance_8p_1.sh
# 验收结果： OK

# 8p train full
# 是否正确输出了性能精度log文件，是否正确保存了模型文件
bash ./test/train_full_8p_1.sh
bash ./test/train_full_8p_2.sh
# 验收结果： OK

# 8p eval
# 是否正确输出了精度log文件
bash ./test/train_eval_8p.sh 
# 验收结果： OK
# 备注： 功能正确，无输出日志（精度直接打印在屏幕上）

# finetuning
# 是否正确执行迁移学习
bash ./test/train_finetune_1p.sh
# 验收结果： OK
# 备注： 切换至MNLI数据集，能够加载BERT模型参数的同时，去掉分类器原始的参数，通过计算类别数自动初始化分类器参数，达到迁移学习的效果。

# online inference demo 
# 是否正确输出预测结果，请确保输入固定tensor多次运行的输出结果一致
bash ./test/demo.sh
# 验收结果： OK
# 备注： 功能正确，无输出日志。每次demo实验会设置一个随机数组作为固定输入，且循环20次。预测结果直接打印至屏幕，并判断前后两次输出是否一致。
```

在reviewer检视时你想要和他说的
=====
（1）由于华为官方要求perf文件需要控制在30min或1000steps内，且TinyBERT模型单次epoch耗时较长，因此perf代码设置了跑1000steps自动停止的功能。
（2）因为代码本身会自动检查模型输出的文件夹是否为空，若非空就会报错，所以请在每次运行脚本前，将模型输出至的文件夹清空，以保证正常运行。

Ascend/ModelZoo-PyTorch .gitee-modal { width: 500px !important; }

搜索帮助

Ascend/ModelZoo-PyTorch