實(shí)驗(yàn)結(jié)果

圖像分類(lèi)任務(wù)：

本文在CIFAR10和ImageNet等圖像分類(lèi)數(shù)據(jù)集進(jìn)行INT8訓(xùn)練實(shí)驗(yàn)。從下表結(jié)果中可以看出，在大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)中均取得了比現(xiàn)有最好方法更優(yōu)的精度，并且首次在MobileNet、Inception等網(wǎng)絡(luò)上進(jìn)行量化訓(xùn)練實(shí)驗(yàn)，精度損失也在1．5％以內(nèi)。

目標(biāo)檢測(cè)任務(wù)：

同時(shí)，本文也首次嘗試在PASCAL和COCO等目標(biāo)檢測(cè)數(shù)據(jù)集上進(jìn)行INT8訓(xùn)練實(shí)驗(yàn)，精度損失也在2％以內(nèi)。

已有的少量探究梯度量化的論文［4］均未報(bào)告算法在實(shí)際訓(xùn)練任務(wù)中的真實(shí)加速性能，為了最大限度將方法實(shí)用化，本文在GeForce GTX1080TI顯卡上編寫(xiě)并優(yōu)化了用于支持INT8訓(xùn)練的卷積前向和后向計(jì)算核心。實(shí)測(cè)結(jié)果表明，使用INT8卷積計(jì)算的前向和后向過(guò)程相比于浮點(diǎn)計(jì)算有明顯的加速，其中前向過(guò)程平均加速1．63倍，后向過(guò)程平均加速1．94倍。如下圖所示：

同時(shí)，本文在實(shí)際訓(xùn)練過(guò)程中進(jìn)行了完整的端到端測(cè)試，可以看到，INT8訓(xùn)練可以將ResNet50的一輪訓(xùn)練過(guò)程從0．360秒降低到0．293秒，整體訓(xùn)練過(guò)程提速了22％。

References 

［1］ Ruihao Gong， Xianglong Liu， Shenghu Jiang， TianxiangLi，Peng Hu， Jiazhen Lin， Fengwei Yu， and Junjie Yan． Differen－tiable softquantization：  Bridging full－precisionand low－bitneural networks． In ICCV， October 2019．

［2］ RundongLi， Yan Wang， Feng Liang， Hongwei Qin， Junjie Yan， and Rui Fan． Fully quantizednetwork for object detection． In The IEEE Conference on Computer Vision andPattern Recognition （CVPR）， June 2019．

［3］ Benoit Jacob，Skirmantas Kligys， Bo Chen， Menglong Zhu， Matthew Tang， Andrew Howard， HartwigAdam， and Dmitry Kalenichenko． Quantization and training of neural networks forefficient integer－arithmetic－only inference． 2018 IEEE Conference on ComputerVision and Pattern Recognition（CVPR）， June 2018．

［4］ Yukuan Yang， Shuang Wu， LeiDeng， Tianyi Yan， Yuan Xie， and Guoqi Li． Training high－performance andlarge－scale deep neural networks with full 8－bit integers， 2019．