Commit 3da1eb1f by Zhihong Ma

doc: add Readme

parent c312eace
## update: <br>2023.4.23<br>
1. 实现了MobileNetV2的PTQ量化
2. 目前存在一些问题:<br>
虽然PTQ量化后的acc比较合理,但权值参数相似度比较不正常。无法拟合出合理的曲线。<br>
对数据分析并通过tensorboard观察,一些计算量/参数量大的层在图中观察数据分布相似度较高,但计算出的js散度较大,又因为其加权权重较大,导致了整体的js距离很大。
3. 后续将检查出现问题的原因是代码设计问题还是加权系数不适用于MobileNetV2
## update: <br>2023.4.23<br>
对PoT量化进行单独的考虑,先只是量化权值,看一下权值分布相似度跟acc的关系。然后选一个acc比较高的PoT权值保持不变,再用不同的数据表示去量化激活,这时候看激活的位宽和acc的关系。<br>
因为在PTQ的freeze后,qb.scale已经固定(对bias的量化有直接影响),所有的scale都不方便重新修改,因此INT量化无法被用作激活<br>
FP量化因为受scale影响相对较小,因此可以被试着作为激活量化。具体数据在POT_ptq_result_ResNet50.xlsx和POT_ptq_result_ResNet152.xlsx中。<br>
以FP作为激活的ResNet50,152中的数据有相似的规律,不过目前还没能解释为什么E1经常acc较高,E2,E3降低,E4又回升。
## update: <br>2023.4.17<br> ## update: <br>2023.4.17<br>
- 已针对4.12中的问题进行了修正和补充: - 已针对4.12中的问题进行了修正和补充:
......
## update: <br>2023.4.23<br>
1. 本文件夹下的ResNet系列模型的Conv层不具有bias,与经典的ResNet一致。但在含有fold BN操作的ConvBN,ConvBNReLU后,Conv会具有bias,在代码中进行了相应修改以适配。
2. ResNet18的无bias的acc比有bias的略高。且无bias的情况下,训练速度明显增快。
3. 修正了一系列小bug
4. 一系列拟合图
(1) 有PoT:
resnet18:
<img src = "fig/18_flops_nobias.png" class="h-90 auto">
<img src = "fig/18_params_nobias.png" class="h-90 auto">
resnet50:
<img src = "fig/50_flops_nobias.png" class="h-90 auto">
<img src = "fig/50_params_nobias.png" class="h-90 auto">
resnet152:
<img src = "fig/152_flops_nobias.png" class="h-90 auto">
<img src = "fig/152_params_nobias.png" class="h-90 auto">
(2) 无PoT:
resnet18:
<img src = "fig/18_flops_nobias_nopot.png" class="h-90 auto">
resnet50:
<img src = "fig/50_flops_nobias_nopot.png" class="h-90 auto">
resnet152:
<img src = "fig/152_flops_nobias_nopot.png" class="h-90 auto">
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment