## update: <br>2023.4.24<br>
- 解决的问题：
1. PoT拟合异常 <br>
2. 曲线拟合效果较差
- 思路记录<br>
在解决MobileNetV2遇到的js散度，曲线拟合问题时，发现了F.normalize对相似度计算的影响很大，其虽然能够帮助把量化后的权值参数调整成与全精度模型相同的scale，但是导致数据分布改变过大，进而导致了出现了反常的关系和拟合结果。具体思路和分析可见MobileNetV2的readme，此处同样也使用了fakefreeze来将量化后的权值参数dequantize，使其与全精度模型的权值参数处于相同的scale，再直接用js散度计算距离。
<br>
在ResNet系列上进行了重新实验，ResNet50，152的数据和曲线待程序运行完后再补充. <br>
ResNet18:
<img src = "fig/18_flops_f.png" class="h-90 auto">
<img src = "fig/18_params_f.png" class="h-90 auto">
可以看到曲线拟合效果有了非常好的提升。

## update: <br>2023.4.23<br>
1. 本文件夹下的ResNet系列模型的Conv层不具有bias，与经典的ResNet一致。但在含有fold BN操作的ConvBN，ConvBNReLU后，Conv会具有bias，在代码中进行了相应修改以适配。
2. ResNet18的无bias的acc比有bias的略高。且无bias的情况下，训练速度明显增快。
3. 修正了一系列小bug
4. 一系列拟合图
(1) 有PoT:
resnet18:
<img src = "fig/18_flops_nobias.png" class="h-90 auto">
<img src = "fig/18_params_nobias.png" class="h-90 auto">
resnet50:
<img src = "fig/50_flops_nobias.png" class="h-90 auto">
<img src = "fig/50_params_nobias.png" class="h-90 auto">
resnet152:
<img src = "fig/152_flops_nobias.png" class="h-90 auto">
<img src = "fig/152_params_nobias.png" class="h-90 auto">
(2) 无PoT:

resnet18:
<img src = "fig/18_flops_nobias_nopot.png" class="h-90 auto">

resnet50:
<img src = "fig/50_flops_nobias_nopot.png" class="h-90 auto">

resnet152:
<img src = "fig/152_flops_nobias_nopot.png" class="h-90 auto">
