1. 模型輕量化方法
模型輕量化的關鍵在於在保持性能的前提下，減少模型的參數量和計算需求，以便於在移動設備和嵌入式系統中高效運行。本文總結了多種常見的模型輕量化方法：
- 剪枝(Pruning): 簡化網路結構，移除冗餘連接，分為後剪枝（模型訓練後進行）和訓練時剪枝（模型訓練過程中）。通過微調調整剪枝後的性能，以達到性能與大小的最佳平衡。
- 量化(Quantization): 通過降低權重表示精度，如將32位浮點數量化為8位定點數，減少存儲空間和計算需求。偽量化和定點化是兩種量化策略，前者在推理時還原為高精度，後者在推理時保持低精度。
- 參數/權值共享(Parameter Sharing): CNN中的權值共享，如ALBert的參數共享，可大幅減小參數量，對模型大小壓縮效果顯著但對計算加速作用有限。
- 低秩分解/張量分解: 通過矩陣分解減少參數量，提升計算效率，如通過MN矩陣分解為MK+KN。
- 知識蒸餾(Knowledge Distillation): 大模型知識遷移到小模型，通過蒸餾訓練減小模型大小和計算量。
- 高效網路設計: 如MobileNet的深度可分離卷積、ShuffleNet的群組概念和Adapter等，通過結構優化減小模型。
- 其他技術：如正則化、激活函數選擇、特徵金字塔結構等，以及1x1卷積核、全局平均池化等，都是輕量化模型的有效手段。
Yolov5通過綜合運用這些方法，實現了模型在不同場景下的高效部署，提升了性能和運行效率。