Model Compression
[Intro] 딥러닝 경량화 모델 방법론 소개
2014년 Google이 제시한 Incetption V1은 약 5M의 파라미터를 가지고 있으며 ImageNet 데이터셋에서 약 69%의 정확도를 보여주었다. 2017년 발표된 ResNext101은 83.6M개의 파라미터를 가지고 있으며 80.9%의 정확도를 나타냈다. 모델의 크기가 커질수록 정확도가 향상된다는것은 모두가 알고있는 사실이지만 11%의 정확도를 상승시키고자 16배이상 커진 파라미터갯수를 보고있노라면, 한번쯤 효율성 측면에서 고려해봐야할듯하다. 이러한 비효율적인 딥러닝 모델을 비판하기 위해서 2019년 MIT에서 발간된 발행물에서는, Transformer를 통해 획득한 NLP 모델의 경우 자동차 5대가 신차 구매시점에부터 폐차할때까지 탄소 소비량과 같음을 지적하였다. 뿐만아니라GPU를 수십대 ..
2021. 1. 8. 09:48
최근댓글