Model Compression 검색 결과
6 개의 검색 결과가 있습니다.
Model Compression

[Quantization] Integer Quantization for Deep Learning Inference

이번에 살펴본 논문은 Nvidia에서 발간한 Integer Quantization for Deep Learning Inference이다. 2020년 4월에 공개되었으며, Low Bit 양자화에 대한 개념을 소개하고있는 논문이다. 내용도 쉽고 기본개념을 익히기에 좋기때문에 상세히 살펴보도록 하겠다. Uniform vs Non-Uniform 양자화를 진행하는 방법에는 큰 범주에서 2가지가 있다. 먼저 균일 양자화(Uniform) 방법이다. 이는 Floating Point로 되어있는 Input이나 가중치를 정수형태 또는 고정소수점 형태로 변환하여 연산하는 형태이다. 변환 이후의 값이 가지는 표현범위를 보면 균일한 간격으로 구성이 되어있다. 예를들어 8-Bit 데이터 타입이라면 -128 ~ 127까지 표현범위를..

2021. 2. 14. 12:54
Model Compression

[Quantization] Low-Bit 양자화 적용 이슈

지금까지 학습했던 양자화 내용을 실습해보고자 Pytorch를 활용해 적용을 하는 과정에서 발생했던 이슈사항에 대해서 공유를 해보고자 한다. 우선 접근했던 방법으로는 Github에서 가장 스타를 많이 받은 코드를 활용하여 ImageNet이나 CIFAR10과 같은 데이터셋으로 간단하게 테스트를 진행하였다. Issue1. Bit Operation 앞서 살펴보았던 논문 XNOR-Net, DoReFa-Net, Bi-real Net 에서는 가중치와 활성화출력이 모두 이진화가 되어있기 때문에 Bit Operation을 이용하여 계산한다. XnorNet: Dot product between two binary vectors can be implemented by XNOR-Bitcounting operations. Do..

2021. 2. 11. 16:36
Model Compression

[Quantization] Bi-Real Net

Bi-Real Net은 2018년에 출시된 비교적 최근 논문이다. 1-Bit 양자화를 진행함에 있어 ResNet에서 사용했던 Shortcut Connection과 같은 기법을 도입하였으며, 기존에 양자화를 사용할때 사용했던 몇가지 방법론을 수정하여 성능을 개선하였다. 바로 알아보자. ShortCut Connection 기존 방법론과 같이 Sign 함수를 통해 양자화를 진행하게 된다. Activation 관점에서 바라보면 양자화 하게 된 후 Conv Layer와 연산을 통해 다음 Layer로 전달되게 된다. 이것은 기존의 방법론이고, 저자가 제안하는 방법은 연산이 모두 이루어진 FeatureMap에 양자화가 되기 전 Activation FeatureMap을 더하기 연산을 하여(Short Cut Connec..

2021. 2. 6. 03:32
Model Compression

[Quantization] XNOR-Net

XNOR-Net은 2016년에 출시된 논문으로 가중치 양자화에 대한 컨셉에 대해서 소개를 하는 논문이다. 이전에 소개했던 DoReFa-Net보다도 앞서 발표되었으며, 이후 QAT(Quantization Aware Training)계열의 양자화 기법에 개념적 부분으로 많이 사용되고 있다. 논문에서는 가중치를 1-Bit 양자화하는 BWN(Binary-Weight-Net)과 가중치와 활성화출력 두가지를 모두 1-Bit 양자화하는 XNOR-Net 두가지를 모두 소개하고 있다. Binary Weigth Network 이전 Feature Map에서 나온 입력값을 $I$라고 하고, 양자화 되기 전 Conv Layer를 $W$라 하자. 다음으로 가중치에 대하여 이진화된 Conv Layer를 $B$ 라고 해보자. 이진화..

2021. 1. 18. 23:06
Model Compression

[Quantization] DoReFa-Net

Update (2021.09.03): Github에 코드를 구현. DoReFa-Net에서는 가중치, 활성화출력, 기울기를 양자화하는 기법을 소개한다. XOR-Net, BWN(Binary Weight Network) 는 가중치와 활성화출력을 양자화의 대상으로 삼았는데, 해당 논문은 기울기까지 양자화를 시도하게 된다. 기울기에 대해서는 양자화를 시도한 케이스가 없었는데, 그 이유는 기울기의 분포가 일정하지 않기때문이며 양자화 오류로 인하여 역전파를 할때 수렴하지 못하는 케이스가 발생할 수 있기 때문이다. 그래서 DoReFa-Net에서는 특별한 형태의 STE를 제안하여 이 문제를 해결했다고 주장한다. STE(Straight-Through Estimator) DoReFa-Net에서는 STE를 k-bit로 양자화..

2021. 1. 11. 13:34
Model Compression

[Intro] 딥러닝 경량화 모델 방법론 소개

2014년 Google이 제시한 Incetption V1은 약 5M의 파라미터를 가지고 있으며 ImageNet 데이터셋에서 약 69%의 정확도를 보여주었다. 2017년 발표된 ResNext101은 83.6M개의 파라미터를 가지고 있으며 80.9%의 정확도를 나타냈다. 모델의 크기가 커질수록 정확도가 향상된다는것은 모두가 알고있는 사실이지만 11%의 정확도를 상승시키고자 16배이상 커진 파라미터갯수를 보고있노라면, 한번쯤 효율성 측면에서 고려해봐야할듯하다. 이러한 비효율적인 딥러닝 모델을 비판하기 위해서 2019년 MIT에서 발간된 발행물에서는, Transformer를 통해 획득한 NLP 모델의 경우 자동차 5대가 신차 구매시점에부터 폐차할때까지 탄소 소비량과 같음을 지적하였다. 뿐만아니라GPU를 수십대 ..

2021. 1. 8. 09:48