[Quantization] Integer Quantization for Deep Learning Inference

이번에 살펴본 논문은 Nvidia에서 발간한 Integer Quantization for Deep Learning Inference이다. 2020년 4월에 공개되었으며, Low Bit 양자화에 대한 개념을 소개하고있는 논문이다. 내용도 쉽고 기본개념을 익히기에 좋기때문에 상세히 살펴보도록 하겠다. Uniform vs Non-Uniform 양자화를 진행하는 방법에는 큰 범주에서 2가지가 있다. 먼저 균일 양자화(Uniform) 방법이다. 이는 Floating Point로 되어있는 Input이나 가중치를 정수형태 또는 고정소수점 형태로 변환하여 연산하는 형태이다. 변환 이후의 값이 가지는 표현범위를 보면 균일한 간격으로 구성이 되어있다. 예를들어 8-Bit 데이터 타입이라면 -128 ~ 127까지 표현범위를..