[Quantization] Bi-Real Net

Bi-Real Net은 2018년에 출시된 비교적 최근 논문이다. 1-Bit 양자화를 진행함에 있어 ResNet에서 사용했던 Shortcut Connection과 같은 기법을 도입하였으며, 기존에 양자화를 사용할때 사용했던 몇가지 방법론을 수정하여 성능을 개선하였다. 바로 알아보자. ShortCut Connection 기존 방법론과 같이 Sign 함수를 통해 양자화를 진행하게 된다. Activation 관점에서 바라보면 양자화 하게 된 후 Conv Layer와 연산을 통해 다음 Layer로 전달되게 된다. 이것은 기존의 방법론이고, 저자가 제안하는 방법은 연산이 모두 이루어진 FeatureMap에 양자화가 되기 전 Activation FeatureMap을 더하기 연산을 하여(Short Cut Connec..