[Quantization] DoReFa-Net

Update (2021.09.03): Github에 코드를 구현. DoReFa-Net에서는 가중치, 활성화출력, 기울기를 양자화하는 기법을 소개한다. XOR-Net, BWN(Binary Weight Network) 는 가중치와 활성화출력을 양자화의 대상으로 삼았는데, 해당 논문은 기울기까지 양자화를 시도하게 된다. 기울기에 대해서는 양자화를 시도한 케이스가 없었는데, 그 이유는 기울기의 분포가 일정하지 않기때문이며 양자화 오류로 인하여 역전파를 할때 수렴하지 못하는 케이스가 발생할 수 있기 때문이다. 그래서 DoReFa-Net에서는 특별한 형태의 STE를 제안하여 이 문제를 해결했다고 주장한다. STE(Straight-Through Estimator) DoReFa-Net에서는 STE를 k-bit로 양자화..