2025/01/021 Accelerating Large-Scale Inference with Anisotropic Vector Quantization(ICML'20) Paper: https://dl.acm.org/doi/abs/10.5555/3524938.3525302Summary기존 quantization technique의 문제점목적함수가 reconstruction error를 최소화하는 방식으로 정의되는데, 모든 데이터포인트 $x$, 쿼리 $q$ 쌍이 동일하게 중요하지 않다. 높은 inner product 값을 갖는 쌍에서의 에러가 더욱 중요하다.해결책score-aware quantization loss 도입: 각 (x, q) 쌍의 내적에 따른 weight를 반영한 목적함수를 정의한다. 이는 datapoint $x$에 평행한 parallel residual error와 수직인 orthogonal residual error로 분해된다. 큰 inner product.. 2025. 1. 2. 이전 1 다음