STEPQuant, 순환 상태 6비트 압축으로 서빙 메모리 최대 68.7% 절감
10월 8일 9시(한국 시각, 00:00 UTC) arXiv에 올라온 논문 STEPQuant는 Delta-rule 방식 선형 어텐션 모델이 요청마다 들고 있는 순환 상태(recurrent state)를 낮은 비트로 줄이는 사후 양자화 방법입니다. Qwen3.8-27B와 Kimi-Linear-48B-A3B-Instruct에서 명목 6비트로 FP32 상태와 가까운 정확도를 냈고, SGLang에 넣었을 때 순환 상태 메모리를 5배 넘게 줄였다고 밝혔습니다.
1/동시 요청이 늘수록 커지는 상태 메모리
선형 어텐션은 KV 캐시처럼 길이에 따라 커지는 저장소 대신 고정 크기의 순환 상태에 과거 토큰을 담습니다. 하지만 요청마다 상태가 따로 필요해서 동시 요청 수에 비례해 메모리가 늘어납니다. 논문에 따르면 공식 SGLang 배포에서 Qwen의 FP32 상태 풀은 동시 요청 70개 지점에서 BF16 가중치 메모리를 넘어섭니다. 그렇다고 상태를 균일하게 양자화하면 오차가 매 디코딩 단계의 업데이트를 거치며 쌓입니다. 논문은 두 모델 모두 4비트와 6비트에서 평균 정확도가 크게 떨어지고, 8비트에서도 눈에 띄는 격차가 남는다고 보고했습니다.
2/오차가 오래 사는 곳에 비트를 더 준다
첫 번째 설계는 시간 축입니다. 상태는 매 단계 갱신되고 다시 양자화되므로, 게이트가 기억을 오래 유지하는 단위일수록 오차도 오래 남습니다. Qwen3.8-27B의 헤드 2304개를 균일 INT6으로 양자화해 보니 게이트 반감기가 긴 헤드일수록 누적 오차가 컸고, 스피어만 상관계수는 약 0.80이었습니다. 이에 따라 Lifetime-aware Bit Allocation은 단위별 양자화 왜곡에 기억 수명 가중치를 곱한 값을 정해진 비트 예산 안에서 최소화하도록 비트를 배분합니다. 단위는 Qwen에서는 헤드 전체, KDA에서는 key 행입니다. 그래도 양자화가 어려운 소수의 단위는 FP16 '피벗'으로 남기며, 이 배분은 오프라인 보정 단계에서 정해 모든 요청에 고정합니다.
3/key 행과 value 열에 따로 스케일을 준다
두 번째 설계는 공간 축입니다. 크기가 같은 오차라도 어느 key 행에서 났느냐에 따라 출력 오차에 미치는 영향이 다릅니다. 논문은 행별 영향 점수를 정의하고, key 행을 영향 순으로 8개 그룹으로 나눠 한 그룹씩만 INT4로 양자화했을 때 영향이 큰 그룹일수록 perplexity가 더 크게 나빠졌다고 보였습니다. 또 상태 행렬에는 key 행과 value 열 양쪽에 큰 값이 몰려 있습니다. 행·열 RMS의 최댓값 대 중앙값 비율은 각각 10.3배, 19.4배였고, 둘 다 샘플 상태의 98.6%에서 3배를 넘었습니다. 그래서 Key-Row-Aware Dual-Axis Fitting은 행 스케일과 열 스케일을 따로 두고, 행 스케일에 현재 크기와 행별 영향 점수를 함께 반영합니다.
4/6비트로 FP32에 근접, 메모리는 최대 68.7% 절감
평가는 장문 생성 과제 7개와 단문 생성 과제 6개에서 했습니다. 명목 6비트 예산에서는 두 모델 모두 FP32 상태 정확도에 가깝게 따라갔습니다. 4비트 구성도 두 모델 모두에서 균일 INT8보다 높았는데, Qwen에서는 FP32에 거의 근접했고 Kimi에서는 약간의 격차가 남았습니다. 압축률은 Qwen 순환 상태 기준 4비트에서 6.93배, 6비트에서 5.03배입니다. SGLang에 최적화 GPU 커널로 통합한 6비트 STEPQuant는 순환 상태를 Qwen에서 5.03배, Kimi에서 5.08배 압축했고, 가중치를 포함한 전체 메모리는 각각 68.7%, 53.7% 줄었습니다. 상태 업데이트는 최대 2.91배 빨라졌습니다. 코드는 GitHub(Dreamer-Toby/STEPQuant)에 공개되어 있습니다.