메모리 수요를 줄이는 기술이 메모리 주식을 떨어뜨렸어요.

들어가며

구독자님, 수요일 미국 증시에서 흥미로운 장면이 나왔어요. 나스닥 100이 상승하는 와중에, 메모리 반도체 주식만 역행해서 빠졌거든요. 샌디스크 -5.7%, 웨스턴 디지털 -4.7%, 씨게이트 -4%, 마이크론 -3%. 방아쇠를 당긴 건 구글 리서치가 공개한 터보퀀트(TurboQuant)라는 압축 알고리즘이었어요. 한국 주식시장에도 영향이 바로 있었어요. 현재 이 뉴스레터를 쓰고 있는 18시 기준으로, 삼성전자/하이닉스/한미반도체/리노공업/원익IPS 등 반도체 관련 기업들은 대부분 하락을 기록했어요.

“AI가 메모리를 덜 쓰게 해주는 기술” — 헤드라인만 보면 메모리 업체들에게 나쁜 소식처럼 보이죠. 그런데 이 기술이 실제로 줄이는 건 GPU 위의 임시 기억 공간(KV 캐시)이지, 서버에 꽂히는 HBM¹​이나 DRAM 모듈이 아니에요. 시장이 읽은 신호와 기술이 말하는 신호 사이에 간극이 있고, 그 간극 너머에는 AI 하드웨어 전체에 걸친 더 큰 질문이 있어요. 오늘은 그 간극과 질문을 함께 짚어볼게요. (솔직히, 원리 별로 안궁금하면 “시장은 왜 반응했을까”파트로 바로 넘어가세요!”)

터보퀀트가 실제로 하는 일

먼저 기술부터 정리해볼게요. AI가 대화를 이어갈 때, 앞에서 한 말을 기억하려면 KV 캐시²​라는 임시 메모리에 정보를 저장해야 해요. 대화가 길어질수록 이 메모리는 기하급수적으로 늘어나고, 이게 AI 서비스 비용을 올리는 주범 중 하나예요. 터보퀀트는 이 기억을 최대한 작게 압축하면서도, 내용을 거의 그대로 유지하는 알고리즘이에요. 추가 학습이나 파인튜닝이 필요 없고요.

핵심 아이디어를 비유로 설명하면 이래요. 원래 AI가 저장하는 데이터는 숫자의 크기가 제각각이에요. 어떤 값은 크고, 어떤 값은 작고, 분포가 들쭉날쭉하죠. 이런 데이터는 효율적으로 압축하기 어려워요. 터보퀀트의 첫 번째 단계인 폴라퀀트(PolarQuant)는 이 데이터에 무작위 회전(random rotation)을 적용해서, 모든 값들의 분포를 균일하게 만들어 버려요. 마치 크기가 제각각인 짐들을 한번 잘 뒤섞어서 전부 비슷한 크기로 정리하는 거예요. 이렇게 되면 동일한 규격의 상자에 아주 효율적으로 담을 수 있어요. 논문의 수학적 표현으로는, 회전 후 각 좌표가 베타 분포를 따르게 되면서 좌표 간 거의 독립적이 되어 최적의 스칼라 양자화³​를 개별 적용할 수 있다는 거예요.

그런데 여기서 한 가지 문제가 더 있어요. AI는 단순히 정보를 저장하는 게 아니라, 저장된 정보들끼리 얼마나 비슷한지 비교(내적 연산)하는 작업을 끊임없이 해요. 논문이 증명한 바에 따르면, MSE(평균제곱오차)에 최적화된 양자화기는 이 비교값에서 체계적 편향(bias)이 생겨요. 그래서 두 번째 단계인 QJL(양자화된 존슨-린덴스트라우스)이 필요해요. 1차 압축으로 덩어리를 줄인 뒤, 남은 잔여 오차(residual)를 단 1비트로 한 번 더 보정하는 방식이에요. 이 2단계 접근법 덕분에 비교값의 편향이 완전히 제거돼요.

논문의 실험 결과를 보면, 3.5비트에서 원래 모델과 사실상 동일한 품질을 유지하고, 2.5비트로 더 과감하게 줄여도 품질 저하가 미미했어요. Llama-3.1-8B-Instruct 모델 기준으로 LongBench 벤치마크 평균 점수가 비압축 대비 거의 같았고(50.06 vs 50.06), 10만 4천 토큰 길이의 Needle in a Haystack 테스트에서는 100% 정확도를 유지했어요. 압축률은 4.5배 이상이고요.

특히 인상적인 건 속도예요. 기존 제품 양자화(PQ) 방식이 1,536차원 데이터를 인덱싱하는 데 약 240초가 걸렸는데, 터보퀀트는 0.0013초밖에 안 걸렸어요. 약 18만 배 차이예요. 이건 터보퀀트가 데이터에 맞춰 코드북을 학습할 필요가 없는 온라인(data-oblivious) 방식이기 때문이에요.

다만 한 가지 짚어야 할 게 있어요. 구글 블로그에서 강조한 “최대 8배 속도 향상”이라는 숫자는 어텐션 로짓 연산이라는 특정 단계에서, JAX 베이스라인 대비로 측정된 거예요. 전체 추론 처리량(end-to-end throughput)의 8배가 아니에요. 그리고 “6배 메모리 축소”도 블로그와 논문 사이에 미세한 차이가 있어요 — 논문은 좀 더 보수적으로 “4.5배 이상”이라고 표현해요. 수치가 발표 채널에 따라 다르게 포장되는 건, 기술 뉴스를 읽을 때 늘 주의해야 할 부분이에요.