AI가 사람과 대화를 나눌 때, 앞서 나눈 대화 내용을 기억해야 자연스러운 답변이 가능합니다. 이때 사용하는 임시 저장 공간을 'KV 캐시'라고 불러요. 마치 우리가 복잡한 수학 문제를 풀 때 옆에 놓아두는 연습장과 같은 개념입니다. 대화가 길어지고 복잡해질수록 이 연습장은 금방 꽉 차버리고, 그러면 AI는 정보를 처리하는 속도가 느려지거나 더 많은 메모리 공간을 요구하게 됩니다.

터보퀀트는 이 연습장에 적는 글씨를 아주 작게 줄여서 쓰는 기술이라고 이해하면 쉽습니다. 구글의 연구 결과에 따르면, 터보퀀트를 적용했을 때 메모리 사용량을 최대 6분의 1까지 줄일 수 있다고 해요. 연습장 6권을 써야 했던 내용을 단 1권에 다 담아낼 수 있게 된 셈이죠. 심지어 속도는 기존보다 최대 8배나 빨라졌다고 하니, 효율성 면에서는 엄청난 도약이라 할 수 있습니다.

기술적으로는 훌륭한 진보지만, 투자자들의 마음은 조금 복잡했습니다. AI 성능을 높이기 위해 그동안 구글이나 엔비디아 같은 빅테크 기업들이 비싼 메모리인 HBM(고대역폭 메모리)을 대량으로 사들여왔기 때문입니다. 그런데 알고리즘만으로 메모리 효율을 6배나 높일 수 있다면, 앞으로 HBM을 예전만큼 많이 사지 않아도 되는 것 아니냐는 우려가 나오기 시작한 것입니다.

이런 심리는 주식 시장에 그대로 반영되었습니다. 지난 3월 26일, 미국 나스닥 지수가 오르는 상황에서도 마이크론을 비롯한 주요 메모리 업체들의 주가는 오히려 떨어졌습니다. 국내 시장에서도 세계 HBM 시장 점유율 1위인 SK하이닉스와 삼성전자의 주가가 힘을 쓰지 못했죠. 기술의 발전이 반도체 제조사들에게는 오히려 수요 감소라는 '부메랑'이 되어 돌아올 수 있다는 시각이 힘을 얻은 탓입니다.

하지만 상황을 더 멀리 내다보는 이들은 조금 다른 이야기를 합니다. 이번 기술이 당장 HBM 수요를 깎아먹지는 않을 것이라는 관측입니다. 우선 터보퀀트는 AI를 학습시킬 때가 아니라, 이미 만들어진 AI가 답을 내놓는 '추론' 단계에 주로 쓰이는 기술입니다. 전 세계적으로 AI 모델을 더 크게, 더 똑똑하게 만들려는 학습용 수요는 여전히 줄지 않고 있습니다.

실제로 삼성전자와 SK하이닉스는 2026년까지 팔릴 HBM 물량이 이미 사실상 다 팔린 상태라고 밝힌 바 있습니다. 단순히 압축 기술이 나왔다고 해서 미리 약속된 구매 계획이 취소되기는 어렵다는 뜻입니다. 또한, 메모리 부족 현상은 알고리즘뿐만 아니라 공장을 짓고 수율을 맞추는 물리적인 생산 문제와도 직결되어 있습니다. 여기서 한 가지 생각해볼 게 있습니다. 메모리 사용 효율이 좋아지면, 오히려 더 많은 기업이 적은 비용으로 AI를 도입하게 되고, 결국 전체적인 시장 파이가 커지면서 메모리 수요가 다시 늘어나는 선순환이 일어날 수도 있다는 점입니다.

AI가 사람과 대화를 나눌 때, 앞서 나눈 대화 내용을 기억해야 자연스러운 답변이 가능합니다. 이때 사용하는 임시 저장 공간을 'KV 캐시'라고 불러요. 마치 우리가 복잡한 수학 문제를 풀 때 옆에 놓아두는 연습장과 같은 개념입니다. 대화가 길어지고 복잡해질수록 이 연습장은 금방 꽉 차버리고, 그러면 AI는 정보를 처리하는 속도가 느려지거나 더 많은 메모리 공간을 요구하게 됩니다.

터보퀀트는 이 연습장에 적는 글씨를 아주 작게 줄여서 쓰는 기술이라고 이해하면 쉽습니다. 구글의 연구 결과에 따르면, 터보퀀트를 적용했을 때 메모리 사용량을 최대 6분의 1까지 줄일 수 있다고 해요. 연습장 6권을 써야 했던 내용을 단 1권에 다 담아낼 수 있게 된 셈이죠. 심지어 속도는 기존보다 최대 8배나 빨라졌다고 하니, 효율성 면에서는 엄청난 도약이라 할 수 있습니다.

기술적으로는 훌륭한 진보지만, 투자자들의 마음은 조금 복잡했습니다. AI 성능을 높이기 위해 그동안 구글이나 엔비디아 같은 빅테크 기업들이 비싼 메모리인 HBM(고대역폭 메모리)을 대량으로 사들여왔기 때문입니다. 그런데 알고리즘만으로 메모리 효율을 6배나 높일 수 있다면, 앞으로 HBM을 예전만큼 많이 사지 않아도 되는 것 아니냐는 우려가 나오기 시작한 것입니다.

이런 심리는 주식 시장에 그대로 반영되었습니다. 지난 3월 26일, 미국 나스닥 지수가 오르는 상황에서도 마이크론을 비롯한 주요 메모리 업체들의 주가는 오히려 떨어졌습니다. 국내 시장에서도 세계 HBM 시장 점유율 1위인 SK하이닉스와 삼성전자의 주가가 힘을 쓰지 못했죠. 기술의 발전이 반도체 제조사들에게는 오히려 수요 감소라는 '부메랑'이 되어 돌아올 수 있다는 시각이 힘을 얻은 탓입니다.

하지만 상황을 더 멀리 내다보는 이들은 조금 다른 이야기를 합니다. 이번 기술이 당장 HBM 수요를 깎아먹지는 않을 것이라는 관측입니다. 우선 터보퀀트는 AI를 학습시킬 때가 아니라, 이미 만들어진 AI가 답을 내놓는 '추론' 단계에 주로 쓰이는 기술입니다. 전 세계적으로 AI 모델을 더 크게, 더 똑똑하게 만들려는 학습용 수요는 여전히 줄지 않고 있습니다.

실제로 삼성전자와 SK하이닉스는 2026년까지 팔릴 HBM 물량이 이미 사실상 다 팔린 상태라고 밝힌 바 있습니다. 단순히 압축 기술이 나왔다고 해서 미리 약속된 구매 계획이 취소되기는 어렵다는 뜻입니다. 또한, 메모리 부족 현상은 알고리즘뿐만 아니라 공장을 짓고 수율을 맞추는 물리적인 생산 문제와도 직결되어 있습니다. 여기서 한 가지 생각해볼 게 있습니다. 메모리 사용 효율이 좋아지면, 오히려 더 많은 기업이 적은 비용으로 AI를 도입하게 되고, 결국 전체적인 시장 파이가 커지면서 메모리 수요가 다시 늘어나는 선순환이 일어날 수도 있다는 점입니다.