AI를 실제로 돌리는 비용이 급속도로 떨어지고 있습니다. 분기마다 평균 47%씩 하락하고 있으며, 1년 전과 비교하면 비용이 13분의 1 수준까지 내려갔습니다. 이 정도 속도라면 DNA 시퀀싱이나 컴퓨터 성능 개선, 리튬배터리 기술 진전처럼 빠르게 혁신되는 분야보다도 4배에서 18배 빨리 가격이 내려간다는 뜻입니다.
여기서 말하는 추론이란 AI 모델이 학습을 마친 뒤 실제 작업을 수행하는 단계를 일컫습니다. ChatGPT에 질문하고 답을 얻는 것, 사진을 분류하거나 추천 알고리즘이 개인화 콘텐츠를 보여주는 것 — 이런 모든 일이 추론인데요. 따라서 이 비용이 떨어진다는 건 AI 서비스 업체의 수익성이 올라간다는 뜻이자, 동시에 사용자 입장에서는 더 저렴한 가격으로 더 많은 AI를 경험할 수 있다는 의미입니다.

이런 급격한 비용 하락을 이끄는 건 소프트웨어 알고리즘의 개선과 함께 반도체 기술의 혁신입니다. 지금까지 기술 방식을 보면 AI 학습 단계에는 초고속 메모리인 HBM을 사용해 왔고, 학습된 데이터를 보관할 때는 일반 플래시 메모리를 썼죠. 그런데 이미 학습을 마친 모델로 추론을 할 때는 이 두 기술 사이의 성능을 모두 충족하는 솔루션이 필요했습니다. SK하이닉스와 샌디스크가 공동 개발 중인 HBF(고대역폭플래시)가 바로 그 답입니다.
HBF는 낸드플래시 칩을 여러 층으로 적층하여 HBM만큼 빠른 속도를 내면서도, 가격은 훨씬 저렴하고 용량은 8배에서 16배 더 큽니다. 이 제품은 SK하이닉스의 고도화된 패키징 기술과 샌디스크의 낸드 설계 역량이 합쳐진 결과물입니다. 특히 읽기 성능과 에너지 효율을 최적화했기 때문에, 방대한 데이터를 빠르게 처리해야 하는 AI 추론 환경에 맞춤형이라고 할 수 있습니다.
추론 비용이 이렇게 떨어지면 어떤 변화가 일어날까요? 지금까지는 막대한 자본을 가진 대형 IT 기업들만 충분한 규모의 AI 시스템을 구축하고 운영할 수 있었습니다. 하지만 비용 장벽이 낮아지면 중소기업이나 스타트업, 개인 개발자도 자신의 필요에 맞춘 AI 솔루션을 직접 만들고 키울 수 있게 됩니다. 이미지 생성이나 번역, 질의응답 같은 AI 서비스가 훨씬 더 많은 사람들에게 열리는 셈입니다.
SK하이닉스와 샌디스크는 올해 하반기 샘플 출시를 목표로 2027년 초 첫 번째 탑재 시스템이 나올 전망입니다. 앞으로 HBF가 얼마나 빠르게 시장에 자리 잡고, 그것이 추론 비용을 추가로 얼마나 낮출 수 있을지가 이 흐름을 지켜볼 핵심입니다.
.webp)
.webp)
.webp)