오픈AI와 앤트로픽, 구글, 마이크로소프트(MS) 4개사가 AI 학습 자료 수집을 거부하는 공통 신호를 지원하기로 했습니다. 현지시간 30일 발표된 이 신호를 쓰면 웹사이트 운영자는 한 줄짜리 공통 토큰으로 AI 학습용 수집을 한꺼번에 막으면서 검색 크롤링은 허용할 수 있습니다.

봇마다 지정하던 방식에서 한 줄로

기존에는 번거로운 절차가 필요했습니다. 운영자가 robots.txt 파일에 AI 기업의 크롤링 봇을 하나씩 지정해 차단해야 했고, 새 봇이 생기면 목록에 다시 추가해야 했습니다.

새 신호는 국제인터넷표준화기구(IETF)에 개인 초안으로 제출됐습니다. IETF는 인터넷 기술 표준을 논의하는 국제기구인데, 이번 초안은 아직 공식 표준이 아닙니다. 초안은 앤트로픽의 케빈 켈리 기술 표준 책임자가 작성했습니다.

강제력도 없습니다. 기업들이 자발적으로 따르는 규약이어서, robots.txt를 바꾼 뒤에도 이미 수집된 자료는 삭제되지 않습니다.

기업별 적용 시점

적용 시기는 회사마다 다릅니다. 앤트로픽은 이미 공통 신호를 시행 중이고, 오픈AI는 향후 수개월 안에 적용할 계획입니다. 오픈AI는 이번 조치를 “개방형 웹을 향한 실용적인 발걸음”이라고 평가했습니다.

MS는 2027년 2월 1일부터 적용합니다. 블로그를 통해서는 검색 노출과 생성형 모델 학습 허용 여부 중 하나를 강요받아서는 안 된다는 입장을 내놨습니다. 구글은 2027년 초 적용을 목표로 하고 있습니다.

메타의 앤디 스톤 커뮤니케이션 총괄은 엑스(X)에서 이번 조치의 중요성을 언급했습니다. 다만 메타가 공통 신호에 동참할지는 분명하지 않습니다.

소송과 도서 공급

이번 발표 이전부터 주요 언론사와 출판계는 무분별한 AI 학습 자료 수집에 소송 등으로 맞서 왔습니다. 앤트로픽도 소송이 진행 중인데, 미국 캘리포니아 연방 북부지방법원 사건번호 3:24-cv-05417의 증거 서류에는 종이책을 구매한 뒤 AI 학습에 활용했다는 의혹이 담겨 있습니다.

국내에서는 웅진씽크빅 자회사 웅진북센이 앤트로픽에 책을 댔습니다. 공급은 2025년 3월부터 2026년 6월까지 이어졌습니다. 물량은 165.69톤인데, 권당 400g으로 환산하면 약 41만4000권입니다.