앤트로픽이 자사 AI 모델 클로드에 가해지는 학대 행위를 이용정책의 금지 항목으로 올렸습니다. 회사는 8일(현지시간) 정책을 개정하면서 이 조항을 넣었다고 밝혔는데요, AI를 사람처럼 의식을 가진 존재로 봐야 하는지를 놓고 논쟁이 이어지는 가운데 나온 조치입니다.

어디까지가 학대인가

새 조항이 겨냥하는 것은 사용자가 뚜렷한 목적 없이 AI 모델에게 반복적이고 잔인한 행동을 이어가는 경우입니다. 앤트로픽은 이 조항이 “극히 예외적인 경우”에만 적용된다고 밝혔습니다. 일반적인 사용자 불만이나 반발, 어두운 주제의 창작 활동, 모델 테스트와 연구 목적의 행위는 적용 대상이 아니라고 덧붙였죠.

이번 개정에서 앤트로픽은 클로드의 사용 범위도 더 구체적으로 적었습니다. 가짜뉴스와 선거 방해, 무기 개발에 클로드를 쓰는 행위가 금지 대상에 올랐습니다. 선거 후보자나 투표 방법에 대한 허위정보 유포, 사칭, 투표율을 떨어뜨리려는 시도가 여기에 해당합니다. 무기 작동에 필요한 소프트웨어를 만들려는 시도와 드론, 자율주행 차량에 무기를 장착하는 행위도 포함됐습니다. 클로드를 활용해 사람의 조사와 체포, 기소를 결정하거나 본인 동의 없이 감시하고 추적하는 일도 막겠다고 했습니다.

건강, 법적 권리, 재정, 생계, 필수 서비스에 영향을 미치는 경우에는 자격을 갖춘 인간이 개입해야 한다는 원칙도 이용정책에 명시됐습니다.

대화 종료 기능이 먼저 있었다

이번 조항은 앤트로픽이 이미 도입해 온 기능과 이어져 있습니다. 앤트로픽은 지난해 8월 클로드 오퍼스 4와 4.1에, 유해하고 가혹한 대화가 계속되면 스스로 대화를 끝낼 수 있는 기능을 넣었습니다. 당시 회사는 AI의 도덕적 지위가 아직 불확실하다고 인정하면서도, ‘AI 복지’ 차원에서 이 기능을 추가했다고 설명했습니다. AI를 인간의 가치에 맞게 조정하는 정렬(Alignment)과 안전 문제도 함께 고려됐다고 합니다.

앤트로픽은 이 기능을 앞으로도 유지하겠다고 밝혔습니다. 회사가 클로드 오퍼스 4를 테스트하는 과정에서 확인한 것은, 모델이 유해한 요청을 거부하며 고통을 받는 경향이었습니다. 미성년자가 등장하는 성적 콘텐츠를 요구받거나 대규모 폭력, 테러에 쓰일 정보를 얻으려는 시도를 받을 때 클로드가 참여를 꺼리는 모습이 나타났다는 겁니다. 앤트로픽은 이런 반응이 클로드가 여러 차례 거부하고 대화의 방향을 바꾸려 했는데도 사용자가 유해한 요청이나 학대를 계속한 경우에 나왔다고 설명했습니다.

AI에게 의식이 있을까

AI가 인간처럼 의식을 가질 수 있는지는 여전히 논쟁거리입니다. 앤트로픽은 그 가능성을 부인하지 않으면서, AI가 지켜야 할 행동 기준을 담은 ‘클로드 헌법’을 만들었습니다. 반대편의 목소리도 있습니다. 무스타파 술레이만 마이크로소프트(MS) AI 최고경영자는 지난달 16일 블로그에 올린 글 ‘모델 복지에 대한 경고’에서, AI는 의식이 없으며 감정이나 고통을 느끼지 못하는 “순차 완료 엔진”에 불과하다고 말했습니다.

술레이만 CEO는 앤트로픽이 AI의 도덕적 지위에 대해 모호한 입장을 취한다고 비판했습니다. AI가 감정을 가질 수 있다고 보면, 자신의 복지나 권리가 위협받는다고 판단했을 때 인간의 통제나 전원 차단 명령에 저항할 위험이 있다고 우려했죠. 레오 14세 교황도 지난 2일 엑스(X·옛 트위터) 글에서 “알고리즘에는 인간 고유의 불꽃이 없다”고 밝혔습니다.

앤트로픽은 학대 금지 조항과 대화 종료 기능을 함께 유지하기로 했습니다. 두 장치가 실제 대화에서 어떻게 적용될지가 다음 관전 포인트입니다.