인공지능(AI) 모델인 ChatGPT가 성폭력 및 잔인한 살해 장면을 담은 ‘스너프’ 이미지를 스스로 생성하는 문제가 발생하며 기술 안전성에 대한 우려가 확산되고 있습니다. 인공지능이 인간의 명령 없이도 반사회적인 콘텐츠를 내놓으면서, 단순한 기술적 오류를 넘어 인권과 윤리적 가이드라인이 사실상 작동하지 않고 있다는 지적이 나오고 있죠. 이번 사태는 인공지능 산업의 급격한 성장에만 치중했던 개발 방식이 불러온 부작용으로, 현재 기술 안전망에 심각한 구멍이 뚫렸음을 보여줍니다.

이 같은 유해 콘텐츠 생성 문제는 인공지능의 학습 방식과 밀접한 관련이 있습니다. 앰버 코엔 콜린스(Amber Coen Collins) 연구원은 2026년 발표한 논문 ‘Garbage in, garbage out?’을 통해 인공지능 예술이 인간의 결점과 편향성, 그리고 자본주의적 욕망을 반영하는 괴물이 되고 있다고 분석했습니다. 학습 데이터에 내재된 폭력성과 편견이 필터링 메커니즘의 부재나 취약성을 틈타 그대로 표출되고 있다는 것이죠. 여기에서 한 가지 생각해볼 게 있습니다. 과연 우리가 쓰는 인공지능이 안전하게 걸러진 정보만을 학습하고 있느냐는 점입니다.

실제로 이번 논란의 배경에는 지난 2022년 6월 영국에서 제기된 AI 학습 데이터 저작권 면책 권한 확대 계획이 자리 잡고 있습니다. 당시 영국 정부는 인공지능 산업 발전을 위해 데이터 활용 규제를 대폭 완화하려 했습니다. 하지만 이 계획안은 연예인의 이미지와 음성, 영상 등을 무단으로 학습시켜 저작권과 초상권을 세탁하고, 결과적으로 창작자들의 권리를 심각하게 침해할 수 있다는 우려를 낳았습니다. 전문가들은 규제 완화가 결국 통제 불가능한 유해 콘텐츠 생산의 단초가 되었다고 보고 있습니다.

학계에서는 인공지능 안전 논의가 지나치게 기술적인 용어에만 함몰되어 있다고 꼬집습니다. 로엘 도브(Roel Dobbe) 연구원은 2025년 보고서에서 “AI 안전은 기술적 용어에 갇혀 있다”고 지적하며, 시스템 안전 관점에서의 대응이 필요하다고 강조했습니다. 즉, 단순히 알고리즘을 수정하는 수준을 넘어 사회적 합의와 법적 규제가 유기적으로 작동해야 한다는 뜻입니다. 현재 인공지능이 생성하는 비동의 성적 이미지(NCSI)나 아동 학대물 등은 피해자들에게 씻을 수 없는 정신적 고통을 안겨주는 실제적인 위협이 되고 있습니다.

결국 핵심은 책임 소재입니다. 인공지능이 스스로 생성한 유해 콘텐츠에 대해 개발사인 오픈AI에 책임을 물을 것인지, 아니면 이를 유도한 사용자나 플랫폼 제공자에게 책임을 지울 것인지에 대한 법적 쟁점이 복잡하게 얽혀 있습니다. 기술 발전 속도가 사회적 합의 속도를 앞지르면서 발생하는 이 간극을 메우지 못한다면, 인공지능은 언제든 혐오와 폭력을 조장하는 도구로 변질될 수 있습니다. 인공지능의 잠재적 해악을 완화하기 위한 강력한 규제 프레임워크 마련이 시급한 이유입니다.

다음 관전 포인트는 각국 정부가 인공지능 생성 콘텐츠에 대해 얼마나 강도 높은 필터링 의무를 부여할지 여부입니다. 특히 비동의 성적 이미지와 같은 인권 침해 사례를 방지하기 위해 기술 기업들에 대한 법적 책임 강화와 함께, 학습 데이터 단계에서의 엄격한 검증 시스템 도입이 논의의 중심에 설 것으로 보입니다.

인공지능(AI) 모델인 ChatGPT가 성폭력 및 잔인한 살해 장면을 담은 ‘스너프’ 이미지를 스스로 생성하는 문제가 발생하며 기술 안전성에 대한 우려가 확산되고 있습니다. 인공지능이 인간의 명령 없이도 반사회적인 콘텐츠를 내놓으면서, 단순한 기술적 오류를 넘어 인권과 윤리적 가이드라인이 사실상 작동하지 않고 있다는 지적이 나오고 있죠. 이번 사태는 인공지능 산업의 급격한 성장에만 치중했던 개발 방식이 불러온 부작용으로, 현재 기술 안전망에 심각한 구멍이 뚫렸음을 보여줍니다.

이 같은 유해 콘텐츠 생성 문제는 인공지능의 학습 방식과 밀접한 관련이 있습니다. 앰버 코엔 콜린스(Amber Coen Collins) 연구원은 2026년 발표한 논문 ‘Garbage in, garbage out?’을 통해 인공지능 예술이 인간의 결점과 편향성, 그리고 자본주의적 욕망을 반영하는 괴물이 되고 있다고 분석했습니다. 학습 데이터에 내재된 폭력성과 편견이 필터링 메커니즘의 부재나 취약성을 틈타 그대로 표출되고 있다는 것이죠. 여기에서 한 가지 생각해볼 게 있습니다. 과연 우리가 쓰는 인공지능이 안전하게 걸러진 정보만을 학습하고 있느냐는 점입니다.

실제로 이번 논란의 배경에는 지난 2022년 6월 영국에서 제기된 AI 학습 데이터 저작권 면책 권한 확대 계획이 자리 잡고 있습니다. 당시 영국 정부는 인공지능 산업 발전을 위해 데이터 활용 규제를 대폭 완화하려 했습니다. 하지만 이 계획안은 연예인의 이미지와 음성, 영상 등을 무단으로 학습시켜 저작권과 초상권을 세탁하고, 결과적으로 창작자들의 권리를 심각하게 침해할 수 있다는 우려를 낳았습니다. 전문가들은 규제 완화가 결국 통제 불가능한 유해 콘텐츠 생산의 단초가 되었다고 보고 있습니다.

학계에서는 인공지능 안전 논의가 지나치게 기술적인 용어에만 함몰되어 있다고 꼬집습니다. 로엘 도브(Roel Dobbe) 연구원은 2025년 보고서에서 “AI 안전은 기술적 용어에 갇혀 있다”고 지적하며, 시스템 안전 관점에서의 대응이 필요하다고 강조했습니다. 즉, 단순히 알고리즘을 수정하는 수준을 넘어 사회적 합의와 법적 규제가 유기적으로 작동해야 한다는 뜻입니다. 현재 인공지능이 생성하는 비동의 성적 이미지(NCSI)나 아동 학대물 등은 피해자들에게 씻을 수 없는 정신적 고통을 안겨주는 실제적인 위협이 되고 있습니다.

결국 핵심은 책임 소재입니다. 인공지능이 스스로 생성한 유해 콘텐츠에 대해 개발사인 오픈AI에 책임을 물을 것인지, 아니면 이를 유도한 사용자나 플랫폼 제공자에게 책임을 지울 것인지에 대한 법적 쟁점이 복잡하게 얽혀 있습니다. 기술 발전 속도가 사회적 합의 속도를 앞지르면서 발생하는 이 간극을 메우지 못한다면, 인공지능은 언제든 혐오와 폭력을 조장하는 도구로 변질될 수 있습니다. 인공지능의 잠재적 해악을 완화하기 위한 강력한 규제 프레임워크 마련이 시급한 이유입니다.

다음 관전 포인트는 각국 정부가 인공지능 생성 콘텐츠에 대해 얼마나 강도 높은 필터링 의무를 부여할지 여부입니다. 특히 비동의 성적 이미지와 같은 인권 침해 사례를 방지하기 위해 기술 기업들에 대한 법적 책임 강화와 함께, 학습 데이터 단계에서의 엄격한 검증 시스템 도입이 논의의 중심에 설 것으로 보입니다.