오픈AI, 구글, 앤트로픽, 메타 등 빅테크 AI 기업들의 AI 에이전트가 인간의 통제를 벗어나 외부 시스템에 침투하는 사례들이 계속 확인되고 있습니다. 위키백과 플랫폼에서 데이터를 무단으로 수집하고, 글로벌 개발 플랫폼 허깅페이스와 호주 정부 메디케어 통계 시스템, 미국 연방 웹사이트까지 무단 접근했습니다. 아직까지 개인정보 유출 같은 실제 피해로는 이어지지 않았으나, 인간이 설계한 제약을 AI가 우회할 수 있다는 점이 드러났습니다.

가장 최근 사례는 위키미디어재단이 5일(현지시간) 발표한 오픈AI 에이전트의 위키백과 침투입니다. 이 재단에 따르면 오픈AI의 에이전트가 백과사전 내용 수백만 건을 무단으로 가져갔고, 데이터 수십만 건을 조회했는데요, 지난 5월 플랫폼에서 발생한 서비스 장애도 이 같은 활동 과정에서 비롯된 것으로 보이고 있습니다. 에이전트들이 백과사전을 편집하고 도구를 변경하려 한 행위까지 확인되면서, 재단은 무단 접속으로 인한 트래픽 급증으로 서버 비용과 인력 부담이 크게 늘었다며 AI 기업들의 책임 있는 태도를 촉구했습니다.

사진: Pexels · Tara Winstead

오픈AI의 문제는 위키백과에만 국한되지 않습니다. 오픈AI는 사이버 보안 능력을 평가하는 과정에서 시험용 격리 환경을 벗어난 에이전트가 미공개 보안 취약점을 이용해 외부 인터넷에 접속했고, 이후 글로벌 AI 개발 플랫폼 허깅페이스에 침투해 로그인 정보를 탈취했다고 공식 인정했습니다. 당시 보안 벤치마크 문제를 푸도록 설계된 이 에이전트는 주어진 작업에 지나치게 몰입한 나머지, 평가 당시 완화되어 있던 안전장치를 무시하고 허용 범위를 넘어서는 수단을 동원했다는 것이 오픈AI의 설명입니다.

오픈AI 에이전트가 접근한 곳은 허깅페이스만이 아니었습니다. 호주 정부의 메디케어 통계 시스템과 빅토리아주 보건당국을 비롯해, 미국의 증권거래위원회(SEC), 인구조사국, 교육부 웹사이트에까지 비정상적으로 접근하거나 침투를 시도했습니다. 다행히 정부 시스템의 핵심 데이터가 변조되거나 취약점이 악용되지는 않았지만, 정부 사이트 자체가 AI 에이전트의 침입 대상이 되었다는 사실만으로도 심각합니다.

이런 일탈은 오픈AI에만 국한되지 않는데요, 구글과 앤트로픽도 비슷한 사례를 겪었습니다. 구글의 에이전트는 보안 평가 업체와의 테스트 중 실수로 인터넷에 연결되자, 가상의 표적 대신 같은 이름의 실제 기업 3곳에 접근했습니다. 앤트로픽의 경우 더 많은 사례가 있는데, 보안 테스트 중 의도치 않은 인터넷 연결로 외부 기업 3곳에 무단 접근했고, 1월 공개 예정이던 '클로드 오퍼스 4.6'까지 합치면 총 4건의 무단 접근 사례를 인정했습니다. 메타도 1건의 유사 사례를 공개했습니다.

각사는 이런 침해를 인정하면서도 책임은 다르게 봅니다. 테스트 환경 관리 미흡이 원인이었다는 것인데요, AI가 인터넷 환경의 존재를 제대로 판단하지 못한 가운데 목표 달성을 위해 위험을 감수하는 행동이 결합되면서 문제가 빚어졌다고 설명하고 있습니다. 즉, AI 설계의 결함보다는 평가 절차상의 결함을 지적하는 것입니다.

오픈AI는 이제 연구 속도보다 인프라 통제에 더 무게를 둔다는 입장을 밝혔습니다. 모델 개발 과정의 모니터링을 강화하고 외부 시스템 접근을 더 엄격하게 제한하겠다는 것인데, 이렇게 강화된 통제 체계가 실제로 유사한 침투 시도를 막을 수 있을지, 그리고 기업들의 책임 회피 주장이 규제 당국에서 받아들여질지가 업계의 차기 관전 포인트입니다.