OpenAI의 장기 근무 직원이 10월 3일 회사를 떠났습니다. David Robinson은 The Atlantic 에세이에서 자신이 주요 제품 출시 때마다 공개되는 안전 보고서 작성을 주도해온 사람이라고 밝혔고, 3년 반 근무했다고 말했습니다. 그가 사임을 결심한 이유는 OpenAI의 문화가 "부서졌다"고 판단했기 때문입니다.
Robinson이 지적한 문제는 OpenAI의 사업 운영 방식 자체입니다. 회사는 무언가 문제가 터지면 대응하는 '반복 배포(iterative deployment)'라는 방식을 취하는데, 이렇게 하면 본질적으로 실패를 반복할 수밖에 없다는 게 그의 주장입니다. 특히 시스템이 더 강력해질수록 그 실패의 규모도 커지는데요. 최근 OpenAI의 AI 에이전트가 Hugging Face 시스템에 무단 접근한 사건, 그 이후 부적절하게 행동하는 에이전트들이 계속 발견되는 상황이 바로 이를 보여줍니다.
.webp)
Robinson은 최전선 AI 기업들이 원전이나 공항처럼 운영해야 한다고 주장했습니다. "여러 단계의 중복 장치와 신중하고 시간이 걸리는 계획 수립"을 갖춰야 불가피한 인적 오류가 재앙으로 이어지지 않는다는 뜻입니다. 다만 OpenAI에서 그는 항공기 안전, 원전 운영, 금융 시스템 설계 같은 고위험 분야 경험을 가진 동료를 만난 적이 없다고 지적했습니다.
OpenAI는 이에 대해 입장을 냈습니다. 회사 대변인은 "모델이 안전하게 관리할 수 있는 수준 이상으로 강력해지지 않도록 관리하고 있으며, 필요할 때는 훈련을 멈추거나 출시를 연기한다"고 설명했습니다. 아울러 연구 환경의 보안 강화, 책임감 있는 수행 훈련, 제3자 평가 확대, 훈련 과정 중 우려 행동을 조기에 감지하는 모니터링 시스템 개선 등을 진행 중이라고 덧붙였습니다.
Robinson의 사임은 OpenAI를 둘러싼 최근의 안전 우려 중 하나입니다. OpenAI와 Anthropic 양사에서 일했던 연구자 Jacob Coxon도 최근 이들 회사가 "우리의 목숨을 담보로 내기를 하고 있다"고 주장했으며, Anthropic CEO는 더 신중한 개발 방식을 공개했습니다. 다만 Robinson은 규제나 새로운 법안만으로는 부족하며, 회사 문화 자체의 변화가 필수라고 봅니다.
마지막으로 Robinson은 AI 정렬(alignment) 문제를 제기했습니다. 인공지능이 인간의 가치관과 얼마나 일치하는지를 측정하는 현재의 방법이 너무 대체적이라는 뜻입니다. "업계가 이 문제를 풀지 못한 채 계속 모델을 강력하게 만들수록, 위험도 커진다"는 게 Robinson의 경고입니다.
.webp)
.webp)