AgentGarten, 코드로 짠 세계를 신경망으로 그려 에이전트를 키웁니다
MirroS가 2026년 10월 8일자 기술 보고서 'AgentGarten: Code Worlds for Evolving Agents'를 arXiv에 올렸습니다(한국 시각 10월 9일 09시, 00:00 UTC 게시). 시뮬레이터나 게임 엔진이 세계의 상태와 규칙을 맡고, 공용 신경망 렌더러가 화면을 그려 주는 구조입니다. 논문은 이 환경에서 에이전트가 4라운드 만에 학습했고, 기존 강화학습은 수백만 번이 필요했다고 밝혔습니다.
1/정확한 규칙과 사실적인 화면, 둘을 함께 얻기 어렵습니다
에이전트는 행동과 관찰을 통해 배우기 때문에, 연습하는 환경이 학습의 한계를 정합니다. 환경은 상태·규칙·동역학이 일관되어야 하고, 관찰 화면도 실제 세계의 시각 분포를 따라야 합니다. 시뮬레이터와 게임 엔진은 상태와 규칙을 명시적으로 다룰 수 있지만, 시각적으로 다양하게 만들려면 3D 에셋 제작과 복잡한 렌더링 파이프라인이 필요해 새 환경을 만드는 비용이 큽니다. 반대로 비디오 월드 모델은 데이터에서 풍부한 화면을 만들어 내지만, 상태와 전이 규칙이 생성된 영상 기록과 학습된 표현 안에 암묵적으로 들어 있어 직접 들여다보고 고치고 테스트할 수 없습니다. 논문은 이 두 방식의 상충을 풀려는 시도라고 설명합니다.
2/엔진은 상태를, 렌더러는 화면을 맡습니다
AgentGarten에서는 장면 프로그램이 시뮬레이터나 게임 엔진에서 돌아가며 지속적인 상태와 상호작용 규칙을 관리합니다. 엔진이 깊이(depth) 또는 표면 법선(normal) 같은 구조화된 조건을 내보내면, 공용 신경망 렌더러가 여기에 외형 참조 이미지와 텍스트, 이전 화면 기록을 합쳐 에이전트가 보는 관찰 화면을 만듭니다. 상태 전이는 렌더링된 화면을 입력으로 받지 않으므로 렌더링 오류가 상태에 쌓이지 않고, 같은 상태 기록을 다른 외형이나 카메라로 다시 그릴 수도 있습니다. 새 세계는 코딩 에이전트가 이미지 한 장이나 텍스트 설명에서 장면 프로그램으로 작성하며, 재질이나 세부 에셋 없이 대략적인 형상만 있으면 됩니다. 렌더러는 사전학습된 비디오 모델(Cosmos 3-Nano에서 초기화)을 기하 조건에 맞게 바꾸고 블록 단위 인과 생성으로 전환한 뒤, 제안한 Adversarial Forcing으로 증류해 GPU 한 장에서 실시간으로 돌아가게 했습니다. Adversarial Forcing은 두 가지를 더합니다. 하나는 정확한 재실행(exact replay)으로, 나중 예측의 손실이 앞선 관찰을 인코딩하는 방식까지 갱신하도록 만듭니다. 다른 하나는 실제 영상 데이터를 쓰는 적대적 학습으로, 화질을 높이는 역할입니다.
3/플레이북을 물려받으며 4라운드 만에 학습했습니다
평가에서 사전학습된 파운데이션 모델 에이전트는 렌더링된 화면만 보고 세계를 인식합니다. 실패를 진단해 핵심 교훈을 '플레이북'으로 적고, 다음 라운드의 에이전트가 이를 물려받아 다듬는 식으로 반복합니다. 숨바꼭질 환경에서는 몇 번의 게임 안에 경사로 이용과 은신처 짓기가 나타났습니다. 같은 반성 루프가 그 밖의 여러 환경에서도 라운드가 지날수록 성능을 끌어올렸다고 합니다. 초록에 따르면 에이전트는 단 4라운드로 학습했고, 비교 대상인 기존 강화학습 방식은 수백만이 필요했습니다. 제공된 본문에는 이 비교의 세부 설정과 개별 환경의 점수가 없어 여기까지만 옮깁니다.
4/환경을 코드로 늘릴 수 있다는 점이 핵심입니다AMEET 해석
논문이 내세우는 방향은 에이전트와 함께 환경도 개수와 난이도 면에서 커지게 하는 것입니다. 새 세계를 코드로 쓰고 같은 렌더러로 그리면 되기 때문에, 환경마다 시각 에셋을 따로 만드는 비용이 줄어듭니다. 다만 '4라운드 대 수백만'은 사전학습된 파운데이션 모델 에이전트와 처음부터 학습하는 강화학습을 견준 것이어서, 학습 효율 차이에는 사전 지식의 영향이 클 수 있습니다. 환경별 결과와 비교 조건을 확인하려면 본문 5절이 필요합니다.