Learn2Play Bench, 낯선 규칙 게임 20개로 LLM 에이전트의 학습력을 재다
싱가포르국립대(NUS) 연구진이 10월 9일 09시(한국 시각, 00:00 UTC) arXiv에 Learn2Play Bench 논문을 올렸습니다. 규칙이 새롭거나 상식과 반대인 텍스트 게임 20종으로, LLM 에이전트가 상호작용만으로 규칙을 배우는 능력을 재는 벤치마크입니다. 연구진은 모델, 자기 진화 방식, 에이전트 하네스(모델을 감싸는 실행 환경)를 바꿔 가며 비교하고 사람 플레이어와도 견줬습니다.
1/성능이 오른 게 학습인지, 이미 아는 지식인지 알 수 없다
LLM 에이전트는 현장에서 규칙을 모르는 환경을 만나기도 합니다. 예를 들어 처음 보는 명령어로 로봇을 조종하려면 명령을 직접 넣어 보고 어느 관절이 움직이는지 파악해야 합니다. 기존 벤치마크는 규칙이 지시문에 적혀 있거나 사전학습 때 이미 접했을 법한 과제가 많습니다. 그래서 점수가 오르더라도 새 규칙을 배운 것인지 원래 알던 지식을 꺼낸 것인지 구분하기 어렵다는 것이 논문의 문제의식입니다.
2/규칙을 숨긴 게임 20개를 여러 판 반복해서 푼다
연구진은 20개 게임 템플릿을 직접 설계했습니다. 규칙은 에이전트에게 주어지지 않으며, 행동하고 텍스트 피드백을 보면서 알아내야 합니다. 한 예로 어떤 게임에서는 열심히 일하는 것이 아니라 동료의 점심을 훔치는 것이 승진으로 이어집니다. 결과는 결정적(deterministic)이고 점수는 자동으로 매겨져 같은 조건에서 재현할 수 있습니다. 10개는 같은 인스턴스를 반복하는 fixed 게임이고, 나머지 10개는 규칙은 그대로 두고 인물·사물·배치를 바꾸는 re-shuffled 게임입니다. 사전 평가로 고른 challenge 게임 5개(Catnip, DreamGarden, Mola Tea, RedEye, Roadside Observatory)는 10판, 나머지는 5판을 평가하며 게임마다 독립된 3회 시행을 합니다. 모델 가중치는 갱신하지 않고, 지표는 최고점(Max), 평균(Mean), 처음 대비 마지막 향상폭(Learning Gain, LG), 판별 점수 추세의 기울기(Learning Slope, LS) 네 가지입니다.
3/요약한 규칙보다 원본 기록을 남기는 쪽이 더 잘 배웠다
백본(기반 모델) 비교에는 코딩 에이전트 하네스 OpenCode에서 GPT-6 Astra, Claude Opus 5.5, Claude Opus 5, Claude Sonnet 5, Gemini 3.5 Flash, Gemini 3.7 Flash, GPT-5.6-SOL, GPT-5 Mini, DeepSeek V4 Pro, Kimi K3, Qwen 3.8 Max 등 11개 모델을 썼습니다. 방식 비교는 Kimi K3, Claude Opus 5, GPT-5 Mini 세 모델에서 Naive, Memory, Reflexion, EvoTest, ReasoningBank, AWM을 비교했습니다. 논문은 이전 판의 대화를 그대로 붙이는 Memory처럼 원본 기록을 보존하는 방식이, 경험을 규칙이나 전략으로 요약하는 방식보다 더 강한 학습을 보였다고 밝힙니다. 이유로는 앞선 결론을 고쳐야 할 때 원래 증거가 남아 있다는 점을 듭니다. 같은 백본에서 하네스만 바꿔도 성능과 학습이 크게 좋아질 수 있고, 일부 경우 모델 호출이 줄고 반복 문맥이 줄어 추정 추론 비용도 내려갔습니다. 규칙이 같아도 환경이 바뀌면 학습이 느려지는 경우가 있었고, 같은 하네스에서는 약한 백본일수록 기울기 하락폭이 큰 경향이 있었습니다. 표 첫 행의 Claude Opus 5.5(OpenCode)는 Max 80.1, Mean 61.0, LG +23.0, LS +5.22입니다.
4/최상위 사람 플레이어가 최고 에이전트보다 높은 점수를 냈다
같은 게임을 한 사람 플레이어 중 상위권은 평가된 에이전트보다 높은 최고점에 도달했습니다. 사람은 더 다양한 행동 순서를 시도했고 같은 행동을 덜 반복했으며, 실패 뒤 회복하는 경우도 더 잦았습니다. 에이전트는 규칙 자체는 경험에서 배우면서도 그것으로 효과적인 전략을 세우는 데는 어려움을 보였습니다. 논문의 사례인 Haunted Inn에서 에이전트는 손님을 안전한 방에 배정하는 법은 익혔지만 앞을 내다보지 못해, 뒤에 온 손님이 머물 안전한 방이 없어지게 했습니다.
5/에이전트 평가에서 사전지식과 학습을 떼어 볼 수 있게 된다AMEET 해석
이 벤치마크는 점수 향상을 모델이 원래 아는 지식과 분리해 볼 수 있는 틀을 제공합니다. 기억 장치를 설계할 때 요약이 항상 이득이라고 보기 어렵고, 원본 기록을 어디까지 남길지 따져 볼 필요가 있다는 근거도 됩니다. 또 같은 모델이라도 하네스 구성에 따라 성능과 비용이 달라질 수 있어, 모델 교체 못지않게 실행 환경 설계가 중요해 보입니다. 다만 게임 20종, 게임당 고정된 시드 1개를 쓴 결과이므로 다른 환경에도 같은 경향이 나타나는지는 별도로 확인해야 합니다.