LLM 번역 품질 평가, 70개 언어쌍 검증 결과 대부분 신뢰 어려워
Apple ML Research가 10월 12일 09시(한국 시각, 00:00 UTC) 기계번역 품질 평가에서 LLM과 사람 평가자를 비교한 논문을 공개했습니다. 일부 과제에서는 LLM과 사람의 일치도가 사람끼리의 일치도보다 높았지만, 대부분의 설정에서는 둘 다 안정적이지 않다는 결론입니다. 저자는 Hala Almaghout, Christian Federmann, Qin Gao이며 EMNLP 논문입니다.
1/LLM이 사람 평가를 대신할 수 있는지 따져 봤습니다
기계번역(MT) 평가는 언어쌍, 분야, 주석 세분화 수준이 매우 다양합니다. 논문은 LLM이 사람 판단보다 효율적이고 비용이 덜 드는 대안으로 여겨지지만, 신뢰해서 쓰려면 이 여러 차원에서 먼저 검증해야 한다는 문제의식에서 출발합니다. 그래서 대표적인 번역 품질 평가 방식 두 가지, MQM(Multidimensional Quality Metrics)과 ESA(Error Span Annotation)에서 LLM이 사람 주석자와 얼마나 일치하는지를 살폈습니다.
2/70개 언어쌍 테스트 세트와 WMT23·WMT25 공개 데이터
평가에는 긴 문맥을 담은 70개 언어쌍 테스트 세트와, 공개된 WMT23·WMT25 데이터를 썼습니다. 점수 수준의 일치도와 오류 구간(error span) 주석의 일치도를 모두 보았고, 여러 언어쌍과 분야에 걸쳐 비교했습니다. 기준은 LLM과 사람 주석자 사이의 일치도입니다.
3/일부 과제에선 LLM이 사람끼리보다 더 잘 맞았지만 편차가 큽니다
일부 평가 과제에서는 LLM과 사람 주석자의 일치도가 사람 주석자들 사이의 일치도를 넘었습니다. 다만 일치도는 주석 방식, 언어쌍, 분야에 따라 크게 달랐고, 대부분의 설정에서 신뢰하기 어려운 수준으로 남았습니다. 어려움을 겪는 지점도 서로 달랐습니다. 사람은 세밀한 MQM 주석과 저자원 언어쌍에서, LLM은 경미한 오류, 잘못된 언어 변종, 오류 구간 주석에서 특히 어려워했습니다. 원문 초록에는 구체적인 일치도 수치가 적혀 있지 않습니다.
4/사람과 LLM이 약한 곳이 달라 협업 파이프라인이 열려 있습니다AMEET 해석
논문은 사람과 LLM 모두 주석 성능을 개선할 여지가 있다고 밝히고, 이 신뢰성 문제를 다루는 방법으로 사람과 LLM이 함께 주석하는 협업 파이프라인을 가능성으로 제시합니다. 다만 초록에는 이 파이프라인의 구현이나 효과 검증이 담겨 있지 않고, 앞으로의 방향으로만 언급됩니다.