NVIDIA, 40개 언어 전사 모델 Nemotron 3.5 Transcribe 공개
NVIDIA가 2026년 10월 28일 오픈 웨이트 음성 인식 모델 Nemotron 3.5 Transcribe를 Hugging Face와 ModelScope에 공개했습니다. 하나의 체크포인트로 40개 언어 전사, 31개 언어의 영어 번역, 13개 언어의 화자 구분(diarization)을 처리하고, 자연어 지시(프롬프트)로 출력 형태를 바꿀 수 있습니다. 학습 데이터 파이프라인인 Granary v2와 도메인 적응용 파인튜닝 방법도 함께 나왔습니다.
1/프롬프트로 전사·화자 구분·번역·질의응답을 한 모델에서
Nemotron 3.5 Transcribe는 같은 녹음에 대해 지시문에 따라 다른 결과를 내놓습니다. 예를 들어 "화자를 구분해 전사하라", "영어로 번역하라", "회의에서 어떤 결정이 나왔나" 같은 요청이 가능합니다. 40개 언어를 전사하고 31개 언어는 영어와의 번역을 지원하며, 화자 구분은 13개 언어에서 됩니다. 최대 1시간 길이 녹음과 8명까지의 화자 라벨을 다룹니다. 단어 단위 타임스탬프도 지원합니다. 오디오 질의응답은 영어로 학습됐고, 언어 지원 범위는 작업마다 다릅니다. 낯선 전문 용어는 프롬프트에 용어 목록을 넣어 유도할 수 있습니다.
2/Open ASR 영어 1위 5.33%, 화자 구분 벤치마크 2곳 선두
Hugging Face Open ASR Leaderboard에서 오픈 웨이트 모델 중 영어 평균 WER(단어 오류율) 5.33%로 1위입니다. 7개 언어 다국어 평균은 4.62%, 장문 평균은 10.98%로, 모델 카드의 비교에서 오픈 웨이트 모델 중 가장 낮다고 밝혔습니다. Artificial Analysis의 AA-WER는 2.8%로 오픈 웨이트 모델 중 공동 1위이며, 공동 1위 상대 모델의 활성 파라미터는 24B, 이 모델은 약 4B입니다(전체 30B, 하이브리드 Mamba–Transformer 전문가 혼합 구조). 화자 구분에서는 David AI의 21개 언어 diarization 순위에서 DER 18.26%로 14개 시스템 중 최저이고, NVIDIA의 Nemotron 3 Diarization(18.38%)이 뒤를 잇습니다. VoiceArena Diarization-Bench에서는 cpWER 32.4%로 14개 시스템 중 1위이며, 2위는 NVIDIA Multitalker Parakeet과 Nemotron 3 Diarization 조합(34.2%)입니다.
3/GPU 한 장으로 구동, vLLM·호스팅 엔드포인트 제공
Jetson AGX Thor, DGX Spark부터 Blackwell 데이터센터 GPU까지 GPU 한 장에서 돌아갑니다. RTX PRO 6000 Blackwell Server Edition 한 장에 NVFP4 정밀도로 30초 클립을 높은 동시성에서 처리했을 때, 100시간 분량 오디오가 3분 안에 끝났다고 밝혔습니다. 체크포인트는 Hugging Face와 ModelScope에서 받아 vLLM으로 서빙하거나 NeMo-Speech.cpp로 로컬 실행할 수 있습니다. 직접 운영하지 않으려면 Baseten, DeepInfra, Simplismart의 호스팅 엔드포인트를 쓸 수 있습니다. 녹음된 오디오용이며 실시간 스트리밍용은 아닙니다.
4/Granary v2: 48개 언어 463,062시간 규모 학습 데이터 공개
Granary v2는 NeMo Curator로 만든 데이터 큐레이션 파이프라인과 공개 매니페스트입니다. 16개 소스 코퍼스, 48개 언어, 463,062시간을 다루며, v1의 25개 언어에서 늘었습니다. 이 수치는 데이터셋 공개분이고 Transcribe의 전체 학습 구성이나 샘플링 비중을 뜻하지 않는다고 원문은 밝힙니다. 각 녹음마다 숫자·기호를 말한 그대로 적은 형태, 표기 규칙을 적용하되 말 더듬음을 남긴 형태, 말 더듬음을 뺀 형태의 세 가지 전사가 붙습니다. 짧은 오디오 캡션, 음성 기반 Q&A, 문맥 편향용 용어, 번역과 자동 품질 점수도 만들어집니다. 소스 오디오는 각 코퍼스의 원래 라이선스에 따라 따로 내려받아야 합니다.
5/의료 사례에서 파인튜닝으로 held-out WER 45.8% 감소
인도 의사와 의대생 녹음 3,619클립으로 이뤄진 Eka Care 벤치마크로 적응 과정을 보였습니다. 프롬프트에 영어와 라틴 문자를 명시하는 것만으로 전체 WER이 30.8%에서 23.8%로 내려갔고, 파인튜닝 후에는 11.8%였습니다. 화자 기준으로 분리한 held-out 2,764클립에서는 최적 프롬프트 기준 22.44%에서 12.17%로 45.8% 상대 감소했습니다. 같은 조건에서 의료 특화 오픈 모델은 13.79%, 범용 ASR 모델은 14.92%였습니다. 일반 영어인 LibriSpeech test-clean WER은 1.54%에서 1.69%로 소폭 올랐고, 브랜드 의약품·진단명 정확 일치는 의료 특화 모델이 여전히 앞섭니다. 적응 전 과정은 NVIDIA GB300 한 장에서 약 14 GPU-시간이 걸렸습니다.
6/모델과 데이터, 적응 방법까지 함께 공개한 점AMEET 해석
모델 가중치뿐 아니라 학습 데이터 매니페스트, 큐레이션 파이프라인, 파인튜닝 레시피를 같이 낸 점이 이번 발표의 특징입니다. 자체 도메인에 맞추려는 개발자는 프롬프트로 먼저 시도하고, 남는 오류를 파인튜닝으로 줄이는 순서를 밟을 수 있습니다. 다만 순위 수치는 대부분 NVIDIA와 리더보드 운영처가 공개한 결과이고, 화자 구분 비교는 일부 NVIDIA 모델끼리의 경쟁이라는 점은 감안해야 합니다. 원문도 이름·화자 전환·답변은 녹음과 대조해 확인하라고 권합니다.