Mistral Large 4 공개, 1T 파라미터 MoE에 100만 토큰 문맥
Hugging Face가 10월 29일 Mistral의 Mistral Large 4(별칭 Le Chonk)를 소개했습니다. 텍스트와 이미지를 입력받아 텍스트를 내놓는 다국어 Mixture-of-Experts(MoE, 전문가 혼합) 모델로, 전체 약 1T, 활성 49B 파라미터에 컨텍스트 창은 1M 토큰입니다. 공식 FP8·NVFP4 두 변형과 GGUF 양자화본이 함께 올라왔고, 사이버보안·코딩 에이전트·멀티모달을 강점으로 내세웁니다.
1/전문가 선택과 문맥 선택, 두 가지 희소성
언어 모델은 토큰마다 소수의 전문가를 고르고, 어텐션 인덱서는 앞선 토큰 중 어느 위치를 볼지 고릅니다. 앞의 것은 피드포워드 네트워크를, 뒤의 것은 문맥 위치를 고르는 서로 다른 희소성이라고 원문은 설명합니다. 텍스트 디코더는 72개 층, 은닉 차원 6,144, 어텐션 헤드 64개이며, Multi-head Latent Attention(MLA)과 DeepSeek Sparse Attention(DSA) 인덱서를 함께 씁니다. DSA는 쿼리마다 최대 2,048개의 키 위치를 고릅니다. 첫 층은 dense 피드포워드이고 나머지 71개 층은 MoE입니다. 소프트맥스 라우터가 128개 전문가 중 4개를 고르고 공유 전문가 1개가 항상 함께 돌아, 토큰당 활성 전문가는 5개입니다. 비전 쪽은 30층, 은닉 차원 2,048, 헤드 16개, 14×14 패치의 1.6B Pixtral 인코더를 씁니다. 라이선스는 Mistral Ecosystem Open-Weight License로, 서비스형 모델(model-as-a-service) 제공에 제한을 두는 MIT 파생 라이선스입니다.
2/사이버 82%, 코딩 에이전트 지수 49.8%
10월 29일 기준 Artificial Analysis Intelligence index에서 오픈 웨이트 모델 5위입니다. 실제 오픈소스 소프트웨어의 취약점을 재현한 뒤 패치하는 Artificial Analysis Cyber Index 과제에서 82%를 기록했고, 원문은 이를 지수 내 최고 점수라고 적었습니다. Mistral은 일부 비공개 최상위 모델이 이 과제를 거부해 0점에 가깝다고 밝혔습니다. 이 지수에서는 전체 모델 중 상위 5개 안에 들었고, 보안 대회 문제 40개로 구성된 Cybench는 93%를 풀었습니다. Lakera B3 벤치마크의 공격 저항은 93.3%입니다. 코딩은 DeepSWE v1.1 61.7%, SWE-Atlas-QnA 59.4%, Terminal-Bench 4 28.3%이고, 이를 묶은 Coding Agent Index 49.8%는 DeepSeek V4 Pro 0813과 Qwen3.8 Max보다 앞섭니다. 업무 평가로는 AutomationBench 59.9%, AA-Briefcase 1,393 Elo가 제시됐습니다. 악성코드 분석·취약점 우선순위화·탐지 규칙 작성은 Mistral 내부 테스트 결과이며, 이 작업을 따로 학습시키지는 않았다고 합니다.
3/transformers·vLLM·llama.cpp에서 바로 실행
체크포인트는 Mistral Large 4 컬렉션에 있고, transformers·vLLM·llama.cpp가 Day-0부터 지원합니다. 저장소 이름은 mistralai/Mistral-Large-4-1T-A52B(FP8)와 mistralai/Mistral-Large-4-1T-A52B-NVFP4입니다. transformers에서는 AutoModelForMultimodalLM과 AutoProcessor를 쓰고, 추론 강도 reasning_effort는 low·medium·high 중에서 고릅니다. vLLM은 NVFP4 체크포인트를 지원하며 DSpark 드래프터로 속도를 더 높일 수 있습니다. llama.cpp 쪽 양자화본은 IQ2_XXS, Q2_K, Q4_K_M, NVFP4, Q8_0, BF16입니다. 파인튜닝은 TRL 지원이 Day-0로 제공되고, 원문 예시는 8×B300 노드의 FP8 변형에서 LoRA로 다국어 추론(Multilingual-Thinking)을 학습시킵니다. 배포는 8×NVIDIA H200 기반 Inference Endpoints 레시피, Inference Providers 서버리스 추론, Dell AI Servers용 dell-ai CLI(H200·B200·GB200·GB300)로 할 수 있습니다.
4/단가 공지 없음, 하드웨어와 라이선스 조건
공지에 API 단가는 없습니다. 제약은 몇 가지 적혀 있습니다. 서비스형 모델 제공은 라이선스에서 제한되고, NVFP4 체크포인트를 vLLM으로 돌리려면 NVIDIA Blackwell GPU가 필요합니다. 추론은 끌 수 없어서 reasoning_effort를 none으로 줘도 high로 동작합니다. 2비트 양자화본은 통합 메모리 512GB의 Apple Silicon Ultra 한 대에서 돌아가고, 나머지는 분산 추론이 필요합니다. M3 Ultra 한 대의 Q2_K는 프리필 약 90 tok/s, 생성 15 tok/s였습니다. RTX6000 Pro 4장에서 NVFP4는 32K 문맥에서 생성 약 10 tok/s이고, IQ2_XXS는 800K 문맥에서 짧을 때 생성 30 tok/s였다가 긴 문맥에서는 3 tok/s로 떨어졌습니다. H200 8장 Inference Endpoints는 단일 요청 첫 토큰까지 약 0.6초(1K 토큰 프롬프트), 생성 약 65 tok/s이며 최대 131K 문맥과 동시 16개 요청을 처리합니다.
5/방어 보안 용도에서 오픈 웨이트가 갖는 의미AMEET 해석
원문이 강조하는 지점은 보안 작업이 API 필터에 걸리기 쉽다는 것입니다. 취약점 연구나 사고 대응 입력은 공격처럼 보여 차단될 수 있는데, 가중치를 직접 받아 쓰면 사용 정책과 배포를 사용자가 정할 수 있습니다. 취약점 재현 뒤 패치하는 작업은 검증 가능한 보상을 줄 수 있어, 원문 제안처럼 작은 보안 모델을 강화학습으로 키우는 재료로 쓰기에도 맞습니다. 다만 Hugging Face와 Mistral이 직접 내놓은 수치가 대부분이라 독립 검증이 더 나와야 합니다. 모델이 유해 요청을 거절하는 정도도 가중치가 공개돼 있으니 제3자가 직접 측정할 수 있습니다.