Aleph Alpha Kolibri, 독일어와 영어에 맞춘 오픈 가중치 모델

독일과 핀란드에서 학습한, 독일어와 영어 추론에 맞춘 78B 오픈 가중치 MoE 모델이라고 소개된다.

작동 방식

Kolibri는 50개 층으로 이루어진 MoE 트랜스포머이며, 각 층에 전문가가 384개 있고 토큰마다 그중 6개만 실행된다. 덕분에 78B 전체 가운데 토큰당 계산량은 약 3.46B 수준에 머문다. Aleph Alpha는 이 모델을 처음부터 직접 학습시켰고, 사전 학습 데이터의 21.3%가 독일어이다.

컨텍스트는 256K 토큰까지 학습했고, 최대 1,048,576 토큰까지 지원한다. 모델 카드는 효율을 중시할 때 262,144 토큰을 권장한다. 긴 문맥 처리, 명시적 추론 모드, 도구 호출이 모델 카드가 꼽은 세 가지 핵심 영역이다.

벤치마크

Aleph Alpha가 직접 낸 표에서 AIME 2025는 Kolibri 96.9%, Nemotron 3 Super 91.7%, Qwen3.6-35B 84.6%, Mistral Small 4 79.8%이다. LiveCodeBench v6는 Kolibri 85.9%, Qwen3.6-35B 82.5%, Nemotron 3 Super 82%, Mistral Small 4 71.2%이다. GPQA Diamond는 Kolibri 84.3%, Qwen3.6-35B 83.4%, Nemotron 3 Super 78%, Mistral Small 4 74.7%이다.

HumanEval+에서는 Kolibri가 92.7로 다른 모델들과 비슷한 수준이고, 이 시험에서는 Nemotron 3 Super가 94.7로 앞선다. 모든 시험에서 이긴 것은 아니라는 점을 기억해 둘 만하다.

오픈 라이선스와 이용 방법

가중치와 구성 파일은 Apache 2.0으로 공개된다. 이 라이선스는 상업적 이용, 수정, 재배포를 허용한다. 전체 가중치는 Hugging Face의 Aleph-Alpha/Kolibri-1 페이지에서 받을 수 있고 FP8 버전과 별도의 BF16 변형이 있다. 공식 안내에 따른 실행 방법은 aleph-alpha-inference 패키지를 설치한 뒤 vllm serve로 Aleph-Alpha/Kolibri-1을 띄우는 것이며, KV 캐시를 fp8로 두고 추론 파서와 도구 호출 파서를 kolibri1로 지정한다.

왜 중요한가, 그리고 주권 모델이라는 설명

유럽의 팀은 독일어를 핵심 학습 언어로 삼은 모델을, 허용 범위가 넓은 라이선스로 직접 호스팅할 수 있게 된다. Aleph Alpha의 자체 시험에서 Kolibri는 AIME 2025, GPQA Diamond, LiveCodeBench v6에서 Qwen3.6-35B, Nemotron 3 Super, Mistral Small 4를 앞섰다.

Aleph Alpha는 Kolibri를 주권 모델이라고 부른다. 독일과 핀란드의 인프라에서 유럽과 독일 법 아래 처음부터 학습했으며, 업무상 중요한 환경을 위한 특화 모델이라는 설명이다. 열린 가중치 덕분에 각 조직이 자기 하드웨어에서 직접 운영할 수 있다. 주 대상은 유럽 기업, 공공 부문 팀, 독일어 개발자이다. 위 비교 결과는 제작사가 직접 공개한 수치임을 감안하셔야 한다.

한눈에 보는 사양

전체 78B, 활성 3.46B, 50개 층, 층당 전문가 384개 중 6개 활성, 컨텍스트 최대 1,048,576 토큰(학습은 256K), 언어는 독일어와 영어, 라이선스는 Apache-2.0이다. 사전 학습 데이터의 21.3%가 독일어라는 점은 이 모델이 독일어를 부가 기능이 아니라 핵심 언어로 다룬다는 의미이다.

활용할 때 참고할 점

Kolibri는 도구 호출과 명시적 추론 모드를 갖추고 있어, 단계별 추론이 필요한 질의응답이나 코드 작업, 긴 문서를 다루는 업무에 어울린다. 토큰당 활성 매개변수가 3.46B 수준이므로 전체 크기에 비해 계산 부담이 적은 편이다. FP8 가중치를 기본으로 제공하고 BF16 변형도 따로 있어서 환경에 맞게 선택할 수 있다. 비교 수치는 모두 Aleph Alpha가 직접 발표한 것이다.