Laya 공개: 33밀리초 만에 답하는 421M 오픈 결정 모델

Convai Innovations는 세 가지 Apache-2.0 체크포인트를 공개했다. ModernBERT-large 기반의 421M 영어 모델 laya, mmBERT-base 기반의 322M 다국어 모델 laya-multilingual, 그리고 형식 있는 결정 작업 흐름으로 미세 조정한 laya-typed-decisions(421M)이다. 프로젝트는 스스로를 TypeSafe Jev의 오픈 대응품으로 소개한다.

작동 방식

한 번의 순전파가 모든 질문을 한꺼번에 채점한다. 토큰을 하나씩 생성하지 않으므로 중앙값 32.8ms라는 지연 시간이 나온다. 학습에는 RLCD가 쓰였고, 보상은 엄격하게 적절한 점수 규칙이다. 자신 있게 들리는 답이 아니라 정직한 확률을 보고할 때 가장 많이 보상받는 구조이다. 세 가지 기본 단위로 작업을 처리한다. choice: 선택지 중 하나를 고른다; score: 순서가 있는 척도 위에 값을 매긴다; noul: 참일 확률 P(true)를 돌려준다.

설치는 pip install laya 한 줄이며, 가중치는 Hugging Face, 코드는 GitHub, 패키지는 PyPI에 있다.

주요 스펙

라이선스: Apache-2.0; 체크포인트: laya(421M), laya-multilingual(322M), laya-typed-decisions(421M); 기반 모델: ModernBERT-large, mmBERT-base; 질문 유형: choice, score, noul; 컨텍스트: 영어 기본 체크포인트 512 토큰, typed-decisions 체크포인트 1024 토큰.

벤치마크

typed-decisions 정확도는 Laya의 typed-decisions 체크포인트가 76.6%, TypeSafe Jev 1.13.0이 72.7%이다. 모델 카드에 따르면 Brier 점수는 0.062로 Jev보다 2.4배 좋고, 중앙값 지연 시간은 Laya가 32.8ms, Jev가 236에서 276ms로 약 7.8배 차이가 난다. 카드는 이 차이를 비자기회귀 채점 덕분이라고 설명한다.

왜 중요한가

라우팅, 분류, 우선순위 분류는 보통 호출 하나마다 LLM 전체 비용이 든다. Laya는 그 일을 훨씬 짧은 지연 시간과 제품에 넣어 배포할 수 있는 라이선스로 해낸다. 보정 학습 덕분에 신뢰도 숫자를 기준값으로 삼아 걸러낼 수도 있다.

한계: 바로 쓰는 엔진이 아닙니다

모델 카드는 한계를 솔직하게 적고 있다. 제로샷 정확도는 typed-decisions에서 0.362이고 다국어 체크포인트는 0.352로 우연에 가깝다. 76.6%라는 수치는 그 벤치마크의 학습 분할로 미세 조정한 체크포인트의 것이다. 즉 Laya는 바로 꽂아 쓰는 결정 엔진이 아니라 미세 조정할 빠른 기반이다.

비용과 언어

Laya는 무료이다. 세 체크포인트 모두 Apache-2.0이고 토큰당 요금도 가입할 호스팅 API도 없다. 폐쇄형이며 토큰 단위로 과금하는 TypeSafe Jev와의 가장 큰 차이이다. 다국어 체크포인트는 100개 이상의 언어를 다루며, 테스트한 51개 언어 중 45개에서 동작했다고 Convai Innovations는 밝혔다. 주요 대상은 백엔드와 에이전트 엔지니어이다.