Kev 공개: 질문 하나에 한 번의 연산으로 확률을 돌려주는 오픈 결정 모델 3종

Kev는 Jev의 아이디어, 즉 형식이 있는 질문을 넣으면 확률이 나오는 방식을 Apache-2.0 가중치로 풀어 직접 학습하고 실행할 수 있게 만든 것이다. Apache-2.0은 바탕이 된 Qwen 기반 모델과 같은 라이선스이다. GitHub 스타 수는 1,997개이다.

작동 방식

Qwen 기반 모델 위에 랭크 16 LoRA 어댑터와 포인터 헤드(pointer head)가 얹혀 있다. 포인터 헤드는 각 선택지의 은닉 상태를 질문의 은닉 상태와 비교해 점수를 매기고, 소프트맥스가 그 점수를 확률로 바꾼다. 질문들은 서로 격리된다. 어텐션 마스크 덕분에 토큰은 공유 상태와 자기 질문만 읽을 수 있고 같은 요청에 들어 있는 다른 질문은 읽을 수 없다. 그래서 한 번의 호출에 서로 무관한 여러 결정을 실을 수 있다.

주요 스펙

모델: Kev-0.8B, Kev-4B, Kev-9B; 기반 모델: Qwen3.5-0.8B / 4B / 9B Base; 라이선스: Apache-2.0; 방식: 랭크 16 LoRA 어댑터와 포인터 헤드; 출력: 보정된 확률, 텍스트는 생성하지 않음; 요구 사항: Python 3.12 이상, transformers 5.17 이상.

세 크기 중 무엇을 고를지는 정확도와 메모리를 맞바꾸는 단순한 선택이다. 맥에서 더 빠른 추론을 원하는 사람을 위해 이전 Qwen3 기반 Kev 체크포인트도 계속 공개되어 있다.

벤치마크

새로운 출처에 대한 정확도(보류해 둔 테스트 세트)는 Kev-9B가 0.852, Kev-4B가 0.837, Kev-0.8B가 0.684이다. Jev와 비교하면 Kev는 같은 모델이 아니라 Jev 아이디어를 오픈으로 다시 만든 것이다. Kev 저장소에 기록된 개발 분할 기준으로 Kev-9B는 독점 모델인 Jev보다 3.5점 낮은 0.822 대 0.857이다. 대신 라이선스와 통제권을 얻다. Jev는 유료 API이지만 Kev는 가중치와 학습 레시피가 Apache-2.0이고 직접 가진 하드웨어에서 돌릴 수 있다.

왜 중요한가

분류나 라우팅에만 큰 모델을 쓰는 팀은 결국 버리게 될 텍스트 생성 비용을 내고 있다. Kev는 이 단계를 없앤다. 한 번의 순전파로 선택지마다 확률이 나오고 따로 파싱할 것이 없다. 가중치와 학습 코드가 함께 Apache-2.0으로 공개되어 있어, 업체 API 뒤에 묶이지 않고 팀이 가진 레이블 데이터로 다시 학습할 수 있다.

직접 실행하고 다시 학습하려면

실행에는 Python 3.12 이상, uv 패키지 관리자, transformers 5.17 이상이 필요하다. serve 명령이 체크포인트를 bf16으로 불러와 REST 엔드포인트를 열어 준다. 예시는 다음과 같다.

uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8009

저장소에는 학습 코드, Hugging Face의 kev-suites 데이터셋, 각 실행이 무엇을 보여 주려는지를 실행 전에 기록한 사전 등록 기준 파일이 들어 있다. 세 크기의 가중치는 Hugging Face 컬렉션에 있고, 모델 카드도 GitHub 저장소에서 볼 수 있다. Apache-2.0 라이선스는 이 체크포인트에서 파생한 체크포인트에도 적용된다.

참고할 점

주요 대상은 LLM으로 라우팅이나 분류를 하는 엔지니어이다. 위의 정확도 수치는 Kev 저장소에 기록된 것이며, Jev와의 격차가 있다는 점도 함께 기억해 두어야 한다.