Jeff, 가정용 GPU 한 장으로 학습한 Jev 호환 0.8B 결정 모델

제작사는 독립 개발자 Firelex이고, README는 이 프로젝트가 TypeSafe와 제휴하거나 보증받은 관계가 아니라고 분명히 밝혀 둔다. 같은 요청 형식을 쓰기 때문에 Jev용으로 작성한 코드가 로컬 Jeff 서버와 대화할 수 있다는 뜻일 뿐이다.

작동 방식

Jeff는 글을 생성하지 않는다. 한 번의 순전파로 선택지 글자들에 대한 학습된 답을 읽어 내고, 하나의 온도 값을 맞춰 확률을 보정한다. 그래서 응답이 빠르다. 학습 코드는 Denis Yarats의 오픈 AutoJev 레시피에서 출발했고, 여기에 작은 학생 모델, 누출 필터가 있는 로컬 합성 데이터 파이프라인, Apple silicon용 MLX 서빙을 더했다.

합성 데이터는 모두 오픈 모델 Qwen3.8-Flash-Next가 DGX Spark 두 대에서 작성했고, 학습은 RTX PRO 6000 워크스테이션 GPU 한 장에서 이뤄졌다. 0.8B는 약 2시간, 2B는 약 3.5시간이 걸렸다.

주요 스펙 정리

모델: Jeff-Qwen3.5-0.8B, Jeff-Qwen3.5-2B, Jeff-Gemma4-E2B.

라이선스: 코드 MIT, 가중치 Apache 2.0.

질문 유형: 선택형(최대 255개 선택지), noul, 점수형.

지연 시간: RTX PRO 6000에서 22 ms.

실행 환경: NVIDIA GPU, CPU, Apple silicon(MLX, Qwen 계열만).

벤치마크 비교

공개 벤치마크 5종의 전체 정확도는 Jeff-Qwen3.5-2B가 83.1%, Jeff-Gemma4-E2B가 81.6%, Jeff-Qwen3.5-0.8B가 79.1%이다. 비교 대상인 Jev의 공개 수치는 83%이고, AutoJev-27B의 공개 수치는 84.9%이다. 2B 모델이 Jev의 공개 수치와 거의 같은 수준에 이른 셈이다.

왜 중요한가

라우팅, 콘텐츠 검수, 의도 분류 같은 판단을 API 호출 한 번의 비용을 들이지 않고 로컬에서 22~60 ms에 처리할 수 있다. README는 한계도 솔직하게 적었다. Financial PhraseBank 같은 분류와 근거 확인 시험에서는 96.4%로 강하지만, 추론 비중이 큰 BBH와 JudgeBench에서는 Jev보다 많이 낮다. BBH에서 Jeff-Qwen3.5-2B는 68.0%, Jev의 공개 수치는 94.3%이고, JudgeBench에서는 64.6%와 78.6%이다.

좁은 작업에 맞춘 짧은 미세 조정이 격차를 많이 메운다는 사례도 있다. 음성 내비게이션 작업에서 약 11,000개의 예시로 GPU 한 장에서 약 30분 학습했더니 보류 데이터 정확도가 31.7%에서 95.8%로 올랐고, M4 Max에서 결정당 약 40 ms였다.

0.8B와 2B 중 무엇을 고를까

빠르게 선택지를 고르는 용도에는 README가 0.8B를 권한다. 2B는 벤치마크 점수가 더 높지만(전체 83.1% 대 79.1%), 개발자들은 2B가 더 신중하고 게임 플레이는 약하다고 보았다. 팩맨 알갱이 수집에서 2B는 41.2개, 0.8B는 57.0개였다. 속도 면에서도 M4 Max에서 0.8B는 28 ms, 2B는 60 ms이다.

유의점

개발진은 작은 모델은 추론하지 못한다고 말한다. 빠르고 보정된 선택을 기대해야 하며 여러 단계의 추론을 맡기면 안 된다. 영어 텍스트만 처리하고, 미래를 예측하는 데는 쓸 수 없으므로 각 선택지가 어떤 결과로 이어지는지를 글로 설명해 주어야 한다.

추가 학습은 가능하다. 가중치가 Apache 2.0이고 저장소에 AutoJev 기반 학습 스크립트가 들어 있다. 가중치는 uv run hf download mstrasser/Jeff-Qwen3.5-0.8B --local-dir checkpoints/jeff-0.8b 명령으로 내려받을 수 있고, 대상 독자는 빠른 로컬 분류가 필요한 백엔드와 에이전트 엔지니어이다.