Jeeves, 답하기 전에 먼저 추론하는 PostHog의 9B 오픈 결정 모델

가중치는 Hugging Face에 올라와 있고, 저장소에는 전체 학습 코드와 데이터가 함께 들어 있다. 가중치, 학습 코드, 데이터는 모두 MIT 라이선스이다.

입력과 출력은 어떤 모습인가

Jeeves가 받는 질문은 세 종류이다. 예/아니오로 답하는 질문, 여러 선택지 중 하나를 고르는 객관식 질문, 점수를 매기는 평가 질문이다. 모델은 글을 길게 풀어 써서 답하는 대신, 각 선택지가 정답일 확률을 숫자로 돌려준다. 확률이 보정되어 있다는 점이 중요하다. 단순히 가장 그럴듯한 답 하나가 아니라, 그 답을 얼마나 믿어도 되는지까지 함께 알려 주기 때문에 후속 처리에서 기준값을 정해 쓰기 좋다.

Jev는 TypeSafe의 결정 모델이고, Jeeves는 이 요청 형식과 호환된다. 그래서 Jev 형식에 맞춰 만든 파이프라인에서 Jeeves를 대안으로 끼워 넣어 볼 수 있다.

작동 방식

Jeeves의 기반은 Qwen3.5-9B에 LoRA 어댑터와 포인터 헤드를 붙인 구조이다. 추론 과정을 다 쓴 다음 특별한 decide 토큰 위치에서 포인터 헤드가 각 선택지의 점수를 매긴다. 학습은 세 단계였다. 먼저 19,126개 질문으로 지도 미세 조정을 했고, 다음으로 CISPO 강화학습을 거쳤으며, 마지막으로 확률을 보정하기 위해 온도 값을 맞췄다.

추론 속도를 위한 장치도 있다. Qwen3.5의 Gated DeltaNet 층에 맞게 조정한 확산 드래프터를 써서 추론 과정 생성을 약 1.6배 빠르게 만들었다.

성능 수치

JevBench 공개 구간에서 Jeeves는 0.935를 기록했고, Jev는 0.866이다. 어려운 구간 점수는 0.865이다. 분포 밖 테스트 분할에서는 Jeeves가 0.889, Jev가 0.857이다.

학습 과정 풀어 보기

학습의 첫 단계인 지도 미세 조정은 정답이 달린 질문 19,126개로 기본 모델에게 질문 형식과 답하는 법을 가르치는 과정이다. 두 번째 단계인 CISPO 강화학습은 보상을 통해 추론의 질을 끌어올리는 단계이다. 마지막으로 맞춘 온도 값은 모델이 내놓는 확률이 실제 정답률과 어긋나지 않도록 눈금을 조정하는 장치이다.

구조 면에서는 Qwen3.5-9B 위에 LoRA 어댑터를 얹어 비교적 가볍게 조정했고, 별도의 포인터 헤드가 decide 토큰 위치에서 선택지를 채점한다. 즉 먼저 추론 과정을 쓰고, 그 결과를 바탕으로 선택지별 점수를 내는 순서이다.

왜 중요한가

파이프라인에서는 빠르고 보정된 답이 필요할 때 Jev 같은 모델을 쓰고, 정확도가 중요할 때는 큰 추론 모델로 넘기는 방식을 흔히 쓴다. Jeeves는 이 두 가지를 직접 운영하는 하나의 모델에서 해결해 보려는 시도이다.

한계도 분명하게 밝혀 두었다. MMLU에서는 Jeeves가 0.793으로 Jev의 0.900에 못 미친다. 또 H100 한 장에서 충분히 생각하게 하면 중앙값 3.3초가 걸린다. 그래서 답변 길이에 상한을 두거나 생각 과정을 건너뛰게 할 수 있다.

사용할 때 유의점

첫째, 생각하는 과정을 모두 거치면 H100 한 장에서 중앙값 3.3초가 걸린다. 응답 시간이 중요한 곳에서는 답변 길이에 상한을 두거나 생각 과정을 건너뛰는 설정을 고려해야 한다. 둘째, MMLU처럼 폭넓은 지식을 묻는 시험에서는 Jev의 0.900보다 낮은 0.793이라는 점을 알고 써야 한다. 셋째, 확산 드래프터는 추론 과정을 약 1.6배 빠르게 만들어 주지만 이것만으로 지연 시간 문제가 모두 사라지는 것은 아니다.

반대로 장점은 분명하다. 공개 구간 0.935, 분포 밖 분할 0.889로 Jev를 앞서고, MIT 라이선스로 가중치와 학습 코드와 데이터까지 공개되어 있어 직접 내려받아 점검하고 고쳐 쓸 수 있다.

써 보려면

명령어 hf download PostHog/jeeves --local-dir jeeves-weights 로 가중치를 내려받을 수 있다. 주요 대상은 분류와 라우팅 파이프라인을 만드는 머신러닝 엔지니어이다. 이 모델은 직접 서버에 올려 쓰는 오픈 모델이므로, 지연 시간과 정확도 사이의 균형을 직접 정할 수 있다.