Cloudflare Clef, 정해진 질문에 밀리초 단위로 답하는 오픈 결정 모델

결정 모델은 자유로운 글을 쓰지 않는다. 텍스트, JSON, 이미지, 영상과 함께 객관식, 참 또는 거짓, 순위 매기기 같은 질문의 스키마를 주면, 허용된 답마다 확률을 돌려준다. 컨텍스트 창은 64K 토큰이며, Jev API와 호환된다.

작동 방식

두 단계의 어텐션 라우팅을 통해 각각의 유효한 선택지가 필요한 문맥을 끌어온다. 추론 때는 프리필만 하는 한 번의 처리를 거친 뒤 스키마의 모든 유효한 선택지를 병렬로 채점한다. 토큰을 하나씩 만들어 내는 과정이 없기 때문에 빠르다.

학습에는 라벨 스무딩을 적용한 교차 엔트로피와 Brier 손실이 쓰였고, Cloudflare가 Reinforcement Learning for Calibrated Decisions(RLCD)라고 부르는 방법도 사용됐다. 보정된 확률을 얻는 것이 목표이다.

성능과 가격

Jev Decision Index에서 Clef와 Clef-flash의 컨텍스트 창은 64K로, Jev의 32K의 두 배이고 비전 입력을 지원하며 Jev API 호환성을 유지한다. 43개 벤치마크에 걸친 중간값 지연 시간은 Clef-flash가 38.8 ms, Clef가 209.3 ms, Jev가 524.1 ms이다. 이는 Cloudflare가 직접 시험한 결과이다.

Clef-flash는 BFCL(98.76% 대 98.47%)과 API-Bank(93.11% 대 91.93%)에서 Clef보다 약간 높은 점수를 받았고, BANKING77과 CLINC150 수치는 Clef가 더 좋다. Clef-flash는 중간값 기준으로 다섯 배 넘게 빠르다. Workers AI에서 Clef는 @cf/cloudflare/clef라는 이름으로 입력 100만 토큰당 $0.24이다. 가중치는 Hugging Face에서 무료로 받을 수 있어서 직접 GPU에서 돌릴 수도 있다.

어떤 모델을 고를까

Cloudflare는 Clef를 더 크고 강한 모델로, Clef-flash를 지연 시간에 맞춰 조정한 모델로 자리매김한다. Cloudflare의 설명으로는 큰 모델이 Clef이고 속도에 초점을 맞춘 모델이 Clef-flash이다. 앞에서 본 것처럼 일부 지표에서는 Clef-flash가 오히려 약간 높게 나오기도 하므로, 자신의 업무와 비슷한 벤치마크 결과를 보고 정하는 것이 좋다.

왜 중요한가

에이전트는 작은 라우팅과 분류 호출을 많이 하는데, 이런 일에 LLM은 느리고 결과가 들쭉날쭉하다. Clef는 Jev API를 그대로 쓰기 때문에 이미 Jev 방식의 도구를 쓰는 팀이 바꿔 끼우기 쉽다. Cloudflare는 RL 미세조정 서비스도 시작한다.

미세조정 서비스

Clef의 RL 미세조정 서비스는 우선 Cloudflare의 현장 파견 엔지니어와 함께 진행하는 협업 형태로 시작되며, cloudflare.com에 관심 양식이 마련되어 있다. 데이터를 모으고, 미세조정하고, 다시 배포하는 셀프서비스 플랫폼은 나중에 나온다고 발표되었다. 두 단계 모두 가격은 아직 공개되지 않았다. 주 대상은 에이전트 라우팅, 분류 작업을 만드는 개발자이다.

Clef와 Jev의 관계

Jev는 이 글에서 비교의 기준이 되는 기존 결정 모델 API이다. Clef와 Clef-flash는 이 API와 호환되므로, 이미 Jev 방식으로 질문을 보내던 도구는 모델 이름만 바꿔 쓸 수 있다. Cloudflare의 비교에서 Clef 계열은 컨텍스트 창을 32K에서 64K로 두 배 늘렸고, 비전 입력을 추가했으며, 지연 시간은 43개 벤치마크 중간값으로 Jev의 524.1 ms보다 크게 낮았다.

정리

Clef는 27B급, Clef-flash는 9B급 기반의 Apache-2.0 결정 모델이며, 둘 다 한 번의 프리필 처리로 모든 선택지를 채점한다. Workers AI에서는 @cf/cloudflare/clef로 입력 100만 토큰당 $0.24에 이용할 수 있고, Hugging Face에서 가중치를 받아 직접 운영할 수도 있다. 지연 시간 수치는 모두 Cloudflare 자체 시험 결과이다.