Cloudflare Clef-omni, 음성과 영상까지 읽는 오픈 결정 모델

Clef 계열은 글을 써 내려가는 모델이 아니다. 입력과 함께 형식이 정해진 질문을 주면, 허용된 답마다 보정된 확률을 돌려주는 결정 모델이다. Clef-omni도 같은 방식이며, Jev 호환 API를 통해 쓸 수 있다. 예 또는 아니오 질문, 객관식 질문을 텍스트, 이미지, 음성, 영상에 대해 한 번의 호출로 처리한다.

작동 방식

바탕이 되는 모델은 전문가 혼합(MoE) 구조의 Qwen3-Omni-30B-A3B-Instruct이다. Cloudflare는 여기서 음성을 만들어 내는 텍스트 음성 변환 출력 부분을 제거했다. 그리고 이 기반 모델은 그대로 고정해 둔 채 LoRA 어댑터만 학습시킨다.

학습에는 라벨 스무딩을 적용한 교차 엔트로피와 Brier 점수 손실을 함께 사용했다. 이렇게 하면 모델이 내놓는 점수가 단순한 순위 값이 아니라 실제 확률처럼 움직이게 된다. 확률이 믿을 만해야 에이전트가 신뢰도에 따라 다음 행동을 정할 수 있기 때문에, 결정 모델에서는 이 보정이 중요하다.

주요 스펙과 가격

입력 형식은 텍스트, JSON, 이미지, 음성, 영상이다. Workers AI에서 컨텍스트 창은 64K 토큰이다. 텍스트 결정의 중간값 지연 시간은 약 130 ms이고, 이미지 결정은 약 150 ms라고 Cloudflare는 밝혔다. 음성 클립은 수백 밀리초가 걸리고, 소리가 포함된 21초 길이의 영상 클립은 약 1.5초가 걸린다. Workers AI는 요청 하나에 최대 60초 길이의 영상 클립을 두 개까지 넣을 수 있다.

가격은 Clef-omni 입력이 100만 토큰당 $0.15, Clef 입력이 $0.24이다. Clef-flash 입력은 기존 $0.09에서 $0.038로 내려갔다. Clef 계열은 출력 토큰에 요금을 받지 않아 출력 비용은 $0이다.

성능 면에서는 CLINC150+OOS(macro f1) 97.7을 기록했다. Cloudflare의 출시 표에서 Clef-omni는 BANKING77(94.8), CLINC150+OOS(97.7), Amazon ESCI(57.8)에서 Clef 계열 중 가장 높은 점수를 냈고, 같은 항목에서 Jev는 각각 79.74, 89.27, 55.21이었다. 반면 가전 제품 과제에서는 69.3으로 Clef의 82.95, Clef-flash의 97.73보다 낮았고, When2Call에서는 63.3으로 Jev의 80.97에 못 미쳤다.

기존 Clef 사용자에게 달라진 점

이번 발표에는 기존 모델에 대한 변화도 포함돼 있다. Cloudflare는 호스팅 중인 Clef를 SGLang으로 옮겼고, 같은 가중치로도 중간값 기준 1.7배에서 2.0배 빨라졌다. 약 800 토큰 입력의 지연 시간은 262 ms에서 152 ms로 줄었다. 이 SGLang 변경 사항은 SGLang 0.5.22에 반영돼 있다.

Clef-flash는 입력 가격이 $0.09에서 $0.038로 절반 넘게 내렸다. 다만 호스팅 환경의 컨텍스트 창이 64K에서 24K 토큰으로 줄었다. Cloudflare는 이보다 긴 요청이 전체의 0.24%에 불과했다고 설명한다. 긴 입력을 자주 다루는 분이라면 이 점을 확인해야 한다.

왜 중요한가

호출을 어디로 보낼지 정하는 에이전트, 업로드 파일을 검사하는 시스템, 화면 녹화를 분류하는 업무에서는 이제 별도의 받아쓰기나 자막 생성 단계 없이 원본 미디어에 바로 정해진 형식의 판단을 내릴 수 있다. 파이프라인이 한 단계 줄어드는 셈이다. 같은 발표에서 Clef-flash 가격까지 내려가, 대량의 저렴한 라우팅 작업을 Workers AI에서 돌리기가 더 쉬워졌다.

직접 실행하려면

Cloudflare는 Clef-omni 가중치를 Hugging Face에 Cloudflare/clef-omni로 공개했다. 라이선스는 Apache 2.0이며, 모델 카드에는 모델을 불러와 각 선택지의 확률을 출력하는 Python 코드가 들어 있다. 자체 GPU에서 돌리고 싶은 개발자도 쓸 수 있다. 주 대상은 미디어 위에서 에이전트 라우팅, 콘텐츠 검수, 분류를 만드는 개발자이다.