AWS Strands Decider 2B, 에이전트용 로컬 결정 모델

TypeSafe의 호스팅형 Jev 모델과 같은 종류의 질문에 답하지만, 무료로 내려받아 로컬에서 실행할 수 있다는 점이 다르다. 에이전트가 매 단계를 실행하기 전에 돌려도 될 만큼 빠른, 2B 크기의 모델이다.

작동 방식

AWS는 Qwen3.5-2B 기반 모델에서 다음 단어를 예측하는 헤드를 제거하고, 대신 포인터 헤드를 붙였다. 이 포인터 헤드가 은닉 상태를 비교해 제공된 각 선택지의 점수를 매긴다. 그 위에 rank-16 LoRA 어댑터를 학습시켰다. 질문 하나에 한 번의 순전파로 답이 나오고, 토큰을 하나씩 만들어 내는 디코딩 반복이 없다.

포인터 헤드는 약 100만 개 매개변수 규모이다. 답은 언제나 사용자가 준 선택지 중 하나와 보정된 신뢰도의 조합이기 때문에, 출력을 해석할 필요가 없고 잘못된 형식의 답이 나올 수도 없다. 질문 유형은 choice, noul(예 또는 아니오), score 세 가지이고, Python CLI와 /v1/systemone HTTP 서버로 질문할 수 있다. 설치는 pip install strands-decider 한 줄이며, NVIDIA GPU, Apple silicon(MLX), CPU에서 실행된다.

속도와 성능

README에 따르면 NVIDIA RTX 3090에서 질문당 중간값 지연 시간은 115 ms, 95번째 백분위수는 299 ms이다. M3 Pro Mac에서 300 토큰 미만 작업은 워밍업 후 중간값 153 ms가 걸린다. AWS는 작업 크기에 비례해 지연 시간이 대략 선형으로 늘어난다고 설명한다.

공개 JevBench에서 Strands Decider 2B(v19)는 231개 과제 중 167개를 맞혀 정확도 72.3%를 얻었고, Brier 점수는 0.342, ECE는 0.052이다. AWS 출시 글에 따르면 2B급 33개 모델 중 3위이며, 2B를 약간 넘는 모델을 빼면 30개 중 1위이다.

직접 학습시키려면

strands-decider 저장소에는 학습 설정과 데이터 출처 목록이 들어 있다. README는 24GB RTX 3090 한 장으로 전체 학습에 약 11시간, H100 여덟 장으로 FAST 모드에서는 약 1시간 10분이 걸린다고 적었다. Hugging Face 모델 카드에는 GLUE, PAWS, HotpotQA 같은 공개 데이터셋이 나열되어 있다.

왜 중요한가

에이전트를 만드는 사람들은 요청을 어디로 보낼지 정하거나, 어떤 도구를 쓸지 고르거나, 인자를 점검하는 작은 일에도 큰 LLM을 부르는 경우가 많다. 로컬 결정 모델은 이런 작은 호출을 약 0.1초 만에 처리하고, 행동의 근거로 삼을 수 있는 신뢰도를 함께 주며, 어려운 사례만 더 큰 모델로 넘기게 해 준다. 이번 공개로 AWS는 Cloudflare의 Clef 등과 함께 빠르게 늘고 있는 오픈 결정 모델 흐름에 합류했다.

정리하면 주 대상은 에이전트 개발자와 ML 엔지니어이며, 자체 장비에서 낮은 지연 시간으로 선택과 평가를 반복해야 하는 환경에 어울린다.

일반 LLM에게 고르게 하는 것과 무엇이 다른가

보통은 LLM에게 선택지를 나열하고 하나를 고르라고 시킨 뒤, 돌아온 문장에서 답을 뽑아낸다. 이 방식은 답이 선택지 밖의 말로 나오거나 형식이 흐트러질 수 있다. Strands Decider 2B는 애초에 글을 쓰지 못하는 구조이다. AWS가 Qwen3.5-2B에서 언어 모델 헤드를 떼어 냈기 때문이다. 그 대신 약 100만 개 매개변수의 포인터 헤드가 제공된 선택지를 한 번의 순전파로 채점하므로, 파싱할 출력도, 잘못된 답도 없다.

세 가지 질문 유형

choice는 여러 선택지 중 하나를 고르는 질문이고, noul은 예 또는 아니오로 답하는 질문이며, score는 척도로 평가하는 질문이다. 어떤 유형이든 결과에는 각 답에 대한 보정된 신뢰도가 붙는다. 신뢰도가 낮으면 더 큰 모델에게 넘기고, 높으면 바로 다음 단계로 진행하는 식으로 활용할 수 있다.

정리

Strands Decider 2B는 Qwen3.5-2B 기반, rank-16 LoRA, 포인터 헤드로 이루어져 있으며 Apache-2.0으로 공개되었다. RTX 3090에서 중간값 115 ms, JevBench 정확도 72.3%를 기록했고, pip install strands-decider로 설치한다. 이 모델의 수치는 AWS의 출시 글과 README에서 가져온 것이므로, 자신의 작업에서 직접 지연 시간과 정확도를 측정해 보는 것이 좋다.