Nemotron 3.5 Bolt 74B, 로컬 에이전트용으로 줄여 낸 NVIDIA의 74B 오픈웨이트 모델

주요 사양

전체 파라미터는 약 740억 개이고 한 번에 활성화되는 파라미터는 약 90억 개다. 컨텍스트 창은 256K 토큰이며 텍스트와 이미지, 영상을 입력으로 받는다. 눈에 띄는 것은 24GB 크기의 IQ2 체크포인트다. IQ2는 가중치를 아주 낮은 비트로 줄이는 양자화 방식이라 용량은 크게 줄지만 정확도가 떨어질 수 있다. NVIDIA의 하이브리드 비전 언어 구조를 더 작은 배포 환경에 맞게 고친 모델이며, 가중치를 내려받아 직접 돌릴 수 있다. 다만 학습 데이터와 코드까지 모두 공개된 것은 아니어서 엄밀한 의미의 오픈소스는 아니다. 호스팅 서비스의 가격표는 공개되지 않았다.

성능

공개된 평가는 네 가지다. Terminal-Bench 2.1에서 50.98%로 비교 대상 36개 모델 가운데 가장 낮은 36위, 도구 연결 능력을 보는 MCP Atlas에서 52.2%로 13개 중 13위에 머물렀다. 웹 탐색 평가 BrowseComp는 66.75%로 31개 중 26위, 대학원 수준 과학 문제인 GPQA Diamond는 86.43%로 66개 중 28위다. 대형 모델과 겨루려고 만든 모델이 아니라 24GB급으로 줄인 로컬용이라는 점을 감안해 읽어야 한다.

참고할 점

NVIDIA는 양자화 체크포인트와 BF16 체크포인트의 평가 결과를 따로 발표했다. 24GB 버전의 결과를 높은 정밀도 가중치의 결과와 같다고 볼 수 없고, 실제 필요한 메모리도 컨텍스트 길이와 구성에 따라 달라진다. 같은 날 나온 Super VL이 전체 120B, 활성 12B, 컨텍스트 1M인 반면 Bolt는 74B, 활성 9B, 컨텍스트 256K다. 긴 문서나 영상을 한꺼번에 넣어야 하면 Super VL이, 한정된 메모리에서 에이전트를 돌려야 하면 Bolt가 현실적인 선택이 될 수 있다.