Muse Spark 1.2, 터미널 코딩 에이전트 Muse Code 베타와 함께 나온 Meta의 코딩 강화 모델

학습 방식

Meta는 이 모델을 코딩 환경과 함께 학습시켰고 코딩 작업에 대한 학습량도 늘렸다. Muse Code는 저장소 작업을 위한 도구와 백그라운드에서 계속 도는 에이전트를 제공한다. 이런 에이전트 환경에서 얻은 결과는 체크포인트 하나의 성능이 아니라 모델과 실행 환경을 합친 성능이므로, 같은 모델을 다른 도구에 연결하면 결과가 다를 수 있다.

사양과 가격

컨텍스트 창은 1M 토큰이고 가중치를 공개하지 않는 폐쇄형이다. 오픈웨이트 Llama 시리즈를 만들어 온 Meta가 내놓은 폐쇄형이라는 점이 대비된다. 제공 업체는 Meta 한 곳이며 100만 토큰당 입력 1.25달러, 출력 4.25달러다. 출력 단가가 입력의 약 3.4배다. 코딩 에이전트는 긴 코드를 읽고 짧은 수정안을 내놓는 경우가 많아 입력 비중이 크지만 실제 부담은 작업 방식에 따라 달라진다. 1M 컨텍스트 덕에 큰 저장소를 한 번에 넣어 볼 수 있다.

성능

공개된 점수는 네 개다. Terminal-Bench 2.1은 82.9%로 36개 중 16위, DeepSWE 1.1은 59.3%로 36개 중 24위다. 프로그램을 처음부터 만드는 ProgramBench는 0%인데도 20개 중 6위로 표시된다. 견고성 평가 BullshitBench v2는 50%로 97개 중 37위로, 코딩 중심 업데이트라는 설명과 달리 순위가 낮다.

참고할 점

네 개 가운데 터미널 작업 지표가 가장 높고, 이는 터미널 코딩 에이전트와 함께 공개된 성격과 맞아떨어진다. 다만 에이전트 환경과 모델 성능이 섞여 있을 수 있다. 같은 시기 Muse 계열이 연달아 나온 만큼 버전 이름만으로 용도를 단정하지 말아야 한다. 뒤이은 Glimmer는 가중치를 공개한 30B 오픈웨이트 모델이고 Spark 1.2는 가중치가 공개되지 않은 호스팅형이다.