코딩 에이전트 하네스, 복잡하다고 정확해지진 않고 비용만 최대 3배

여기서 하네스는 AI 모델을 감싸는 작업 환경을 뜻한다. 시스템 프롬프트, 파일 편집·명령 실행 같은 도구 정의, 모델의 출력을 받아 다시 입력으로 돌려주는 실행 루프가 모두 하네스에 들어간다. 같은 모델이라도 어떤 하네스에서 돌리느냐에 따라 결과가 달라질 수 있다고 알려져 왔고, 그만큼 업계는 하네스 설계에 공을 들여 왔다.

중국 산둥대와 미국 UC버클리 연구진은 온라인 아카이브에 공개한 연구에서 앤트로픽의 ‘클로드 코드’, 오픈소스 ‘오픈코드’, 최소 기능만 갖춘 ‘미니-SWE-에이전트’ 등 하네스 3종을 비교했다. 오픈웨이트 모델 2종(큐원3.6-35B-A3B, 큐원3.8-27B)과 API 기반 모델 3종(딥시크-V4-플래시, GLM-5.3-플래시, HY4-프리뷰)을 썼고, 기준선으로 클로드 코드에서 돌린 클로드 오퍼스 5도 포함했다. 평가는 코드 수정 능력을 재는 ‘SWE-벤치 베리파이드’의 오프라인 과제 492개로, 어려운 과제 45개와 나머지 447개를 나눠 살폈다.

평가에 쓰인 ‘SWE-벤치 베리파이드’는 실제 오픈소스 저장소에서 나온 소프트웨어 이슈를 AI가 얼마나 고치는지 보는 대표적인 코딩 벤치마크다. 하네스의 효과를 가리려면 이 같은 평가를 반복해서 돌려야 하는데, 한 번의 실행에도 결과가 흔들린다는 것이 이번 연구가 짚은 점이다.

결과를 보면 기능이 많은 하네스가 가벼운 하네스보다 꾸준히 높은 정확도를 내지는 않았다. 어려운 과제 집합에서는 하네스를 바꿀 때마다 약 13%의 문제가 성공과 실패를 오갔는데, 같은 하네스로 반복 실험해도 비슷한 비율이 흔들렸다. 하네스 차이로 보이는 결과 상당수가 실행할 때마다 생기는 확률적 변동, 곧 노이즈라는 뜻이다. 모델 제작사가 자사 모델에 맞춰 만든 하네스라고 더 나은 것도 아니었다. 딥시크의 공식 명령줄 하네스는 성공률이 다른 하네스의 범위 안에 머물렀고 과제당 비용은 가장 높았다.

성능이 떨어지는 사례도 있었다. 오픈코드는 큰 과제에서 다른 환경보다 점수가 최대 9%포인트 낮았는데, 그 절반가량은 출력 토큰 한도(3만2000개)에 걸려 패치를 쓰기도 전에 실행이 멈춘 경우였다. 클로드 코드는 같은 한도에 닿으면 모델에게 이어 쓰라고 자동으로 요청하는 복구 기능이 있었다.

비용에는 하네스가 뚜렷한 영향을 미쳤다. 같은 모델과 과제여도 하네스에 따라 과제당 비용이 최대 3배 차이 났고, 이 격차는 첫 API 호출부터 나타났다. 시스템 프롬프트와 도구 정의가 차지하는 고정 문맥이 클로드 코드는 1만 토큰을 넘고 미니-SWE-에이전트는 800토큰대라서, 작업 단계가 늘수록 부담이 쌓였다. 다만 가장 싼 하네스가 모델마다 같지는 않았다. 딥시크 모델에서는 미니-SWE-에이전트가 호출을 더 많이 해 비용이 거꾸로 높아졌다.

고정 문맥은 매 호출마다 모델에 반복해서 들어가는 지시문과 도구 설명을 말한다. 작업이 수십 단계 이어지는 에이전트에서는 이 부분이 호출 횟수만큼 곱해져 그대로 비용이 되므로, 800토큰대와 1만 토큰대의 차이는 단계가 쌓일수록 크게 벌어진다.

연구진은 한 번의 실행 결과만으로 복잡한 하네스가 우수하다고 판단해서는 안 되며, 반복 검증과 충분한 과제 수가 필요하다고 강조했다. 복잡한 환경을 무조건 들이기보다 시스템 프롬프트와 도구 정의를 줄이고, 실제 쓰는 모델에서 비용과 성능을 반복 측정해 효과가 확인된 기능만 남기라는 조언이다.