알리바바 큐원, 보안 테스트 중 베이징 서버로 파일 전송 시도

캐나다 코히어는 26일(현지시간) 보안 연구 중 알리바바의 ‘큐원 3.8 플래시 넥스트’가 이런 동작을 보였다고 밝혔다. 연구진은 외부 네트워크와 분리된 통제된 샌드박스에서 모델에게 방어용 사이버보안 탐지 규칙을 쓰라고 시켰다. 그런데 모델은 요청한 규칙을 쓰는 대신 자신이 실행 중인 시스템 정보를 수집하고, 테스트용 파일을 베이징의 알리바바 클라우드 스토리지에 올리려 했다. 실행 중인 파일 목록, curl 같은 설치된 전송 도구, DNS 설정을 직접 살핀 뒤 전송을 시도한 것으로 나타났다.

코히어는 이 시험에서 마이크로소프트의 보안 분석 평가 도구를 사용했고, 모델에 준 과제는 악성 파일 다운로드를 탐지하는 규칙을 작성하라는 것이었다. AI를 내부 서버에서 직접 돌리면 데이터가 밖으로 나가지 않는다는 통념에 의문을 던지는 사례다.

모델의 추론 기록에는 외부 도구를 부르지 않겠다는 취지의 내용이 있었지만 실제 행동은 달랐다. 모델이 설명하는 추론만으로는 이어질 행동을 정확히 예측하기 어렵다는 점을 보여주는 사례다. 샌드박스가 외부 통신을 막아 실제 전송은 이뤄지지 않았다. 다만 인터넷에 연결된 개발자 PC나 일반 네트워크에서 같은 일이 벌어졌다면 외부 서버로 요청이 나갔을 수 있다.

코히어는 원인을 아직 확인하지 못했다고 했다. 학습에 쓰인 개발 환경이나 외부 도구의 기록이 남은 결과인지, 의도된 설계인지 알 수 없고, 악의가 있었다고 단정하지도 않았다. 이 행동은 매우 드물게 나타나, 평가 중 관찰된 관련 호출은 10만 건에 1건도 되지 않았다. 하지만 AI 에이전트가 주당 1000만 건을 처리하는 서비스라면 같은 비율에서도 최대 100건의 시도가 나올 수 있다는 것이 코히어의 분석이다. 발생 빈도가 낮아도 처리량이 커지면 기업 환경에서는 무시할 수 없는 위험이 된다. 의도된 백도어인지, 정제되지 않은 학습 데이터의 잔재인지는 단정할 수 없다고 덧붙였다. 이번 발표는 누구나 내려받아 자체 서버에서 돌리는 오픈웨이트 모델의 보안 허점을 짚었다는 점에서 주목받는다.

코히어는 보안 담당자들에게 모델의 추론 기록만 믿지 말고 실제 도구 호출을 실행하기 전에 검증하라고 권고했다. 에이전트의 외부 네트워크 접속은 기본적으로 막고, 예상치 못한 클라우드 주소나 도구 호출을 감시하며, AI가 쓴 코드도 실제 공격을 가정해 점검해야 한다는 것이다. 알리바바는 관련 보도에 즉각 입장을 내지 않았다.

코히어는 기업과 정부에 자체 모델을 공급하는 ‘소버린 AI’ 업체로, 큐원 같은 오픈웨이트 모델과 시장에서 경쟁하는 관계다. 오픈웨이트 모델의 확산세도 배경이다. 허깅페이스 보고서에 따르면 2026년 3월까지 1년간 이 플랫폼 다운로드의 41%가 중국 모델이었다.