앤트로픽, 클로드가 답한 직후 스스로 위험 대화를 가려낸다…고위험 94% 적발에 "도덕은 이용자가 정하게 하라" 반발도

앤트로픽, 클로드가 답한 직후 스스로 위험 대화를 가려낸다…고위험 94% 적발에 "도덕은 이용자가 정하게 하라" 반발도

X 첫 글 8시간 전

@AnthropicAI ♥ 2,110

조회 16

"아무도 이런 걸 필요로 하지 않는다. 무엇이 도덕적인지는 이용자가 정하게 하라." 앤트로픽이 29일(현지시간) 엑스(X)에 클로드의 '자가 평가(self-assessment)' 기법을 소개하자 달린 답글이다. 이 답글은 '좋아요' 439개를 받았다. 앤트로픽 글은 조회 31만회, '좋아요' 2천100개를 넘겼다.

앤트로픽은 안전장치 블로그에서 클로드가 답을 한 직후 그 대화의 안전성을 스스로 평가하게 하는 기법이라고 설명했다. 지난 16일 올린 글에 따르면 클로드 페이블 5(Claude Fable 5) 기준으로, 더 강력한 프롬프트 분류기가 잠재적으로 해롭다고 표시한 대화의 78%를 잡아냈고 우선순위가 높은 대화는 94%를 잡았다. 오탐률은 1%로 맞춘 수치다. 앤트로픽은 6월부터 이 기법을 써 왔고 다른 안전장치가 찾지 못한 대규모 오남용을 드러냈다고 밝혔다.

방식은 이렇다. 응답마다 짧은 지시가 덧붙고, 클로드는 해로운 요청 여부와 유형, 사람이 검토할 우선순위(1~10), 거절 여부, 한 문장 이유를 담은 평가를 낸다. 이 두 턴은 이용자에게 보이지 않고 이후 대화에도 이어지지 않는다. 대화 내용이 이미 메모리(KV 캐시)에 있어 비용이 적게 든다는 게 앤트로픽의 설명이다. 앤트로픽은 모델이 똑똑해질수록 평가도 정확해진다고 했다.

예측시장 칼시(Kalshi)와 폴리마켓(Polymarket)은 "클로드가 자기 대화를 감시한다"는 식으로 전했다. 답글은 갈렸다. "미끄러운 비탈길이다. 그래서 오픈 모델이 필요하다"(287개), "앤트로픽이 미국판 사회신용 체계를 만들 것"(134개)이라는 반발이 있는 반면, 한 이용자는 "사이버 방어에 AI를 쓰게 해 달라"(79개)고 주장했다.

“We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment.”

— Anthropic, X