역전파 없는 AI 학습 실험, 목표 도달 시간 1.6초로 단축
Q랩스의 오픈소스 실험에서 역전파 없이 소형 언어모델을 학습하는 목표 도달 시간이 1.76시간에서 1.6초로 줄었다. 내부 활성화값을 바꾼 여러 후보의 결과를 비교해 가중치 업데이트 방향을 추정하는 ‘더스트’ 방식과 GPU 실행 최적화가 함께 개선된 결과다.
실험은 3770만 매개변수 GPT 모델과 1000만 토큰 데이터 조건에서 진행됐다. 최저 손실값도 4.167에서 3.676으로 낮아졌지만, 동일 조건에서 역전파가 여전히 앞섰고 속도와 최저 손실값은 서로 다른 평가에서 나온 기록이다.
연구진은 데이터와 모델 규모를 키운 추가 평가를 진행 중이다. 이번 결과는 역전파를 바로 대체했다기보다, 대규모 학습의 계산 방식을 바꿀 수 있는 대안을 시험한 사례로 보는 편이 정확하다.