Timestral, 시계열 예측을 위한 Mistral의 첫 오픈 모델

작동 방식

학습 데이터 대부분은 합성 데이터이다. 추세, 계절성, 잡음이 있는 단순한 과정을 만들고, 이를 결합해 다변량 시계열을 만들었다. Mistral이 분리형 수평선 예측이라고 부르는 방법은 전체 이력을 시퀀스에 그대로 두고 학습된 예측 토큰을 덧붙인다. 공변량 인식 어텐션은 각 시계열에 역할을 부여해서, 정보가 공변량에서 대상 시계열로만 흐르게 한다.

주요 스펙

컨텍스트는 32,768개의 시간 단계이고, 한 번의 처리로 최대 1,024개 단계를 예측한다. 더 긴 구간은 블록 단위로 이어서 예측한다. 과거에만 알려진 공변량과 미래에도 알려진 공변량(예를 들어 휴일 달력)을 대상 시계열과 함께 넣을 수 있고, 결측값은 NaN으로 전달한다. 라이선스는 가중치가 변형 MIT, 코드가 Apache 2.0이다. 제공 경로는 Hugging Face, GitHub, Mistral Forge이다. 설치는 GitHub 저장소에서 pip로 받는 방식이다.

크기와 속도

Mistral은 8스레드 서버 CPU에서 5M 모델이 예측 한 번에 10ms, 209M 모델이 140ms가 걸린다고 보고한다. 체크포인트 크기는 Timestral-5M이 21MB, Timestral-209M이 837MB이며 네 개 모두 내려받아 폐쇄망을 포함한 자체 서버에서 돌릴 수 있다. Timestral-123M은 209M 모델 점수의 0.2% 이내이면서 지연은 약 4분의 3이고, 28M 모델은 209M보다 약 5배 빠르다고 한다. 지연 예산이 빠듯하다면 작은 모델이 알맞다.

다른 모델과의 비교

Mistral은 Timestral-209M이 더 적은 파라미터로 TimesFM-3과 Falcon-2.0을 앞서고, Timestral-28M은 GIFT-Eval과 TIME에서 약 네 배 큰 Chronos-2를 이긴다고 보고한다. Hugging Face 모델 카드에서 Timestral-209M의 GIFT-Eval 점수는 MASE 0.658, CRPS 0.446이며 두 지표 모두 낮을수록 좋다.

왜 중요한가

예측 모델은 보통 기존 데이터 파이프라인 안에서 CPU로 돌리는 경우가 많아서 크기가 중요하다. 수십 MB에서 수백 MB의 모델이 밀리초 단위로 예측을 내놓는다면 수요 예측, 재고 관리, 센서 모니터링 같은 운영 업무에 가볍게 붙일 수 있다. 데이터 과학자와 예측 및 운영 팀이 주된 대상이다.

참고할 점

순위와 비교 결과는 Mistral이 직접 보고한 수치이다. 도입 전에 자신의 데이터로 예측 오차를 시험해 보기를 권한다.

활용 예와 정리

정리하면 Timestral은 크기가 작아 CPU에서도 빠르게 돌아가고, 학습 없이 바로 쓸 수 있으며, 결과를 분포로 돌려주는 시계열 예측 모델 계열이다. 판매량이나 센서 값처럼 과거 기록이 쌓여 있고 휴일 달력 같은 미래에 알려진 정보가 있는 업무에 맞는다. 불확실성을 분위수로 받을 수 있으므로 단순한 한 줄 예측보다 재고나 인력 계획의 위험을 가늠하기 좋다. 먼저 5M이나 28M 같은 작은 모델로 속도와 정확도를 확인하고, 정확도가 더 필요하면 123M이나 209M으로 올리는 순서가 현실적이다. 가중치와 코드가 공개되어 있고 내려받아 자체 서버에서 돌릴 수 있으므로, 외부로 데이터를 보낼 수 없는 환경에서도 검토할 수 있다. 모델 파일은 가장 작은 것이 21MB, 가장 큰 것이 837MB이다.

크기별 선택 기준 요약

네 가지 크기는 5M, 28M, 123M, 209M이다. 가장 작은 5M은 예측 한 번에 10ms로 가장 빠르고, 28M은 209M보다 약 5배 빠르다. 123M은 209M의 점수에 0.2% 이내로 다가가면서 지연이 약 4분의 3 수준이다. 가장 큰 209M은 Mistral이 GIFT-Eval, TIME, fev-bench에서 1위라고 밝힌 모델이며 140ms가 걸린다.