KT, 500개 AI 모델 한곳에 묶은 ‘토큰팩토리’ 공개
KT가 국내외 500개가 넘는 AI 모델을 한 플랫폼에서 골라 쓰고 관리할 수 있는 기업용 서비스 ‘KT 토큰팩토리’를 선보인다. 모델을 따로 연결하고 비용을 계산해야 했던 기업의 불편을 줄이겠다는 구상이다.
서비스는 10월 30일 출시될 예정이다. KT는 지난 7월 신사업으로 제시한 구상을 약 4개월 만에 상용화하며 기업의 인공지능 전환을 지원하는 사업으로 키우겠다고 밝혔다.
토큰팩토리의 중심 기능은 ‘오토 모델 라우터’다. 사용자의 질문을 업무 종류와 난이도, 요구 품질, 비용 등을 기준으로 분석한 뒤 적합한 모델을 자동으로 선택한다. 한국어에 맞춘 프롬프트 압축 기술도 적용해 토큰 사용량을 최대 25% 줄이는 것을 목표로 한다.
KT는 추론 기능과 함께 개인정보·유해 표현·AI 답변을 점검하는 한국어 특화 가드레일도 제공한다. 오픈라우터와 공식 파트너십을 맺었고 유라클, CAST AI, 타임리, 업스테이지 등과 협력해 모델과 서비스 생태계를 넓힐 계획이다.
KT는 AI 서비스 경쟁의 초점이 모델 자체에서 기업이 AI를 쉽고 효율적으로 쓰도록 돕는 운영 체계로 옮겨가고 있다고 설명했다.