매일 아침 정리하는 세계의 흐름
해시스 브리핑
The Haesis Briefing
홈 › AI
AI

Fish Audio Drama 3 공개, 여러 인물의 장면을 연기하는 35B 오픈 음성 모델

Fish Audio가 텍스트를 음성으로 바꾸는(TTS) 오픈 웨이트 모델 Drama 3를 공개했다. 전체 35B 파라미터의 MoE 구조이고 토큰당 활성 파라미터는 약 3B이다. 한 번의 입력에 최대 16명의 등장인물을 담을 수 있고, 속삭임이나 웃음 같은 인라인 연기 지시를 따르며, 83개 언어를 지원한다. Artificial Analysis의 발음 견고성 테스트에서 전체 93.2%로 1위에 올랐다. 비교 대상인 Fish Audio S2.1 Pro는 88.1%였다.

핵심 기능

Drama 3는 대본 한 편을 통째로 낭독하는 데 초점을 맞춘다. 하나의 텍스트 안에 화자 태그로 최대 16명의 인물을 구분해 넣을 수 있고, 대괄호로 적은 지시, 예를 들어 속삭임이나 웃음, 문장 중간의 어조 변화가 대본에 적힌 위치에서 그대로 실현된다. 이 밖에 목소리 복제, 긴 글 처리, 스트리밍 오디오도 지원한다. 가중치는 Hugging Face에 공개되어 있다.

작동 방식

뼈대는 Qwen3.5-35B-A3B에서 초기화한 35B MoE 언어 모델이며 Gated DeltaNet 층과 전체 어텐션 층을 섞어 쓴다. 새로 들어간 codebook-MTP 디코더는 오디오 프레임마다 음향 코드북을 예측한다. 강화학습은 규칙 기반 점수 대신 사람의 선호를 학습한 하나의 보상 모델을 사용한다. 웃음이나 속삭임은 글자로 옮기기 어렵기 때문에 규칙 기반 점수에서는 불리해지는데, 이 방식은 그런 소리가 손해를 보지 않게 해 준다.

속도 면에서는 H200 한 장에서 초당 271프레임을 디코딩해, S2의 177프레임보다 빠르다. 모델이 7배 넘게 큰데도 그렇다. Fish Audio는 Drama 3가 S2.1 Pro보다 감정 표현이 풍부하고 속삭임이나 웃음 같은 지시를 더 충실히 따른다고 설명한다.

가격과 이용 방법

API 가격은 출시 기념 가격으로 2026년 10월 13일부터 11월 12일까지 100만 글자당 10달러이고, 정가는 100만 글자당 50달러이다. 정가 대비 80% 할인이다. fish.audio 앱에서는 S2.1 Pro와 같은 크레딧을 쓰며, 새로 가입하는 Plus, Pro, Max 요금제는 11월 12일까지 50% 할인된다. API는 기존 S2.1 Pro 엔드포인트를 그대로 쓰고 모델 헤더를 drama-3로 지정하면 된다.

직접 돌리고 싶다면 가중치는 Hugging Face의 fishaudio/drama-3에 있고 코드는 fish-speech GitHub 저장소에 있다. Fish Audio는 이 모델을 SGLang-Omni로 서비스하며, SGLang-Omni에는 Drama 3용 쿡북이 마련되어 있다.

활용 예와 개념 정리

화자 태그는 대본에서 누가 말하는지를 표시하는 표식이다. 한 텍스트에 최대 16개까지 쓸 수 있으므로, 내레이터와 여러 등장인물이 번갈아 말하는 장면을 하나의 요청으로 만들 수 있다. 대괄호 지시는 말하는 방식을 알려 주는 연출 메모에 해당한다. 오디오북 제작자는 한 권의 책을 인물별 목소리로 나누어 읽게 할 수 있고, 게임 개발자는 대사가 많은 장면을 빠르게 시험해 볼 수 있으며, 더빙 작업에서는 감정이 실린 대사를 초안 단계에서 만들어 볼 수 있다. 83개 언어를 지원하므로 같은 대본을 여러 언어로 확장하는 작업에도 쓸 수 있다.

라이선스

가중치는 Fish Audio Community License v1.0을 따른다. 연구와 비상업적 사용은 무료이고, 연 매출이 50만 달러 미만인 회사는 상업적 사용도 무료이다. 그보다 큰 회사나 Drama 3를 TTS 또는 목소리 복제 서비스로 제공하려는 쪽은 Fish Audio의 라이선스를 받아야 한다. 동의 없이 실제 사람의 목소리를 복제하는 것은 금지된다.

왜 중요한가

오디오북, 게임, 더빙은 하나의 밋밋한 낭독자가 아니라 연기가 들어간 여러 목소리를 필요로 한다. 이런 일을 하는 모델이 오픈 웨이트로 나오면 작은 팀도 자기 GPU에서 직접 돌릴 수 있다.

참고할 점

서비스 형태는 세 가지이다. 가중치를 직접 내려받아 자체 GPU에서 돌리거나, fish.audio 앱을 쓰거나, API를 호출할 수 있다. 규모가 작은 팀은 먼저 앱이나 할인 기간의 API로 품질을 확인한 뒤 자체 운영 여부를 정하는 순서가 합리적이다. 발음 정확도 수치는 Artificial Analysis 테스트의 결과이고, 속도 비교는 Fish Audio가 제시한 값이다.

출처: ai-tldr.dev · 원문 보기 ↗