Kandinsky 6.0 Video, 음성과 효과음이 맞춰진 영상을 만드는 MIT 오픈 모델

별도의 1.4B 크기 Kandinsky 6.0 VSR 모델은 출력 해상도를 Full HD(1920×1080)까지 끌어올린다. 정리하면 그림과 소리를 한꺼번에 만들고, 립싱크까지 지원하며, MIT 라이선스로 공개된 오픈 영상 모델 계열이다.

작동 방식

이 모델들은 이중 스트림 CrossDiT 구조를 쓴다. 사전 학습된 영상 스트림과 새로 학습한 오디오 스트림이 양방향 교차 어텐션으로 연결되어, 화면과 소리가 시간과 의미 면에서 서로 맞아떨어지게 한다.

학습은 단계별로 진행된다. 먼저 오디오 스트림만 대규모 오디오 데이터로 따로 학습하고, 그다음 두 스트림을 짝지어진 오디오 영상 데이터로 함께 학습한다. 이후 지도 미세조정, 강화학습 기반 후속 학습, 증류가 이어진다. 사용자가 직접 설치해 보고 싶다면 공식 저장소를 내려받아 설정한 뒤 pro-distill 모델을 받는 명령이 안내되어 있다.

주요 구성

Kandinsky 6.0 Video Lite는 3B, Pro는 29B 매개변수이다. 두 모델 모두 5초 클립에 44 kHz 오디오를 만든다. 입력은 텍스트만 쓰는 방식과 이미지에 텍스트를 더하는 방식이 있다. 해상도를 높이는 VSR 모델은 1.4B이며 Full HD 출력을 담당한다. 코드, 체크포인트, diffusers 연동이 모두 MIT 라이선스로 제공된다.

왜 중요한가

소리와 영상을 함께 만드는 오픈 모델은 드무다. 이번 공개에는 코드와 체크포인트, diffusers 연동까지 허용 범위가 넓은 MIT 라이선스로 들어 있어서, 연구자와 오픈 모델 사용자가 직접 내려받아 실험하고 개선할 수 있다.

논문에 따르면 연구팀이 진행한 나란히 비교하는 사람 평가에서 Pro 모델은 Kandinsky 5.0 Video Pro를 분명하게 앞섰고, 특히 말소리 품질에서 선두권 오디오 영상 모델과 견줄 만한 수준이었다. 이 평가는 개발팀이 직접 진행한 것이므로 해석할 때 이 점을 고려해야 한다.

참고할 점

생성되는 클립의 길이는 5초이다. 이 글에서 확인된 정보는 공개된 범위로 제한된다. 구체적인 속도나 필요한 GPU 사양은 공개돼 있지 않으므로, 도입을 검토한다면 공개된 논문과 저장소 안내를 직접 확인해야 한다. 주 대상은 영상 생성 연구자와 오픈 모델, ComfyUI 사용자이다.

구성 한눈에 정리

이번 공개에는 세 가지 모델이 있다. 3B 크기의 Kandinsky 6.0 Video Lite, 29B 크기의 Kandinsky 6.0 Video Pro, 그리고 해상도를 올리는 1.4B 크기의 Kandinsky 6.0 VSR이다. 영상 모델 두 가지는 5초 클립을 만들면서 44 kHz 오디오를 함께 내놓고, VSR 모델은 그 결과를 Full HD인 1920×1080으로 끌어올린다. 입력은 텍스트 프롬프트만 쓸 수도 있고, 이미지에 텍스트를 곁들일 수도 있다.

두 스트림이 맞물리는 방식

이 모델의 특징은 화면을 담당하는 부분과 소리를 담당하는 부분이 따로 있다는 점이다. 영상 스트림은 이미 학습된 상태에서 가져오고, 오디오 스트림은 새로 학습한다. 두 스트림은 양방향 교차 어텐션으로 이어져서, 영상 쪽이 오디오 쪽을 참고하고 오디오 쪽도 영상 쪽을 참고한다. 그 덕분에 인물이 말을 할 때 입 모양과 소리가 시간적으로 맞고, 장면의 의미와 효과음도 어울리도록 만들 수 있다는 것이 개발팀의 설명이다.

학습 순서도 눈여겨볼 만하다. 오디오 스트림은 먼저 대규모 오디오 자료만으로 혼자 훈련하고, 그 뒤에 영상과 소리가 짝지어진 데이터로 두 스트림을 함께 훈련한다. 마지막에는 지도 미세조정, 강화학습 기반 후속 학습, 증류를 거친다. 증류를 거친 판이 있다는 점은 내려받기 안내에 pro-distill이라는 이름이 등장하는 것으로도 확인된다.

활용과 접근 방법

코드, 체크포인트, diffusers 연동이 함께 공개되므로 연구자는 구조를 직접 살펴보고 재현할 수 있고, ComfyUI 같은 도구를 쓰는 사용자도 오픈 모델로 실험해 볼 수 있다. 개발자는 공식 안내대로 kandinskylab/kandinsky-6 저장소를 복제하고 설정한 뒤, pro-distill 모델을 내려받는 순서로 시작할 수 있다. 논문, 코드, 모델 가중치, 해상도 향상 코드 저장소가 모두 공개되어 있다.

평가 결과를 읽는 법

개발팀의 나란히 비교하는 사람 평가에서 Pro 모델은 Kandinsky 5.0 Video Pro를 분명하게 앞섰고, 선도적인 오디오 영상 모델과도 경쟁할 만하다는 평가를 받았다. 특히 말소리 품질에서 강점이 있다고 논문은 말한다. 다만 이 결과는 제작팀이 직접 진행한 평가이고, 공개된 자료에는 구체적인 점수나 비교 대상의 목록이 나와 있지 않는다. 따라서 실제 용도에 맞는지는 직접 생성해 보고 판단하는 것이 안전하다.