OpenBMB MiniCPM-V 4.7 공개, 아이폰에서 돌아가는 첫 MoE 비전 모델

가장 눈에 띄는 점은 휴대폰에서의 실행이다. 35B-A3B 모델은 iPhone 17 Pro Max에서 초당 13토큰 이상의 속도로 디코딩하며, 메모리는 약 3GB를 쓴다. 총 35B 파라미터의 모델을 휴대폰 메모리 한도 안으로 가져왔다는 것이 이번 발표의 요지이다.

작동 방식

구조는 SigLIP2 비전 인코더가 이미지를 읽고, 그 결과를 Qwen3.5와 Qwen3.6 계열의 언어 모델 뼈대에 넘기는 형태이다. 각 이미지는 시각 토큰 수를 4분의 1 또는 16분의 1로 줄여 압축할 수 있다. 토큰이 줄면 처리할 양이 줄어 휴대폰처럼 자원이 작은 기기에서 유리하다.

속도를 위한 핵심 기법은 Lookahead Expert Scheduling이다. 다음 층에서 필요할 가능성이 높은 전문가를 미리 불러 두는 방식으로, OpenBMB는 실제 기기에서 5배의 속도 향상을 얻는다고 밝혔다. 전문가 일부만 쓰는 MoE 모델은 전체 가중치를 저장 장치와 메모리 사이에서 옮겨야 하는 부담이 있는데, 이를 미리 예측해서 줄이는 접근이다.

모델 구성 이해하기

이름의 35B-A3B는 전체 파라미터가 35B이고, 토큰을 처리할 때 활성화되는 파라미터가 약 3B라는 뜻이다. MoE 구조에서는 질문마다 필요한 전문가만 골라 쓰기 때문에, 전체 크기에 비해 계산량이 작다. 다만 전체 가중치를 어디엔가 보관해야 하므로, 휴대폰에서는 전문가를 필요할 때 불러오는 일정 관리가 속도를 좌우한다. Lookahead Expert Scheduling이 바로 이 부분을 다룬다. 함께 나온 1B 모델은 더 가벼운 선택지로, 같은 계열을 자원이 더 적은 환경에서 써 보려는 경우에 대비한 구성이다.

시각 토큰은 이미지를 모델이 읽기 좋은 조각으로 나눈 단위이다. 이미지가 크면 토큰이 많아져 처리 시간이 길어지는데, 4배 또는 16배로 줄이면 같은 이미지를 훨씬 가볍게 처리할 수 있다. 한 장의 이미지뿐 아니라 여러 장, 영상까지 읽는 모델이므로 이 압축이 휴대폰 환경에서 특히 도움이 된다.

성능

OpenBMB가 자체 공개한 instruct 모드 비교표에서 35B-A3B는 Qwen3.6-35B-A3B, Qwen3.8-27B, Gemma-4-31B를 MMBench, MMMU, OmniDocBench v1.6에서 앞선다. 핵심 지표 중 OmniDocBench v1.6 점수는 94.24이다. 문서를 읽는 능력을 평가하는 지표에서 높은 점수를 받은 셈이다.

왜 중요한가

기기에서 도는 비전 비서는 보통 작은 밀집(dense) 모델에 의존해 왔다. 이번 모델은 큰 MoE 모델의 성능을 약 3GB 메모리의 휴대폰에서 낼 수 있음을 보여 준다. 사진 속 글자를 읽거나, 문서를 이해하거나, 영상을 설명하는 기능을 서버로 보내지 않고 기기 안에서 처리하려는 개발자에게 의미가 있다.

직접 써 보려면

Hugging Face에 35B-A3B와 1B 두 모델의 모델 카드가 있고, GitHub 저장소와 Hugging Face Spaces의 라이브 데모(openbmb/MiniCPM-V-4.7-Demo)도 제공된다. 설치 없이 데모에서 먼저 성능을 확인해 볼 수 있다.

활용 예

문서 사진을 찍어 내용을 요약하거나, 여러 장의 사진을 비교하거나, 짧은 영상의 장면을 설명하는 비서 앱을 상상해 볼 수 있다. 이런 기능은 지금까지 서버의 큰 모델에 맡기는 경우가 많았지만, 35B-A3B가 약 3GB 메모리로 휴대폰에서 돌아간다면 기기 안에서 처리하는 선택지가 생긴다. 앱을 만드는 개발자는 Hugging Face Spaces의 데모에서 먼저 응답 품질을 확인하고, 모델 카드에서 사용법을 읽은 뒤 자기 기기에서 속도를 재 보는 순서로 접근할 수 있다.

참고할 점

비교표의 수치는 OpenBMB가 직접 발표한 것이다. 휴대폰 속도 수치도 iPhone 17 Pro Max라는 특정 기기에서의 결과이므로, 다른 기기에서는 달라질 수 있다. 온디바이스 AI나 엣지 AI를 개발하는 사람이라면 모델 크기와 메모리, 속도의 균형을 점검하는 기준점으로 삼을 만하다.