DreamX-Creator, 단일 GPU 네이티브 오디오·비디오 생성이라는 도박

네이티브 멀티미디어 생성이 여전히 막대한 인프라를 요구하는 가운데—220억 파라미터의 LTX-2.3이나 330억의 MiniMax-H3 같은 오픈웨이트 모델이 그 부류다—DreamX-Creator에 관한 논문이 2026년 8월 31일 arXiv에 등록됐다(arXiv:2608.31106). 공식 저장소는 9월 1일에 만들어졌고 Apache 2.0 라이선스로 공개됐다. 이 프로젝트는 70억 파라미터의 오디오·비디오 동시 생성기에, 저장소 문서가 50억으로 밝힌 자기회귀 정련 모듈을 덧붙인다. 가중치는 git 저장소에 포함되지 않고 Hugging Face에 배포돼 있으며—저장소는 ModelScope 업로드도 언급한다—추론 코드는 변경 이력에 따르면 2026년 9월 3일에 공개됐다. 아키텍처는 신경망 전반부에서 오디오와 비디오 처리를 분리한 뒤 게이트로 조절되는 교차 어텐션으로 결합한다. 저자들은 이 시스템을 «세 가지 속성을 모두 갖춘 가장 작은 모델»이라고 규정한다. 자유롭게 내려받을 수 있는 가중치, 네이티브 오디오·비디오 생성, 그리고 2K 해상도 지원이다.

논문이 제시한 자료를 보면 2K 출력은 시간 블록당 한 번의 디노이징 평가로 처리를 줄이는 증류 절차를 통해 얻어진다. 저자들이 직접 수행한 Verse-Bench 시험에서—자체 보고한 점수이며 현재까지 독립적인 재현은 없다—70억 기본 버전은 영상 품질 0.6568, 비동기 지표 0.1902를 기록해 LTX-2.3과 MiniMax-H3을 앞섰다. 다만 오디오 충실도에서는 뒤처져 품질 점수가 6.3519로, 더 큰 대안들의 6.7169와 7.0140에 미치지 못했고 콘텐츠 선호 지표에서도 마찬가지였다. 저자들 스스로 «오디오 충실도와 교차 모달 정렬은 여전히 주된 개선 과제로 남아 있다»고 솔직히 인정한다.

공개된 수치 너머로 프로젝트를 뜯어보면 빠진 방법론적 세부가 여럿 드러난다. 논문은 생성 클립의 최대 길이, 초당 프레임 수, 실제 연산 시간 같은 기본적인 기술 파라미터를 명시하지 않고, VBench 벤치마크를 인용하면서도 그 결과는 싣지 않았다. 대상 하드웨어에 필요한 정확한 메모리 요구 사항도 없다. 추적 가능성과 실제 채택에도 불확실한 대목이 있다. Hugging Face의 공식 모델 페이지에는 완전한 메타데이터도 다운로드 수도 없고, 이 시스템은 제3자 추론 제공업체에서도 이용할 수 없다. 끝으로 GitHub 저장소 약칭과 기업 그룹 Amap의 소속 관계는 현재 회사의 공식 페이지에서 확인되지 않는다.

이번 공개의 핵심은 저장소가 밝힌 단일 GPU 추론 지원이다. 점수에 대한 독립적 재현이 없는 이상 실제 초당 프레임 수, 클립 최대 길이, 채택 통계는 검증 과제로 남고, 개발자들이 예고한 로드맵에는 지연을 줄이기 위해 샘플링 단계를 줄인 증류 버전이 들어 있다. — Olya