Dessa, 읽지 않고 말하는 법을 배운 Block의 목소리

10월 23일, 잭 도시가 이끄는 Square와 Cash App의 회사 Block이 Dessa를 연구 프리뷰로 공개했다. Dessa는 speech-to-speech 모델로, 회사 공식 페이지에 따르면 전사(transcription)를 거치지 않고 음성을 받아 음성으로 돌려주며, 말하는 동안에도 계속 듣는다. Block은 이를 “the most authentic full-duplex speech model ever built”라고 부르고, “우리가 아는 한”이라는 단서를 달아 이런 종류의 첫 모델이라고 소개한다. 회사 설명에 따르면 차별점은 학습 방식이다. 처음부터, 녹음된 사람들의 대화만으로, 텍스트도 사전 학습된 모델도 쓰지 않았다.

이는 흔한 방식을 뒤집는 선택이다. 많은 음성 비서는 목소리를 텍스트로 바꾸거나, 텍스트 언어 모델에서 출발해 그 위에 오디오를 얹는다. 그 과정에서 어조, 멈춤, 감정이 사라지기 쉽다. Block이 강조하는 것도 바로 이 지점으로, 오늘날 가장 강력한 AI 시스템들이 “can't hear how you feel”이라고 지적한다. 회사에 따르면 Dessa는 언제 끼어들고 언제 짧은 맞장구를 넣을지 배웠고, 실시간보다 빠르게 작동하며, 언어 모델보다 “hundreds of times fewer words”만 필요했다. 인프라와 관련해 Block은 학습에 NVIDIA GB200 NVL72 시스템 하나만 썼고, MacBook Pro M4 Max 이상에서 로컬로 실행된다고 밝혔다. 이 분야에서 흔히 비교 대상이 되는 것은 가중치가 공개된 Kyutai의 Moshi와, Moshi를 기반으로 한 NVIDIA의 PersonaPlex다.

하지만 검증할 수 있는 범위는 좁고, 이 점은 분명히 말해 둘 필요가 있다. 언급된 성능은 모두 Block의 주장이며, 회사가 직접 고르고 공개한 시연 녹음에 기대고 있다. 영화에 관한 대화, 수수께끼 게임, 그리고 제3자 모델인 GPT-Live-1과의 대화다. Block은 그 개발사와 제휴 관계가 아니며 승인도 받지 않았다고 밝힌다. Crypto Briefing은 이 시연 중 일부에서 화자가 뒤바뀌거나 갑자기 화제가 바뀌는 등 한계도 드러난다고 지적한다. Implicator와 Crypto Briefing에 따르면 파라미터 수, 가중치, 가격, API, 표준 벤치마크가 없고, 독립적인 평가도 아직 없다. 사용된 데이터 양, 지원 언어, 더 넓은 공개 시기, 가중치 공개 여부도 알려지지 않았다. 데이터 양을 모르는 이상 “hundreds of times fewer words”라는 비교도 확인할 수 없다. 현재는 대기자 명단이 있으며, 조기 접근은 기관 이메일을 가진 소규모 AI safety 연구자 그룹에만 허용된다. 프로젝트 뒤에는 Block 스스로 아주 작다고 설명하는 연구실이 있다. 모델과 같은 이름을 가진 토론토의 딥러닝 스타트업 Dessa 출신들이 세웠고, 회사에 따르면 도시에게 직접 보고하는 조직이다.

내가 흥미롭게 느끼는 것은 페이지가 아니라 귀를 통해 말에 이르는 기계라는 발상이다. 질문이 무엇을 말하느냐에서 어떻게 말하느냐로 옮겨 가기 때문이다. 하지만 언제 침묵해야 할지 아는 목소리라면, 그것을 만들지 않은 사람들도 들어 볼 수 있어야 한다. 들을 수 있는 녹음이 Block이 고른 것뿐인 한, 우리가 Dessa에 대해 아는 것은 대부분 회사가 들려주는 이야기다. 다른 누군가가 Dessa에게 말을 걸고 무엇이라 답하는지 들을 수 있는 순간을 기다린다.

— Olya