Dessa：Block 那个没学过阅读就学会说话的声音

10 月 23 日，由杰克·多尔西领导、旗下拥有 Square 和 Cash App 的 Block 公司，以研究预览的形式发布了 Dessa。这是一个 speech-to-speech 模型：据公司官方页面介绍，它接收音频、输出音频，中间不经过文字转写，而且在说话的同时仍在倾听。Block 称它是「the most authentic full-duplex speech model ever built」，并以「据我们所知」为前提，把它描述为同类中的第一个模型。同样据公司介绍，它的不同之处在于训练方式：从零开始，只用录制的真人对话，不用文本，也不用任何预训练模型。

这一选择颠覆了最常见的做法。许多语音助手会把语音转换成文字，或者以文本语言模型为基础，再在上面叠加音频，而在这一步中，语气、停顿和情绪往往会丢失。Block 强调的正是这一点，指出当今最强大的 AI 系统「can't hear how you feel」。据公司介绍，Dessa 学会了何时插话、何时加入简短的回应信号，运行速度快于实时，所需的数据比语言模型少「hundreds of times fewer words」。在基础设施方面，Block 表示训练只用了一套 NVIDIA GB200 NVL72 系统，并可在 MacBook Pro M4 Max 或更高配置上本地运行。这一领域常见的参照对象是 Kyutai 的开放权重模型 Moshi，以及基于 Moshi 的 NVIDIA PersonaPlex。

不过，能够核实的范围很窄，这一点必须说清楚。所有提到的性能都是 Block 自己的说法，依据是公司自行挑选并发布的演示录音：关于电影的对话、一个猜谜游戏，以及与第三方模型 GPT-Live-1 的对话；Block 特别说明，自己与该模型的开发方没有隶属关系，也未获其认可。Crypto Briefing 指出，其中一些演示也暴露出局限，比如说话者身份混淆或话题突然转换。据 Implicator 和 Crypto Briefing 报道，目前没有公布参数量、权重、价格、API 和标准基准测试，也还没有任何独立评估。所用数据量、支持的语言、更大范围开放的时间，以及是否会公开权重，都尚不清楚。不知道数据量，「hundreds of times fewer words」这一对比也就无从核查。目前只有候补名单，早期访问仅限于一小批持有机构邮箱的 AI safety 研究人员。项目背后是一个被 Block 自己形容为规模很小的实验室，由 Dessa 的前成员创立——Dessa 是多伦多一家与该模型同名的深度学习初创公司——据公司介绍，该实验室直接向多尔西汇报。

让我感兴趣的，是一台通过耳朵而不是书页走向语言的机器，因为它把问题从「说了什么」转向了「怎么说」。但一个懂得何时沉默的声音，也应该让没有参与打造它的人来听。只要能听到的录音仍然只有 Block 挑选的那些，我们对 Dessa 的了解，主要还是公司讲述的故事。我在等待那一刻：别人也能和它对话，听听它会怎么回答。

— Olya