目录

MonsterHouse 展示了如何利用 NVIDIA Nemotron 模型,在一台工作站上驱动能对话的万圣节角色。实践要点是:先搭建语音对话,用应用代码管理对话状态,缓存常用回复,再添加动画和摄像头。

要点#

  • MonsterHouse 结合语音识别、小型语言模型、语音合成和面部动画,将车库门变成能互动的角色。
  • 据制作者介绍,生成语音的响应延迟中位数为 1.70 秒,缓存回复则为 0.72 秒。
  • 该系统使用一台配备两块专业 GPU 的工作站,将对话处理与图形、动画处理分开。
  • 截至 2026 年 10 月 30 日的文章发布时,系统尚未经过真实访客验证,MonsterHouse 代码也尚未整理到可公开发布的程度。

系统如何运作#

MonsterHouse 聆听访客的声音,以一栋用海盗船木材建成、脾气古怪的房屋的身份回应。对话有固定流程:起初拒绝访客,在对方坚持请求或说出“请”之后缓和态度,听到“谢谢”时则亲切道别。应用负责管理状态,避免与已经熟络的访客重新开始交涉。

语音处理流水线主要分为四个阶段。

  • NVIDIA Nemotron 3 ASR 将访客的语音转换为文本。
  • NVIDIA Nemotron 3.5 Bolt E4B 4GB 生成回复。
  • NVIDIA Magpie TTS Zeroshot 生成角色语音。
  • NVIDIA Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画。

NVIDIA Nemotron Voice Agent 统筹对话流水线。可选的摄像头处理使用 Nemotron 3 Nano Omni 添加对变装的描述,并用 YOLO 和 ByteTrack 检测、跟踪访客。

先搭建对话#

从 Nemotron Voice Agent 的 Generic Assistant 示例入手。在连接投影仪或为角色绑定骨骼之前,先让麦克风输入、语音识别和语音回复正常运行。这样可以缩小需要排查问题的系统范围。

回复应简短且可直接朗读,并明确定义“首次来访”“交涉中”“已欢迎”“结束”等对话状态。将状态保存在应用中。角色性格可以用提示词描述,但访客是否已经满足获得欢迎的条件,应由代码控制。

制作者试用了十几种以上的模型,最终选择 4 位版 Bolt E4B,并使用 5,000 多段经过审核的多轮对话训练 LoRA,为模型赋予角色性格。这属于后期优化,并非起步时的必要条件。先从系统提示词和对话示例开始,只有在反复测试后发现提示词无法解决的问题时,再考虑训练。

降低响应延迟#

据制作者介绍,从访客说完话到听见语音的延迟中位数,使用 Bolt Q4 和 TTS 时为 1.70 秒,使用缓存回复时为 0.72 秒。目前,系统通过等待 300 毫秒的静音来判断发言结束。这些是该系统的实测数据,并不保证在其他硬件上的性能。

减少处理有两条捷径:使用预先准备的文本,可以省去语言模型重新生成回复的步骤;使用已保存的音频,还可以省去语音合成。以流式方式传输可朗读文本,则能让角色在整段回复完成之前开始说话。

如果硬件受限,可以离线运行生成流水线,预先准备回复库。活动期间,通过语音识别和 Python 对话路由器选择缓存录音。虽然对话灵活性会下降,但如果更看重响应时间的可预测性,而非自由对话,这是一种实用选择。

添加语音和动画#

Magpie TTS Zeroshot 根据简短的参考录音生成语音。MonsterHouse 使用七种情绪,每种准备 3~10 秒的语音样本。请使用获得授权的录音,并在规划本地部署前确认最新使用要求。原文并未明确说明开始使用的具体步骤。

将未经处理的音频发送给 Audio2Face-3D,同时为扬声器播放的音频添加演出效果。MonsterHouse 通过这种分离方式,既保留适合驱动动画的输入,又让观众听到低沉、带有混响的声音。据制作者介绍,为补偿动画缓冲,系统进行了 100 毫秒的时序调整。

工作站将语言和语音处理分配给 RTX PRO 6000 Blackwell Max-Q,将 Unreal Engine 和 Audio2Face-3D 分配给 RTX PRO 4000 Blackwell。这样分开处理,可以在执行对话处理时维持动画帧率。因此,不应将“一台工作站”理解为硬件要求低。

确认尚未完成的部分#

10 月 30 日的文章介绍了一台可运行的原型,但尚未证实它能在无人值守下稳定运行。对于实际聚集在屋前车道上的访客、夜间照明和变装识别,仍需测试。演示中五只穿着变装服饰的羊是合成的测试素材,并非真实万圣节活动中的验证证据。

自动分发糖果的功能也尚未完成,定制的 MonsterHouse 应用也尚未整理到可公开发布的程度。应将本文视为实现参考,而非完整的安装指南。

也要保留手动接管的方式。MonsterHouse 提供麦克风模式,可绕过识别、对话生成和语音合成。这样既能用操作者未经处理的声音驱动嘴部动作,又能向观众播放处理后的语音。

下一步#

运行 Nemotron Voice Agent 的 Generic Assistant 示例,在计划使用的硬件上进行 20 次简短对话,测量从发言结束到语音输出的延迟。

来源: https://huggingface.co/blog/nvidia/nemotron-halloween

目录