目录
MonsterHouse 展示了如何利用 NVIDIA Nemotron 模型,在一台工作站上驱动能对话的万圣节角色。实践要点是:先搭建语音对话,用应用代码管理对话状态,缓存常用回复,再添加动画和摄像头。
要点#
- MonsterHouse 结合语音识别、小型语言模型、语音合成和面部动画,将车库门变成能互动的角色。
- 据制作者介绍,生成语音的响应延迟中位数为 1.70 秒,缓存回复则为 0.72 秒。
- 该系统使用一台配备两块专业 GPU 的工作站,将对话处理与图形、动画处理分开。
- 截至 2026 年 10 月 30 日的文章发布时,系统尚未经过真实访客验证,MonsterHouse 代码也尚未整理到可公开发布的程度。
系统如何运作#
MonsterHouse 聆听访客的声音,以一栋用海盗船木材建成、脾气古怪的房屋的身份回应。对话有固定流程:起初拒绝访客,在对方坚持请求或说出“请”之后缓和态度,听到“谢谢”时则亲切道别。应用负责管理状态,避免与已经熟络的访客重新开始交涉。
语音处理流水线主要分为四个阶段。
- NVIDIA Nemotron 3 ASR 将访客的语音转换为文本。
- NVIDIA Nemotron 3.5 Bolt E4B 4GB 生成回复。
- NVIDIA Magpie TTS Zeroshot 生成角色语音。
- NVIDIA Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画。
NVIDIA Nemotron Voice Agent 统筹对话流水线。可选的摄像头处理使用 Nemotron 3 Nano Omni 添加对变装的描述,并用 YOLO 和 ByteTrack 检测、跟踪访客。
先搭建对话#
从 Nemotron Voice Agent 的 Generic Assistant 示例入手。在连接投影仪或为角色绑定骨骼之前,先让麦克风输入、语音识别和语音回复正常运行。这样可以缩小需要排查问题的系统范围。
回复应简短且可直接朗读,并明确定义“首次来访”“交涉中”“已欢迎”“结束”等对话状态。将状态保存在应用中。角色性格可以用提示词描述,但访客是否已经满足获得欢迎的条件,应由代码控制。
制作者试用了十几种以上的模型,最终选择 4 位版 Bolt E4B,并使用 5,000 多段经过审核的多轮对话训练 LoRA,为模型赋予角色性格。这属于后期优化,并非起步时的必要条件。先从系统提示词和对话示例开始,只有在反复测试后发现提示词无法解决的问题时,再考虑训练。
降低响应延迟#
据制作者介绍,从访客说完话到听见语音的延迟中位数,使用 Bolt Q4 和 TTS 时为 1.70 秒,使用缓存回复时为 0.72 秒。目前,系统通过等待 300 毫秒的静音来判断发言结束。这些是该系统的实测数据,并不保证在其他硬件上的性能。
减少处理有两条捷径:使用预先准备的文本,可以省去语言模型重新生成回复的步骤;使用已保存的音频,还可以省去语音合成。以流式方式传输可朗读文本,则能让角色在整段回复完成之前开始说话。
如果硬件受限,可以离线运行生成流水线,预先准备回复库。活动期间,通过语音识别和 Python 对话路由器选择缓存录音。虽然对话灵活性会下降,但如果更看重响应时间的可预测性,而非自由对话,这是一种实用选择。
添加语音和动画#
Magpie TTS Zeroshot 根据简短的参考录音生成语音。MonsterHouse 使用七种情绪,每种准备 3~10 秒的语音样本。请使用获得授权的录音,并在规划本地部署前确认最新使用要求。原文并未明确说明开始使用的具体步骤。
将未经处理的音频发送给 Audio2Face-3D,同时为扬声器播放的音频添加演出效果。MonsterHouse 通过这种分离方式,既保留适合驱动动画的输入,又让观众听到低沉、带有混响的声音。据制作者介绍,为补偿动画缓冲,系统进行了 100 毫秒的时序调整。
工作站将语言和语音处理分配给 RTX PRO 6000 Blackwell Max-Q,将 Unreal Engine 和 Audio2Face-3D 分配给 RTX PRO 4000 Blackwell。这样分开处理,可以在执行对话处理时维持动画帧率。因此,不应将“一台工作站”理解为硬件要求低。
确认尚未完成的部分#
10 月 30 日的文章介绍了一台可运行的原型,但尚未证实它能在无人值守下稳定运行。对于实际聚集在屋前车道上的访客、夜间照明和变装识别,仍需测试。演示中五只穿着变装服饰的羊是合成的测试素材,并非真实万圣节活动中的验证证据。
自动分发糖果的功能也尚未完成,定制的 MonsterHouse 应用也尚未整理到可公开发布的程度。应将本文视为实现参考,而非完整的安装指南。
也要保留手动接管的方式。MonsterHouse 提供麦克风模式,可绕过识别、对话生成和语音合成。这样既能用操作者未经处理的声音驱动嘴部动作,又能向观众播放处理后的语音。
下一步#
运行 Nemotron Voice Agent 的 Generic Assistant 示例,在计划使用的硬件上进行 20 次简短对话,测量从发言结束到语音输出的延迟。
来源: https://huggingface.co/blog/nvidia/nemotron-halloween
目录
