目次
MonsterHouseは、NVIDIA Nemotronモデルを使い、1台のワークステーションで会話するハロウィーンのキャラクターを動かす方法を示している。実践上のポイントは、まず音声対話を構築し、会話の状態をアプリケーションのコードで管理し、よく使う応答をキャッシュしてから、アニメーションやカメラを追加することだ。
要点#
- MonsterHouseは、音声認識、小規模言語モデル、音声合成、顔のアニメーションを組み合わせ、ガレージの扉を対話できるキャラクターに変える。
- 制作者によると、応答遅延の中央値は、生成音声で1.70秒、キャッシュ済みの応答で0.72秒だった。
- このシステムはプロ向けGPUを2基搭載したワークステーション1台を使い、会話処理とグラフィックス・アニメーション処理を分離している。
- 2026年10月30日の記事では、実際の来訪者に対する動作は未検証で、MonsterHouseのコードも公開できる形にはまとめられていなかった。
システムの動作#
MonsterHouseは来訪者の声を聞き、海賊船の木材で造られた気難しい建物として応答する。会話には決まった流れがある。最初は来訪者を拒み、粘り強く頼まれたり「お願い」と言われたりすると態度を和らげ、「ありがとう」と言われると親しみを込めて別れを告げる。アプリケーションが状態を管理することで、すでに打ち解けた相手と交渉をやり直すのを防ぐ。
音声処理のパイプラインは、主に4つの段階で構成される。
- NVIDIA Nemotron 3 ASRが来訪者の音声をテキストに変換する。
- NVIDIA Nemotron 3.5 Bolt E4B 4GBが返答を生成する。
- NVIDIA Magpie TTS Zeroshotがキャラクターの音声を生成する。
- NVIDIA Audio2Face-3DがUnreal Engine 5で口のアニメーションを駆動する。
NVIDIA Nemotron Voice Agentが会話パイプラインを統括する。任意のカメラ処理では、Nemotron 3 Nano Omniで仮装の説明を追加し、YOLOとByteTrackで来訪者の検出と追跡を行う。
まず会話を構築する#
Nemotron Voice AgentのGeneric Assistantサンプルから始めよう。プロジェクターの接続やキャラクターのリグ作成に進む前に、マイク入力、音声認識、音声による返答を動作させる。こうすれば、問題の切り分けが必要なシステムを小さく保てる。
返答は短く、そのまま読み上げられる形にし、「初めての来訪者」「交渉中」「歓迎済み」「終了」など、対話の状態を明確に定義する。その状態はアプリケーションに保存する。性格はプロンプトで記述できるが、来訪者がすでに歓迎される条件を満たしたかどうかは、コードで制御すべきだ。
制作者は十数種類以上のモデルを試してから4ビット版Bolt E4Bを選び、レビュー済みの複数ターンの会話5,000件以上を使って、性格を付与するLoRAを学習させた。これは後の最適化であり、開始時の必須条件ではない。まずはシステムプロンプトと会話例で始め、繰り返しテストしてもプロンプトでは解決できない問題が見つかった場合にのみ、学習を検討しよう。
応答の遅延を減らす#
制作者によると、来訪者が話し終えてから音声が聞こえるまでの遅延の中央値は、Bolt Q4とTTSで1.70秒、キャッシュ済みの応答で0.72秒だった。現在、発話終了の検出には300ミリ秒の無音を待つ。これらはこのシステムでの測定値であり、ほかのハードウェアでの性能を保証するものではない。
処理を減らす近道は2つある。用意済みのテキストを使えば言語モデルによる新たな生成を省け、保存済みの音声を使えば音声合成も省ける。読み上げ可能なテキストをストリーミングすれば、返答全体が完成する前にキャラクターが話し始められる。
ハードウェアの制約がある場合は、生成パイプラインをオフラインで使い、応答ライブラリを準備しよう。イベント中は、音声認識とPythonの会話ルーターでキャッシュ済みの録音を選べる。会話の柔軟性は下がるが、自由な対話より応答時間の予測しやすさを重視する場合には、実用的な選択肢となる。
音声とアニメーションを追加する#
Magpie TTS Zeroshotは、短い参照録音をもとに音声を生成する。MonsterHouseでは7種類の感情を使い、それぞれに3〜10秒の音声サンプルを用意している。使用許可のある録音を使い、ローカル環境への導入を計画する前に、最新の利用要件を確認しよう。元記事では、利用開始までの手順が明確になっていない。
Audio2Face-3Dには加工前の音声を送り、スピーカーから流す音声には演出用のエフェクトをかける。MonsterHouseはこの分離によって、アニメーションに適した入力を保ちながら、観客には低く残響のある声を届けている。制作者によると、アニメーションのバッファリングを補正するため、100ミリ秒のタイミング調整を行っている。
ワークステーションでは、言語・音声処理をRTX PRO 6000 Blackwell Max-Qに、Unreal EngineとAudio2Face-3DをRTX PRO 4000 Blackwellに割り当てている。この分離により、会話処理の実行中もアニメーションのフレームレートを維持する。したがって、「ワークステーション1台」を、軽量なハードウェア要件と受け取るべきではない。
未完成の部分を確認する#
10月30日の記事は動作する試作機を紹介しているが、無人で安定運用できることまでは確認していない。実際に家の前の車道に集まる来訪者、夜間の照明、仮装の認識については、まだテストが必要だった。デモに登場した仮装姿の羊5頭は合成したテスト用のもので、実際のハロウィーンイベントで得られた証拠ではない。
お菓子の自動配布も未完成で、独自のMonsterHouseアプリケーションも公開できる形にはまとめられていなかった。この記事は、完全な設置ガイドではなく、実装の参考資料として扱おう。
手動で代替できる手段も残しておこう。MonsterHouseには、認識、対話生成、音声合成を迂回するマイクモードがある。これにより、操作者の加工前の声で口を動かしながら、観客には加工済みの音声を届けられる。
次のステップ#
Nemotron Voice AgentのGeneric Assistantサンプルを実行し、使用予定のハードウェアで20回の短い対話を行い、発話終了から音声出力までの遅延を測定しよう。
出典: https://huggingface.co/blog/nvidia/nemotron-halloween
目次
