目次

NVIDIA Nemotron 3.5 Transcribeは、多言語の文字起こし、話者ラベル、翻訳、音声に関する質問応答を1つのオープンウェイトモデルに統合しています。まずは必要な言語と出力形式をプロンプトで指定し、語彙の認識誤りが残る場合はGranary v2とNeMo Speechで適応させましょう。

要点#

  • 40言語の文字起こし、31言語と英語間の双方向翻訳、13言語の話者識別に対応しています。
  • 最大8人の話者を含む最長1時間の録音を処理できますが、ライブストリーミングではなく録音音声向けに設計されています。
  • Granary v2は、48言語、463,062時間分のマニフェストと、学習データを準備する再利用可能なパイプラインを提供します。
  • NVIDIAの医療分野の事例では、最良のプロンプトを使ったベースラインと比べ、ホールドアウトデータでの単語誤り率が相対的に45.8%低下した一方、一般的な英語ではわずかに悪化しました。

モデルでできること#

2026年10月28日に公開されたNemotron 3.5 Transcribeでは、開発者は同じチェックポイントから異なる出力を要求できます。指示により、話者ラベル付きの文字起こし、英訳、録音に関する質問への回答を求められます。単語単位のタイムスタンプは、授業録画の検索可能な再生などの機能に役立ちます。

対応タスクは言語によって異なります。40言語の文字起こしに対応していても、すべての言語で翻訳や話者識別が使えるわけではなく、音声に関する質問応答は英語で学習されています。多言語アプリケーションに採用する前に、モデルカードの言語別タスク対応表を確認してください。

チェックポイントはHugging FaceとModelScopeで入手できます。デプロイには、配信用のvLLM、ローカル実行用のNeMo-Speech.cpp、リリース情報に記載されたプロバイダーのホスト型エンドポイントなどを利用できます。NVIDIAはNVIDIA GPU 1基での動作を報告していますが、実際のワークロードに必要なメモリとスループットは確認が必要です。

まずは正確なプロンプトから#

学習を検討する前に、言語、文字体系、文字起こしの表記ルールを指定しましょう。医療音声向けにNVIDIAが示す指示では、「HbA1c」や「metformin」などの候補用語を挙げ、標準的な綴りを求め、音声に裏付けがある場合にのみその用語を使うよう指定しています。

次の選択を明示してください。

  • フィラーを残すか、削除するか。
  • 数を単語で書くか、一般的な数字表記にするか。
  • 元の言語を維持するか、英語に翻訳するか。
  • 必要に応じて話者ラベルとタイムスタンプを含める。

代表的な録音でプロンプトを評価しましょう。NVIDIAの医療分野の研究では、英語とラテン文字を指定することで、ベンチマーク全体の単語誤り率(WER)が30.8%から23.8%に低下しました。この結果は、まずプロンプトの変更を試す根拠にはなりますが、他分野でも同じ改善が得られることを示すものではありません。

Granary v2が提供するもの#

Granary v2は、データマニフェストと、NeMo Curatorで構築された再利用可能なキュレーションパイプラインを提供します。公開版は48言語、16のソースコーパスを対象としています。これらの数値は公開データセットを示すもので、モデルの学習データ全体の構成を示すものではありません。

このパイプラインは、明示的な正解テキストを作成します。同じ発話から「I paid, uh, twenty-five euros,」「I paid, uh, €25,」「I paid €25.」といった表記を生成できます。これは、正しい認識に加えて一貫した書式が必要なアプリケーションで重要です。マニフェストには、出所、品質フラグ、文脈に関連する用語、派生タスクのラベルも含まれます。

公開マニフェストを使うか、処理する権限のある録音にパイプラインを適用してください。元の音声は、各コーパスの元のライセンスに従って別途ダウンロードする必要があります。GranaryのHiFi段階では、よりクリーンな音声を必要とする用途に向け、ノイズ、音割れ、複数話者を含む区間を除外します。このサブセットは、認識が難しい会議録音を代表していない可能性があります。

ファインチューニングが妥当な場合#

十分に工夫したプロンプトでも、繰り返し登場する語彙、アクセント、表記ルールを取りこぼす場合、ファインチューニングが有効になります。NVIDIAの医療向けレシピでは、約153時間の合成音声、29時間のアクセントのある英語、63時間の医療録音を組み合わせました。

最も有力な結果は、話者が重複しないよう分割した評価で得られました。ホールドアウトされた2,764クリップでは、最良のプロンプトで22.44%だったWERが、適応後には12.17%へ低下し、相対的に45.8%削減されました。キーワードのWERも9.2%から6.5%に低下しました。ベンチマーク全体でのより大きな改善には、調整に使用したクリップも含まれているため、汎化性能の判断にはホールドアウトの結果を使ってください。

トレードオフもありました。LibriSpeech test-cleanのWERは1.54%から1.69%へ上昇しました。分野別の評価と併せて、一般音声の独立したチェックも維持してください。NVIDIAは、チェックポイントの選択に少なくとも100件のラベル付き実音声クリップを推奨しています。アプリケーションで重要となる名前、医薬品の商品名、単位、その他の固有表現などは個別に評価しましょう。

ベンチマークを注意深く読む#

リリースでは、Hugging Face Open ASR Leaderboardで英語の平均WERが5.33%、Artificial AnalysisでAA-WERが2.8%と報告されています。両者は評価方法が異なるため、直接比較すべきではありません。話者識別には別の指標があり、文字起こしの精度だけでは、発言が正しい人物に割り当てられたかは分かりません。

スループットにも条件の確認が必要です。NVIDIAは、RTX PRO 6000 Blackwell Server Edition GPU 1基で、NVFP4精度、30秒のクリップ、高い同時実行数という条件のもと、100時間の音声を3分未満で処理したと報告しています。これはバッチ処理のスループットであり、1時間の音声をアップロードした場合の応答時間を保証するものではありません。実際に使う録音の長さでテストし、名前、話者の切り替わり、音声に関する回答を人手で確認してください。

次のステップ#

代表的なラベル付き録音100件に固定した1つのプロンプトを適用し、文字起こしの誤りと専門用語の誤りを記録して、モデル適応のベースラインを確立しましょう。

出典: https://huggingface.co/blog/nvidia/nemotron-transcribe-granary

目次