目次

10月29〜30日に開催されたFlutterKaigi 2026では、各部屋に1台ずつ設置したMacで、スライド、カメラ映像、リアルタイム翻訳字幕を1本の映像に合成した。英語の講演には日本語字幕を、日本語の講演には英語字幕を付け、会場スクリーン、プレビュー、録画に同じ字幕を表示した。

要点#

  • GStreamerで2つの映像入力と字幕画像を合成し、1920×1080、30 fpsで出力した。
  • 登壇資料から集めた用語を活用し、Amazon TranscribeとAmazon Translateで字幕を生成した。
  • 安定したテキストを区間ごとに一度だけ翻訳し、表示中の字幕が繰り返し変わらないようにした。
  • ハードウェアエンコードの結果を共有し、プロジェクター、プレビュー、録画へ個別に出力した。

取り込みと合成#

各部屋のMacには、2台のBlackmagic Design UltraStudioを通じてスライドとカメラ映像を入力した。GStreamerのdecklinkvideosrcで取り込み、30 fpsを超える入力はvideorateでフレームレートを下げた。

講演の合間には登壇者のノートPCが切断される。コンポジターにignore-inactive-pads=trueを設定することで、入力が途切れても合成を続けられるようにした。入力形式の変更はログに記録し、4K、60 fps、HDR、信号なしの場合には警告を出した。

1つのcompositorで、背景画像、スライド、カメラ映像、字幕の4つを重ねた。1080pの画面では、左上に1440×810のスライド、右側に480×540のカメラ映像、その下に2行の字幕を配置した。配置、寸法、各入力を枠内に収めるか、切り抜いて枠いっぱいに表示するかはJSONファイルで制御した。

文字起こしと言語の選択#

カメラ側のUltraStudioからの音声を16 kHzのモノラルに変換し、パイプ経由でPythonに渡した。Pythonは同じ音声を、英語(en-US)と日本語(ja-JP)に設定した2つのAmazon Transcribeストリームへ送り、選択したテキストをAmazon Translateで翻訳した。

言語の選択には2つの指標を使った。高速な推定では、日本語ストリームの直近の途中結果に含まれるアルファベットの割合を測り、0.7以上なら英語、0.3以下なら日本語と判断した。より時間をかけた比較には、確定結果に含まれる単語の信頼度スコアを使った。発話が続くと確定結果が出るまで10〜30秒かかる場合があるため、途中結果を基に暫定的に切り替えた。

キャッシュしたタイムテーブルから、各セッションで予定されている言語を取得した。その言語から切り替えるには、途中結果に基づく推定が1秒ではなく5秒間一致することなど、より強い根拠を必要とした。これにより、日本語の講演に含まれる英語の技術用語による切り替えを抑えた。講演ログを再生した検証では誤った切り替えは確認されず、切り替えには4〜6秒、タイムテーブル上の予定言語からの切り替えには7.7〜10.6秒かかった。この検証は、すべての講演での性能を保証するものではない。

字幕の読みやすさを保つ#

途中結果を毎回翻訳すると、特に英語と日本語の間では、表示中の文の語順が繰り返し変わってしまう。そこでTranscribeの途中結果の安定化設定を高にし、安定した区間を一度だけ翻訳して、表示済みの訳文は変更しないようにした。

区間の分割には次のルールを使った。

  • 文末を優先する。
  • 12語以上になったら、コンマ、接続表現、0.3秒の無音を区切りとして認める。
  • 25語に達した時点、または12語以上たまった状態で8秒経過した時点で強制的に区切る。
  • 文末以外で区切る前に、後続の安定した3語を確認し、短い文末部分だけが次の区間に残るのを避ける。

PythonではPillowを使い、透過PNGの字幕を描画した。字幕は2行、文字サイズは72 pxとし、日本語にはNoto Sans JP、ラテン文字にはPoppinsを使った。実測した幅で折り返し、全角22文字を目安とした。各行は2〜5秒間表示し、新しい行が6秒間届かなければ字幕を消した。GStreamerは更新された画像をfdsrcで受け取り、imagefreezeで最新画像を保持した。発話完了から字幕表示までの遅れが5秒を超えると、行を省略せず、表示時間を徐々に短縮した。

各出力先へ同じ映像を送る#

Macはvtenc_h264を使い、8,000 kbps、Bフレームなし、キーフレーム間隔1秒で映像を一度だけエンコードした。出力ごとに独立したキューを設け、詰まった場合には古いデータを破棄し、ほかの分岐は処理を続けられるようにした。

| 出力 | 送信先 | 形式と目的 | |---|---|---| | RTP | 会場プロジェクター | 音声やMPEG-TSを含まないH.264で、映像遅延を抑制 | | SRT | プレビュー・録画用PC | H.264とAACをMPEG-TSに格納し、再送に対応 | | 予備HDMI | 有線での直接表示経路 | ローカルのRTP映像を全画面のffplayで再生 |

報告されたプロジェクター経路の遅延は約0.14秒だった。これは映像伝送の遅延であり、文字起こしや翻訳の遅延ではない。

Macはポート9000でSRT接続を待ち受けた。OBSと録画用PCがcallerとして接続するため、送信側Macの設定を変えずに受信側を追加できた。録画にはffmpegを使い、再エンコードせず、SRTのレイテンシーを1,000 msに設定した。

用語の準備と障害時の検証#

登壇者のPDF、PowerPointファイル、セッションタイトル、登壇者名、修正メモから用語を集めた。英語と日本語のTranscribeカスタム語彙で認識を補助し、Translateのカスタム用語でGeminiなどの名称を含む意図した訳語を維持した。イベント全体を1つの用語セットでカバーした。

語彙や用語のリソースが利用できない場合は、警告を出して、それらを使わずに処理を続けた。タイムテーブルはローカルにキャッシュしたが、クラウドでの文字起こしと翻訳には引き続きネットワーク接続が必要だった。元の報告では、コストと翻訳精度の評価は未実施だった。

予備出力にも実機での検証が必要だった。一部のレンタルMacではUltraStudioからの出力によってクラッシュやカーネルパニックが発生したため、本番ではMacの拡張ディスプレイをHDMIの予備出力に使った。

次のステップ#

代表的な英語・日本語の講演を使い、ノートPCの切断、言語の切り替え、SRT受信側の再起動を含む一通りのリハーサルを実施し、字幕の遅延をプロジェクター映像の遅延とは別に測定する。

出典: https://zenn.dev/hiro_pon/articles/2f3b68ec60ddae

目次