目录

在10月29日至30日举办的FlutterKaigi 2026上,每个会场各配备一台Mac,将幻灯片、摄像机画面和实时翻译字幕合成为一路视频。英语演讲配日语字幕,日语演讲配英语字幕,会场屏幕、预览和录像均显示相同的字幕。

要点#

  • 使用GStreamer合成两路视频输入和字幕图像,以1920×1080、30 fps输出。
  • 利用从演讲资料中收集的术语,通过Amazon Transcribe和Amazon Translate生成字幕。
  • 每段稳定文本只翻译一次,避免正在显示的字幕反复变化。
  • 共享硬件编码结果,分别输出到投影仪、预览和录像。

采集与合成#

每个会场的Mac通过两台Blackmagic Design UltraStudio接入幻灯片和摄像机画面。使用GStreamer的decklinkvideosrc采集,对超过30 fps的输入,通过videorate降低帧率。

演讲间隙,演讲者会断开笔记本电脑。为合成器设置ignore-inactive-pads=true后,即使输入中断也能继续合成。输入格式的变化会记入日志,遇到4K、60 fps、HDR或无信号时会发出警告。

使用一个compositor叠加背景图、幻灯片、摄像机画面和字幕四项内容。在1080p画面中,左上方放置1440×810的幻灯片,右侧放置480×540的摄像机画面,下方放置两行字幕。布局、尺寸,以及各路输入是完整缩放到框内还是裁剪铺满,都通过JSON文件控制。

语音转写与语言选择#

将摄像机侧UltraStudio的音频转换为16 kHz单声道,再通过管道传给Python。Python将同一音频发送到分别设为英语(en-US)和日语(ja-JP)的两个Amazon Transcribe流,再用Amazon Translate翻译选定的文本。

语言选择使用两个指标。快速判断时,计算日语流最近一次中间结果中字母的占比,达到0.7则判定为英语,低于或等于0.3则判定为日语。耗时更长的比较则使用最终结果中单词的置信度分数。持续讲话时,最终结果可能需要10~30秒才会生成,因此先根据中间结果暂时切换。

从缓存的日程表中获取各场演讲的预定语言。若要从该语言切换到另一种语言,需要更充分的依据,例如基于中间结果的判断须持续一致5秒,而非1秒。这样可以减少因日语演讲中出现英语技术术语而触发的切换。在回放演讲日志进行验证时,未发现错误切换;切换耗时4~6秒,从日程表中的预定语言切换则耗时7.7~10.6秒。这项验证并不保证所有演讲中的表现。

保持字幕易读#

如果每次都翻译中间结果,显示中的句子语序就会反复变化,尤其是在英语和日语之间翻译时。因此,将Transcribe的中间结果稳定性设为高,每个稳定片段只翻译一次,不再修改已显示的译文。

片段划分采用以下规则。

  • 优先在句末划分。
  • 达到12个词后,允许在逗号、连接表达或0.3秒的静音处划分。
  • 达到25个词时,或已积累至少12个词且经过8秒时,强制划分。
  • 在句末以外的位置划分前,先确认后续3个稳定词,避免仅将简短的句尾部分留到下一段。

Python使用Pillow将字幕绘制为透明PNG。字幕为两行,字号为72 px,日语使用Noto Sans JP,拉丁字母使用Poppins。按实测宽度换行,以22个全角字符为参考。每行显示2~5秒,若6秒内没有新行到达,则清除字幕。GStreamer通过fdsrc接收更新后的图像,并用imagefreeze保留最新图像。当讲话结束到字幕显示的延迟超过5秒时,逐步缩短显示时间,不省略任何行。

向各输出端发送相同视频#

Mac使用vtenc_h264,以8,000 kbps、无B帧、关键帧间隔1秒的设置,仅对视频编码一次。每个输出都有独立队列,发生阻塞时丢弃旧数据,让其他分支继续处理。

| 输出 | 目标 | 格式与用途 | |---|---|---| | RTP | 会场投影仪 | 使用不含音频或MPEG-TS的H.264,降低视频延迟 | | SRT | 预览与录像用PC | 将H.264和AAC封装为MPEG-TS,支持重传 | | 备用HDMI | 有线直连显示通路 | 使用全屏ffplay播放本地RTP视频 |

据报告,投影仪通路的延迟约为0.14秒。这是视频传输延迟,并非语音转写或翻译延迟。

Mac在9000端口监听SRT连接。OBS和录像用PC以caller身份连接,因此无需更改发送端Mac的设置即可增加接收端。录像使用ffmpeg,不重新编码,SRT延迟设为1,000 ms。

术语准备与故障验证#

从演讲者的PDF、PowerPoint文件、演讲标题、演讲者姓名和修正记录中收集术语。使用英语和日语的Transcribe自定义词汇表辅助识别,并通过Translate的自定义术语,保持包括Gemini等名称在内的预期译法。整个活动共用一套术语。

词汇表或术语资源不可用时,会发出警告并在不使用这些资源的情况下继续处理。日程表已缓存在本地,但云端语音转写和翻译仍需要网络连接。原报告尚未评估成本和翻译准确度。

备用输出也需要在实际设备上验证。部分租赁Mac在通过UltraStudio输出时发生崩溃或内核恐慌,因此正式活动中使用Mac的扩展显示器作为HDMI备用输出。

下一步#

使用有代表性的英语和日语演讲进行完整彩排,涵盖笔记本电脑断开连接、语言切换和SRT接收端重启,并将字幕延迟与投影仪视频延迟分开测量。

来源: https://zenn.dev/hiro_pon/articles/2f3b68ec60ddae

目录