目录
如果你的应用需要在用户设备上离线运行的语音合成功能,Phonon值得一试。它的模型虽小,却在清晰度和CPU流式生成方面表现出色,但需要注意不同模型的许可差异。英语模型采用Apache 2.0许可,可用于商业用途;多语言模型则需要另行签订商业协议。
要点#
- Phonon提供约65 MB和75 MB的模型包,分别为英语模型和支持5种语言的模型。
- 据Gradium介绍,Phonon在德语和西班牙语的清晰度评测中排名第一,在排行榜的CPU流式生成基准测试中,首次音频输出延迟也最低。
- Phonon 31m采用Apache 2.0许可,Phonon 40m采用非商业许可。
- 开发者可使用ptts在设备上进行推理,使用Transformers集成PyTorch或在GPU上批量生成音频。
选择合适的模型#
Phonon主要有两种选择。Phonon 31m支持英语,采用Apache 2.0许可,可用于商业用途。Phonon 40m支持英语、法语、德语、西班牙语和葡萄牙语,以非商业许可提供。据Gradium介绍,受使用限制的模型,其商业费用按用户数量计算,而非语音生成量。
此次发布内置了100多种音色。Gradium Studio还支持在获得说话者同意后,通过短录音克隆音色,或根据文字描述设计音色。创建的音色文件可下载用于本地推理。
日语、韩语和阿拉伯语不在标准多语言版本支持的5种语言之列。Gradium提供针对额外语言和专业术语的定制训练,但是否支持、质量和费用都需要直接确认。
谨慎解读基准测试#
Gradium在2026年11月5日发布的报告中表示,Phonon在德语和西班牙语的清晰度评测中排名第一,并在所有受测语言中均位列前三。它还报告称,在Open TTS Leaderboard的CPU流式生成基准测试中,Phonon的首次音频输出延迟最低。
这些是在特定条件下获得的结果,并不能证明Phonon在所有场景下都能生成最佳语音。清晰度衡量的是能否正确识别说出的单词。首次音频输出延迟衡量的是能多快开始播放。这两个指标单独都无法保证语气自然、所用专业术语发音准确,或长文本生成表现稳定。
排行榜设有Listen选项卡,可用于比较输出效果。请结合评分使用,并在决定将其用于产品前查看最新内容。排名可能变化,所提供的报告也未包含用于预测设备端性能的准确延迟数值或充分的硬件信息。
选择推理方式#
如果主要需求是在本地运行单路语音流,请使用ptts。它由Gradium专为Phonon开发,据称支持10多种后端,涵盖CPU、GPU和NPU。可选方案包括WebAssembly、CUDA、Vulkan、Metal、WebGPU、Apple Core ML和Snapdragon。
如果需要PyTorch实现、GPU批量生成,或与现有模型工作流集成,请使用Transformers。文档注明从Transformers v5.21起支持Phonon,也支持对整个计算图应用torch.compile。请确认已安装的版本包含所需的类。
首次集成时,先加载模型检查点和处理器,再加载预先计算好的音色文件,准备输入文本,并生成音频潜在表示。随后,处理器会将潜在表示解码为可播放的音频。提供的音色表示是张量,因此不要认为直接加载任意录音就能创建新音色。
检查实际设备上的资源消耗#
公布的模型包大小有助于规划下载,但并不代表峰值内存占用。在所提供的Transformers示例中,英语生成模型有30,788,354个参数,音频分词器另有10,305,313个参数。
请在支持范围内配置最低的硬件上测量整个应用。记录首次音频输出延迟、持续生成速度、峰值内存占用和功耗。仅凭高性能笔记本电脑上的简短演示,无法判断它在智能手机或单板计算机上能否提供足够的性能。
离线运行也需要在整个应用中验证。先下载所需的模型和音色数据,再禁用网络,运行完整的语音处理流程。Phonon可以在本地合成语音,但用户文本会被发送到哪里,还取决于应用的遥测功能和配套服务。
使用用户输入的文本进行测试#
据Gradium介绍,Phonon可以处理电话号码、日期和代码。这些功能很实用,但朗读习惯会因语言和产品而异。请使用界面实际接受的格式进行测试。
创建一个小型评估集,包含普通句子、专业术语、带格式的数值和长文本。试听并检查是否存在漏词、停顿不当或发音不一致。再让当前的语音系统处理相同输入,根据产品需求进行比较。
下一步#
在支持范围内配置最低的设备上,用包含日期和产品术语的20个代表性句子运行Phonon,记录发音错误和首次音频输出延迟,再决定是否集成。
来源: https://huggingface.co/blog/phonon-tts
目录
