目录
Preferred Networks(PFN)开放了翻译专用LLM“PLaMo 3 Translate”的权重。模型提供0.8B、2B、8B、31B四种规模。据PFN的基准测试,即使是最小的0.8B模型,在日英及日语与多语言之间的翻译中,也超越了包括规模超过其30倍的模型在内的现有模型。
要点#
- 权重已在Hugging Face上公开,除BF16外,还可选择量化版、GGUF、MLX格式。
- 支持53种语言,可提供上下文、术语表,并指定日语简体或敬体。
- 逐步优化训练数据,并对小模型加入来自31B模型的蒸馏训练。
- 个人使用和非商业使用免费,商业使用则有与营收规模等相关的条件。
根据使用环境选择#
模型规模包括0.8B、2B、8B、31B。每种规模均提供BF16、FP8、W4A16、W4AFP8、NVFP4、GGUF、MLX-4bit等格式。GPU环境可考虑vLLM,使用CPU或各类GPU的PC可考虑llama.cpp,搭载Apple silicon的Mac则可考虑mlx-lm。
初次尝试时,请先查看适合本地环境的格式所对应的模型卡。BF16适合优先考虑精度的场景,GGUF适合结合CPU和GPU运行的场景,MLX-4bit则适合在Mac上节省内存使用。所需内存和支持的环境会因模型及推理配置而异,因此下载前需要查看模型卡确认。
支撑小模型的数据构建#
训练包括使用翻译文本对的两阶段SFT,以及让模型偏向更优译文的DPO。8B及以下模型还加入了来自31B模型的蒸馏训练。整体设计是先用大规模数据让模型适应翻译任务,再缩减数据量,提高质量,并增加贴近实际用途的内容。
合成译文时,采用“锦标赛式数据合成”:让LLM生成多个候选译文,相互比较后融合各自的优点。此外,还进行了将译文译回原语言的回译,以及使用训练完成的翻译模型反复改进训练数据的自蒸馏。Phase1的SFT数据约为339亿token,Phase2约为34亿token。
如何解读评估结果#
PFN的评估使用了内部日英基准测试、面向SaaS的基准测试、WMT24++和FLORES+。据文章介绍,0.8B模型在日英及日语与多语言之间的评估中,超越了参与比较的翻译专用模型。在英语与多语言之间的评估中,2B模型超越了比较对象。
这些结果是文章所列基准测试中的比较。对于实际文档,结果会因领域、文体、专有名词、HTML处理等因素而变化。用于长文或专业文档时,准备与目标内容相近的文本并检查输出,是更稳妥的做法。
使用条件与演示注意事项#
个人学习、兴趣爱好等私人用途可免费使用。包括学术用途在内的非商业使用,也没有收入或营收规模限制,无需提前登记。商业使用方面,若使用者或关联公司最近一个财年的收入或营收不超过10亿日元,通过专用表单提前登记后即可免费使用。超过10亿日元则需另行签订许可协议。
文章还介绍了在智能手机上运行0.8B模型的内部演示。不过,PFN并未公开该应用。若要在智能手机上使用,需要自行确认支持的格式和运行环境。
下一步#
确定计划使用的环境,在Hugging Face对应模型卡中确认所需格式和许可条件后,尝试用0.8B模型翻译手头的文本吧。
来源: https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release
目录
