目次

Preferred Networks(PFN)が翻訳特化LLM「PLaMo 3 Translate」の重みを公開しました。0.8B、2B、8B、31Bの4サイズがあり、PFNのベンチマークでは、最小の0.8Bモデルも日英・日本語と多言語の翻訳で、30倍以上の規模を含む既存モデルを上回ったとしています。

要点#

  • 重みはHugging Faceで公開され、BF16のほか量子化版、GGUF、MLX形式を選べます。
  • 53言語に対応し、周辺コンテキストや用語集、常体・敬体の指定もできます。
  • 学習データを段階的に洗練し、小型モデルには31Bモデルからの蒸留を加えています。
  • 個人利用と非商用利用は無償で、商用利用は売上規模などに応じた条件があります。

使う環境に合わせて選ぶ#

モデルサイズは0.8B、2B、8B、31B。各サイズにBF16、FP8、W4A16、W4AFP8、NVFP4、GGUF、MLX-4bitなどの形式があります。GPU環境ならvLLM、CPUや各種GPUを使うPCならllama.cpp、Apple siliconのMacならmlx-lmが候補です。

まず試すなら、手元の環境に合う形式のモデルカードを確認しましょう。BF16は精度を優先する場合、GGUFはCPUとGPUを組み合わせて動かしたい場合、MLX-4bitはMacで省メモリに使いたい場合に向いています。必要なメモリや対応環境は、モデルと推論設定によって変わるため、ダウンロード前にモデルカードで確認が必要です。

小型モデルを支えたデータ作り#

学習は、翻訳ペアを使う2段階のSFT、好ましい訳を選ばせるDPOで構成されています。8B以下には、31Bモデルからの蒸留も加えています。まず大規模なデータで翻訳タスクに適応させ、その後、量を絞って品質や実際の用途に近い内容を高める設計です。

訳文の合成では、LLMに翻訳候補を複数出させ、候補同士を比べて良い点を融合する「トーナメント式データ合成」を採用。さらに、訳文から元の言語へ戻す逆翻訳や、完成した翻訳モデルを使って学習データを繰り返し改善する自己蒸留も行っています。Phase1のSFTデータは約339億トークン、Phase2は約34億トークンです。

評価結果の読み方#

PFNの評価では、社内の日英ベンチマークやSaaS向けベンチマーク、WMT24++、FLORES+を使用。記事によると、0.8Bモデルは日英と日本語・多言語の評価で、比較対象の翻訳特化モデルを上回りました。英語と多言語の評価では、2Bモデルが比較対象を上回っています。

この結果は記事に記載されたベンチマーク上の比較です。実際の文書では、分野や文体、固有名詞、HTMLの扱いなどで結果が変わります。長文や専門文書に使う場合は、対象に近い文章を用意して出力を確かめるのが確実です。

利用条件とデモの注意#

個人の学習・趣味など私的な用途は無償で利用できます。学術用途を含む非商用利用も、収入や売上の規模による制限や事前登録はありません。商用利用は、利用者または関係会社の直近事業年度の収入・売上が10億円以下なら、専用フォームで事前登録すると無償です。10億円を超える場合は別途ライセンス契約が必要です。

記事では、0.8Bモデルをスマートフォン上で動かす社内デモも紹介されています。ただし、PFNがそのアプリを公開しているわけではありません。スマートフォンで使う場合は、対応形式や実行環境を自分で確認する必要があります。

次の一歩#

利用予定の環境を決め、Hugging Faceの該当モデルカードで必要な形式とライセンス条件を確認してから、0.8Bモデルで手元の文章を翻訳してみましょう。

出典: https://www.preferred.jp/ja/blog/tech/plamo-3-translate-weight-release

目次