目次

Hugging Face の torch-neuronx モデルサポート Space では、テスト済みのどのモデルが AWS Trainium 上で変更なしに動作するかを確認でき、各結果を再現するスクリプトも提供されています。デプロイを決める前に互換性を確認し、その後、ご自身のワークロードでテストしてください。合格結果が保証するのは短い生成テストのみです。

要点#

  • Space でモデル名を検索し、使用予定の環境に合う Neuron コンパイラと Transformers のバージョンを選択します。
  • テスト済みの各モデルには、結果、コア数、コンパイルを含む総実行時間、デバイスメモリのピーク使用量が表示されます。
  • 付属の run.py はテストを再現し、モデルのシャーディングが必要な場合は分散プロセスを自動的に起動します。
  • PASS が対象とするのは32トークンの生成テストであり、本番のスループット、長い出力、モデルの全機能ではありません。

モデルを探す#

Hugging Face の torch-neuronx model support Space を開きます。デフォルトの Selected ビューには、ダウンロード数やトレンドスコアが高いモデルから厳選されたモデルが表示されます。

特定のチェックポイントを探すには、Trending または Downloads に切り替え、該当するタスクを選択してモデル名の一部を入力します。これらのビューは Hub のランキングに従っており、未テストのモデルも含まれます。未テストであることは、互換性がない証拠ではありません。意図的に除外されたモデルについては、Space に理由が記載されています。技術的な制約ではなく、優先順位が理由の場合もあります。

使用予定の neuronx-cc コンパイラと Transformers のバージョンを選択します。互換性はチェックポイントの恒久的な特性ではなく、モデルとソフトウェアのバージョンの組み合わせに対する結果として捉えてください。

結果を正しく読む#

テスト済みの行には、モデルが動作したか、使用した Trainium コア数、コンパイルを含む実経過時間、デバイスメモリのピーク使用量が表示されます。これらの数値は、テストの再現や必要なリソースの把握に役立ちます。サービング性能を示すものではありません。

各テストでは、Trainium2 インスタンスにモデルを読み込み、重みを格納できる最小限のコア数に分割します。ほとんどのモデルはテンソル並列を使用します。テンソル並列プランのない Mixture-of-Experts モデルは、エキスパート並列のみを使用します。

テストでは32トークンを生成し、出力を確認します。1コアの場合は、同じチェックポイントを CPU で実行した結果とトークンを比較します。分割されたモデルでは、小規模な判定用モデルが生成テキストの英語としての流暢さを確認します。これらの確認で得られる証拠の強さは異なります。流暢さの確認では、参照実行とのトークン単位の一致は検証できません。

テストを再現する#

モデルを選択すると、テストに使用した Neuron スタック、追加パッケージ、実際の run.py スクリプトを確認できます。AWS Neuron Deep Learning Container などを利用して、そのスタックを備えた Trainium2(trn2)インスタンスを起動し、記載されたパッケージをインストールします。

スクリプトは from_pretrained でモデルを読み込み、必要に応じてシャーディングを適用し、静的キャッシュと torch.compile(backend="neuron") を使って生成します。提供されたスクリプトを run.py として保存し、次を実行します。

snippet.txt
python3 run.py

torchrun で起動する必要はありません。シャーディングが必要な場合、スクリプトが独自に torch.distributed の各ランクを起動します。最初の再現では公開された環境に近づけると、失敗の原因を特定しやすくなります。

コンパイルを考慮する#

初回実行では、モデルのグラフがコンパイルされます。表示される実経過時間にはこの処理が含まれるため、定常状態の生成レイテンシと解釈したり、毎秒リクエスト数の推定にそのまま使ったりしないでください。

Space には、テストに対応するコンパイラのバージョンを使い、公開 NEFF キャッシュからグラフをダウンロードするコマンドも用意されています。公開済みのコンパイル済みグラフを再利用し、再現実行時のコンパイルを省略したい場合は、そのコマンドを使用してください。

アプリケーションを評価する際は、起動と生成を別々に測定してください。キャッシュを使った実行の成功と、リクエストを処理する前にコンパイルが必要な新規インスタンスとでは、運用上確認できることが異なります。

対象範囲の限界を把握する#

2026年10月23日の発表によると、テスト対象は text-generation および image-text-to-text タスクの Transformers モデルです。モデルは Trainium2 デバイス4基、つまり16コア以内に収まる必要があります。Diffusers、sentence transformers、その他の Transformers タスクは拡張予定であり、対応が確認された範囲には含まれていませんでした。

PASS は、より長い生成やスループットを検証するものではありません。デプロイ前に、想定するプロンプト長、出力長、同時実行数、必要な機能をテストしてください。画像とテキストを扱うモデルでは、実際に使用する画像入力も確認してください。報告された結果は、あらゆる入力形式やユースケースへの対応を保証するものではありません。

自動チェックには、公開のモデルサポートデータセット ↗をクエリしてください。各行には、結果、失敗時のエラー、スタックのバージョン、使用したスクリプトが含まれます。結果ラベルの定義はデータセットカードに記載されているため、異なるステータスを同等に扱う前に確認してください。

次のステップ#

使用するチェックポイントを Space で探し、使用予定のコンパイラと Transformers のバージョンを選択して、対応する Trainium2 環境で付属の run.py を実行してください。

出典: https://huggingface.co/blog/torch-neuronx-model-support

目次