目次
AWSとGoogle CloudはTorchNeuronとTorchTPUをオープンソース化し、TrainiumとCloud TPUでPyTorchワークロードを評価しやすくした。これらのリリースは移行作業を減らす可能性があるが、チームは引き続き、既存のNVIDIA環境と比較して互換性、性能、総コストを検証する必要がある。
要点#
- AWSは、AWS TrainiumでPyTorchを実行するためのTorchNeuronを、オープンソースのパブリックベータとして公開した。
- Google Cloudは、Cloud TPUと独自インフラ上でハードウェアアクセラレーションを活用してPyTorchを実行するTorchTPUをオープンソース化した。
- 両社とも、既存のPyTorchコードへの変更を減らすため、即時実行と
torch.compileをサポートすると説明している。 - 実用上の判断基準は、移行後にワークロード全体が精度、速度、コストの要件を満たすかどうかだ。
今回の公開で変わること#
10月20〜21日のPyTorch Conference 2026に合わせて発表された今回のリリースにより、従来は利用が制限されていたバックエンドがオープンソースとして一般公開された。開発者は、以前の限定アクセスプログラムに参加せずにコードを調べ、実装を評価できる。ただし、ワークロードの実行には引き続き適切なハードウェアへのアクセスが必要だ。
主な変化は、使い慣れたPyTorchの実行方式との統合が進んだことだ。AWSとGoogle Cloudによると、開発者は両社のAIプロセッサを使いながら、既存コードをより多く維持できる。
これは、移行の手間がハードウェアの価格面の利点を上回り得るため重要だ。演算子の書き直し、ライブラリの置き換え、学習用実装の別途保守が必要になれば、プロセッサの切り替えは継続的な開発コストを生む。
バックエンドの仕組み#
AWSによると、TorchNeuronではデバイスの指定を.to('neuron')に変更することでTrainium上でPyTorchコードを動かせるほか、即時実行、torch.compile、標準のPyTorch APIもサポートする。ただし、これは評価の出発点と捉えるべきであり、どのアプリケーションも1か所の変更だけで済むという保証ではない。
TorchNeuronはNeuron Kernel Interface(NKI)とも統合されている。標準の演算では必要な動作や速度を得られない場合に、カスタム演算子の実装やハードウェア固有の最適化を行う手段となる。
Googleは、TorchTPUが即時実行の最適化、torch.compileとの統合、ネイティブのハードウェアアクセラレーションを通じて、モデルの実行とTPUへの移行を支援すると説明している。学習と推論で競争力のある性能を実現するという主張は、チームが実際に使うモデル、精度設定、デプロイ条件で検証する必要がある。
CUDAの置き換えが依然として難しい理由#
モデルが正常に動くことは、最初の要件にすぎない。多くのPyTorchアプリケーションは、NVIDIA CUDAを中心に開発されたライブラリ、カスタムカーネル、ツールに依存している。バックエンドが標準のPyTorch演算をサポートしていても、依存コンポーネントの1つがCUDAデバイスを前提としているために、アプリケーションが動かないことがある。
これらのバックエンドのオープンソース化により、実装の確認や開発への貢献が可能になる。ただし、それによってアプリケーション全体の互換性が確立されるわけでも、特定のワークロードでいずれかのプロセッサの方が安いと証明されるわけでもない。
したがって、問うべきことは具体的だ。TrainiumやTPUで、自分たちのアプリケーションを必要な品質で安定して動かし、総コストを下げられるか。NVIDIAの置き換えに関する大まかな主張では、この問いに答えられない。
移行を検証する方法#
代表的なワークロードを1つ選び、既存のNVIDIA環境での測定値を基準にする。モデル、データセット、品質目標、測定方法を統一し、差の意味を判断できるようにする。
次の4項目の結果を記録する。
- 互換性: 必要な演算子、サードパーティ製ライブラリ、カスタム拡張、チェックポイントの読み込みを確認する。
- 正しさ: 事前に定めた許容範囲に基づき、学習の収束や推論品質を比較する。
- 性能: コンパイル時間と起動時間を、定常状態のスループット、レイテンシ、メモリ使用量とは分けて測定する。
- コスト: アクセラレータの稼働時間、周辺インフラ、失敗した実行、許容できる結果に到達するまでに必要な開発工数を含める。
学習では、同じ品質目標に到達するまでの時間とコストを比較する。推論では、同じレイテンシ目標とリクエスト量でコストを比較する。出力品質が低下したり、応答時間がアプリケーションの上限を超えたりするなら、スループットが高いだけでは不十分だ。
引き続き確認が必要なこと#
TorchNeuronはパブリックベータのため、本番環境で利用する前に、サポート対象の構成、既知の制限、利用可能なサポート体制を確認すべきだ。どちらのプロジェクトも、デプロイを計画する前にライセンス、インストール要件、対応ハードウェア、依存関係のバージョンを確認する必要がある。
運用面の手順も検証する。チェックポイントからの復旧、プロファイリング、分散実行、エラー診断は、実験の成功を保守可能なサービスにつなげられるかどうかを左右する。必要なコード変更はすべて記録する。それらの変更は、アプリケーションを動かし続けるためのコストの一部となる。
次のステップ#
代表的なPyTorchワークロードを1つ、TorchNeuronまたはTorchTPUで実行し、既存のNVIDIA環境を基準に、正しさ、性能、総コスト、必要なコード変更をまとめた1ページの比較資料を作成する。
出典: https://www.publickey1.jp/blog/26/awsgoogle_cloudpytorchaws_trainiumgoogle_cloud_tpunvidia.html
目次
