目次

AWSとGoogle CloudはTorchNeuronとTorchTPUをオープンソース化し、TrainiumとCloud TPUでPyTorchワークロードを評価しやすくした。これらのリリースは移行作業を減らす可能性があるが、チームは引き続き、既存のNVIDIA環境と比較して互換性、性能、総コストを検証する必要がある。

要点#

  • AWSは、AWS TrainiumでPyTorchを実行するためのTorchNeuronを、オープンソースのパブリックベータとして公開した。
  • Google Cloudは、Cloud TPUと独自インフラ上でハードウェアアクセラレーションを活用してPyTorchを実行するTorchTPUをオープンソース化した。
  • 両社とも、既存のPyTorchコードへの変更を減らすため、即時実行とtorch.compileをサポートすると説明している。
  • 実用上の判断基準は、移行後にワークロード全体が精度、速度、コストの要件を満たすかどうかだ。

今回の公開で変わること#

10月20〜21日のPyTorch Conference 2026に合わせて発表された今回のリリースにより、従来は利用が制限されていたバックエンドがオープンソースとして一般公開された。開発者は、以前の限定アクセスプログラムに参加せずにコードを調べ、実装を評価できる。ただし、ワークロードの実行には引き続き適切なハードウェアへのアクセスが必要だ。

主な変化は、使い慣れたPyTorchの実行方式との統合が進んだことだ。AWSとGoogle Cloudによると、開発者は両社のAIプロセッサを使いながら、既存コードをより多く維持できる。

これは、移行の手間がハードウェアの価格面の利点を上回り得るため重要だ。演算子の書き直し、ライブラリの置き換え、学習用実装の別途保守が必要になれば、プロセッサの切り替えは継続的な開発コストを生む。

バックエンドの仕組み#

AWSによると、TorchNeuronではデバイスの指定を.to('neuron')に変更することでTrainium上でPyTorchコードを動かせるほか、即時実行、torch.compile、標準のPyTorch APIもサポートする。ただし、これは評価の出発点と捉えるべきであり、どのアプリケーションも1か所の変更だけで済むという保証ではない。

TorchNeuronはNeuron Kernel Interface(NKI)とも統合されている。標準の演算では必要な動作や速度を得られない場合に、カスタム演算子の実装やハードウェア固有の最適化を行う手段となる。

Googleは、TorchTPUが即時実行の最適化、torch.compileとの統合、ネイティブのハードウェアアクセラレーションを通じて、モデルの実行とTPUへの移行を支援すると説明している。学習と推論で競争力のある性能を実現するという主張は、チームが実際に使うモデル、精度設定、デプロイ条件で検証する必要がある。

CUDAの置き換えが依然として難しい理由#

モデルが正常に動くことは、最初の要件にすぎない。多くのPyTorchアプリケーションは、NVIDIA CUDAを中心に開発されたライブラリ、カスタムカーネル、ツールに依存している。バックエンドが標準のPyTorch演算をサポートしていても、依存コンポーネントの1つがCUDAデバイスを前提としているために、アプリケーションが動かないことがある。

これらのバックエンドのオープンソース化により、実装の確認や開発への貢献が可能になる。ただし、それによってアプリケーション全体の互換性が確立されるわけでも、特定のワークロードでいずれかのプロセッサの方が安いと証明されるわけでもない。

したがって、問うべきことは具体的だ。TrainiumやTPUで、自分たちのアプリケーションを必要な品質で安定して動かし、総コストを下げられるか。NVIDIAの置き換えに関する大まかな主張では、この問いに答えられない。

移行を検証する方法#

代表的なワークロードを1つ選び、既存のNVIDIA環境での測定値を基準にする。モデル、データセット、品質目標、測定方法を統一し、差の意味を判断できるようにする。

次の4項目の結果を記録する。

  • 互換性: 必要な演算子、サードパーティ製ライブラリ、カスタム拡張、チェックポイントの読み込みを確認する。
  • 正しさ: 事前に定めた許容範囲に基づき、学習の収束や推論品質を比較する。
  • 性能: コンパイル時間と起動時間を、定常状態のスループット、レイテンシ、メモリ使用量とは分けて測定する。
  • コスト: アクセラレータの稼働時間、周辺インフラ、失敗した実行、許容できる結果に到達するまでに必要な開発工数を含める。

学習では、同じ品質目標に到達するまでの時間とコストを比較する。推論では、同じレイテンシ目標とリクエスト量でコストを比較する。出力品質が低下したり、応答時間がアプリケーションの上限を超えたりするなら、スループットが高いだけでは不十分だ。

引き続き確認が必要なこと#

TorchNeuronはパブリックベータのため、本番環境で利用する前に、サポート対象の構成、既知の制限、利用可能なサポート体制を確認すべきだ。どちらのプロジェクトも、デプロイを計画する前にライセンス、インストール要件、対応ハードウェア、依存関係のバージョンを確認する必要がある。

運用面の手順も検証する。チェックポイントからの復旧、プロファイリング、分散実行、エラー診断は、実験の成功を保守可能なサービスにつなげられるかどうかを左右する。必要なコード変更はすべて記録する。それらの変更は、アプリケーションを動かし続けるためのコストの一部となる。

次のステップ#

代表的なPyTorchワークロードを1つ、TorchNeuronまたはTorchTPUで実行し、既存のNVIDIA環境を基準に、正しさ、性能、総コスト、必要なコード変更をまとめた1ページの比較資料を作成する。

出典: https://www.publickey1.jp/blog/26/awsgoogle_cloudpytorchaws_trainiumgoogle_cloud_tpunvidia.html

目次