目次

Noetraは、ランダム初期化から学習した画像エンコーダーが、英語ベンチマークではSigLIP2とおおむね同等、日本語と中国語の評価ではそれを上回ったと報告している。マルチモーダルLLMの実験では文書理解も改善したが、すべてのタスクで性能が向上したわけではない。

要点#

  • Noetraは、フィルタリング済みの画像・テキストペア24.4億組で学習した。日本語は約9.0%、中国語は約3.4%を占める。
  • 学習では、256基のNVIDIA B200 GPUと対照学習の目的関数を用い、5日間で400億サンプルを処理した。
  • XM3600の日本語テキストから画像への検索では、recall@5が97.28%に達した。SigLIP2は71.92%だった。
  • エンコーダー単体のスコアが高くても、マルチモーダルLLMの性能向上につながるとは限らず、下流タスクでの評価が不可欠である。

結果が示すこと#

NoetraはViT-SO400M-14-SigLIP2と同じアーキテクチャを使い、画像とテキストの両エンコーダーをランダムに初期化した。したがって、この比較は新しいエンコーダーアーキテクチャを導入せずに、異なるデータと学習パイプラインを検証したものだ。

英語での結果は競争力があったものの、一律に優れていたわけではない。ImageNet-1Kの正解率はわずかに低下した一方、ObjectNetと複数の検索スコアは改善した。報告された中で最も大きな改善は、日本語の評価で見られた。

| ベンチマーク | SigLIP2 | Noetra | |---|---:|---:| | ImageNet-1K 正解率 | 83.18 | 82.65 | | ObjectNet 正解率 | 75.23 | 79.81 | | XM3600-ja テキスト→画像 R@5 | 71.92 | 97.28 | | WAON-Bench 正解率 | 79.26 | 98.20 | | XM3600-zh テキスト→画像 R@5 | 71.17 | 86.78 |

まずデータパイプラインを構築する#

学習データは、DataComp、ReLAION、WAON、OBELICS、OmniCorpusなど10のソースを組み合わせた。報告された各ソースの件数は、合計で約24.4億ペアになる。複数の画像と文章を含む文書には抽出処理が必要だった。テキストを文に分割し、SigLIP2で各画像と文書内の各文との対応を採点して、最高スコアの文をキャプションとして選ぶ。

その後、次の4段階でフィルタリングした。

  • 画像またはテキストが欠けたペアを除き、縦横比が1:3の許容範囲を外れる画像や、50ピクセルのサイズ閾値に満たない画像を除外する。
  • 5文字以下のテキストを除き、英語、日本語、中国語だけを残す。
  • 英語と中国語にはSigLIP2、日本語にはclip-japanese-base-v2を使い、画像とテキストの類似度でフィルタリングする。
  • SemDeDupで意味的に重複する画像を除き、画像とテキストの類似度スコアが高いペアを残す。

言語別にフィルタリングモデルを選ぶことには意味がある。Noetraは、日本語ペアのフィルタリングでは日本語モデルのほうが高精度だと確認した。単一の採点モデルが、どの言語でも同じように機能すると考えるべきではない。

キャプションを選択的に追加する#

Noetraは、報告書でgemma-4-31B-itと記載されたモデルを使い、7億枚の画像について詳細な説明文も生成した。CLIPSの手法に従い、学習時にはキャプション全体を使わず、生成した各説明文から1文をサンプリングした。

小規模な実験では、そのトレードオフが明確に表れた。ImageNet-1Kの正解率は76.18%から75.96%に下がった一方、MSCOCOの画像からテキストへの検索ではrecall@5が86.24%から88.84%に上がった。合成した説明文は検索に役立ったが、分類精度はわずかに低下した。

チームは、生成された説明文が画像の大まかな内容を捉える一方、ウェブ上のキャプションにある固有名詞や細部の情報を一部失うと考えている。この説明には妥当性があるが、報告された実験では原因を切り分けていない。キャプションの再生成は、想定タスクで効果を検証すべき選択肢として扱おう。

固定した予算で学習する#

最終的な学習では、224 × 224の画像、128Kのグローバルバッチサイズ、0.0005の最大学習率、2,000ウォームアップステップを使用した。コサイン学習率スケジュールのもと、画像集合を約16周する計400億サンプルの学習を行った。

学習は32ノード、256基のNVIDIA B200 GPUで5日間実行された。単純な対照学習の目的関数でも、必要な計算資源は膨大だ。この規模でも、ランダムリサイズ、カラージッター、グレースケール化によるデータ拡張は有効だった。

NoetraはWarmup-Stable-Decayスケジュールも試した。小規模な実験では良好に見えたが、大規模な学習では長期にわたる学習の停滞が生じた。最終的にはコサインスケジュールのほうが良い結果を出し、小規模実験で得た最適化の知見を目標規模で検証する必要性を示した。

下流タスクでの限界を確認する#

Noetraが開発中のLLMでは、SigLIP2を置き換えると、8つの視覚ベンチマークの平均スコアが0.6050から0.6350に上昇した。DocVQAは0.8706から0.9138に、InfoVQAは0.5866から0.6732に上がった。ただし、MMMUとJMMMUは低下した。3つのベンチマークではLLMを評価者に使っており、この平均には異なる評価方法が混在している。

高解像度での継続学習からも、注意すべき点が見えた。448 × 448での学習によりImageNetの正解率は82.65%から83.89%に改善したが、下流のマルチモーダルLLMは改善しなかった。そのため、Noetraは224 × 224のエンコーダーを採用し続けた。

「ゼロから」とは重みの初期化を指し、既存モデルに依存しないという意味ではない。キャプションの選択とフィルタリングにはSigLIP2が使われ、説明文の生成には事前学習済みVLMが使われた。これらは開発元による報告であり、再現性や実運用への適性について広く結論づけるには、第三者による再現、ベンチマークとのデータ重複、ソースのライセンスを引き続き確認する必要がある。

次のステップ#

対象のマルチモーダルLLMで、言語モデル、学習データ、評価手順を固定してエンコーダーを置き換える対照実験を行い、報告された文書理解の改善が自分のワークロードでも得られるかを検証しよう。

出典: https://zenn.dev/noetra_techblog/articles/0cea39ce67d2c2

目次