目次

Underdog Saluki 27B 1.0は、Qwen3.8-27Bを7.89GBのGGUFに圧縮し、ツール呼び出しの性能を保つよう調整したモデルだ。stock llama.cppですぐ試せる一方、数学や並列ツール呼び出しには弱点もある。用途に合うか、数字と導入手順を見て決めよう。

要点#

  • 本体は7.89GBで、54GBのフルサイズ版より軽い。
  • Underdog Benchのツール呼び出しテストでは120問中88問に成功し、フルサイズ版の84問を上回った。
  • 100問の並列ツール呼び出しでは42問に成功し、フルサイズ版の35問を上回った。
  • 画像入力には別途、629MBまたは928MBのビジョン用ファイルが必要。
  • Apache 2.0ライセンスで公開されている。

Salukiの特徴#

配布ファイルはUnderdog-Saluki-27B-1.0-IQ2-mix.gguf。27Bパラメーターのモデルを、量子化によって7.89GBに収めている。Hugging Faceの説明では、stock llama.cppとその上に作られたアプリで利用でき、思考モードは標準で有効だ。

ツール呼び出しテストでは、120問中88問に成功。比較対象のQwen3.8-27Bフルサイズ版は84問だった。これは同じテストでの結果であり、すべての用途でSalukiがフルサイズ版を上回るという意味ではない。

llama.cppで起動する#

Hugging Face CLIでモデルを取得し、llama-serverを起動する。次の設定ではコンテキスト長を32,768トークンにしている。--jinjaはQwen3.8向けのチャットテンプレートを有効にし、ツール呼び出しや思考モードを扱うために必要だ。

snippet.txt
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768

サーバーはポート8080でOpenAI chat APIを提供する。-ngl 99はGPUに多くのレイヤーを載せる指定なので、実際に使えるかは手元のGPUメモリーや実行環境で確認しよう。

画像とOllamaで使う#

本体ファイルはテキスト専用。画像を扱うには、ビジョン用ファイルもダウンロードして--mmprojで指定する。F16版は928MB、Q8_0版は629MBだ。画像は起動後、OpenAI chat API経由で送る。

snippet.txt
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 mmproj-Underdog-Saluki-27B-1.0-F16.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768

OllamaではGGUFからモデルを作成できる。公開ページにはApple silicon上のOllama 0.40.4で、チャット、思考、ツール呼び出しが動作したとある。

snippet.txt
hf download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
echo "FROM ./Underdog-Saluki-27B-1.0-IQ2-mix.gguf" > Modelfile
ollama create saluki -f Modelfile
ollama run saluki

性能と注意点#

並列ツール呼び出しのテストでは、100問中42問に成功し、フルサイズ版は35問だった。一方、約5分の1の並列呼び出し回答に小さな書式ミスがあったという。接続先のツールが厳密な形式を求めるなら、実際の処理に組み込む前に出力を確かめたい。

数学ではフルサイズ版との差が大きく、AIME 2025はSalukiが79.2、フルサイズ版が96.7。AIME 2026も80.0対94.6だった。公開ページは、競技数学のスコアをフルサイズ版の約82〜85%としている。また、回文や母音、アルファベット順といった文字単位の指示問題も苦手だ。

ベンチマークは用途を絞って判断しよう。Underdog BenchはBerkeley Function Calling Leaderboard v4から選んだ120問で、ページ自身も小規模なテストだと説明している。公開スコアには異なる評価環境の結果も含まれるため、手元の指示やツールで試すのが確実だ。

次の一歩#

まずGGUFを取得し、使う予定のツール呼び出しを10件ほど試そう。書式が安定し、処理の成功率も足りると確認できたら、実際のワークフローに加える。

出典: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0

目次