目次

Qwen3.8-27Bを約2bitで量子化し、モデルファイルを7.89GBに収めた「Underdog Saluki 27B 1.0」が公開された。ツール呼び出しの精度を重視したモデルで、標準のllama.cppで動かせる一方、コーディングや数学ではフル精度版に及ばない項目もある。

要点#

  • AlibabaのQwen3.8-27Bをベースにした27Bモデルで、ファイルサイズは54GBから7.89GBに縮小。
  • メモリ16GBのノートPCでも動作するとされ、Apache 2.0ライセンスでHugging Faceから入手できる。
  • 標準のllama.cppと、その派生アプリで使えるGGUF形式。
  • Underdog Benchでは120タスク中88件をクリアし、フル精度版の84件を上回った。
  • コーディングや数学などではフル精度版より低い結果が報告されている。

7.89GBにした27Bモデル#

Underdog Saluki 27B 1.0は、AlibabaのQwen3.8-27Bを約2bitまで量子化したモデルだ。通常のフル精度版は54GBだが、Salukiのファイルは7.89GB。およそ7分の1になり、メモリ16GBのノートPCでも動作するとうたっている。

量子化モデルの土台には、オーストリア科学技術研究所（ISTA）のDASLabが公開した「Qwen3.8-27B-GSQ-RCO-GGUF」を使用。そこにUnderdogが手を加え、ツール呼び出しの精度を重視して仕上げた。公開日は米国時間の2026年10月8日で、Hugging Faceからダウンロードできる。

標準のllama.cppで利用#

モデルはGGUF形式で、標準のllama.cppや、それをベースにしたアプリで利用できる。同じQwen3.8-27Bを三値の2bitにした「Ternary Bonsai 2 27B」は独自フォーク版のllama.cppが必要だが、Salukiではその準備がいらない。

思考モードは初期設定で有効。リクエストごとにオンとオフを切り替えられ、Underdogは素早いツール呼び出しには思考モードを無効にするよう勧めている。使うアプリの設定方法やモデルの読み込み手順は、利用環境ごとに確認したい。

ツール呼び出しは良好#

Underdogが公開した独自ベンチマーク「Underdog Bench」は、BFCL v4から抽出した120タスクで構成される。このテストではSalukiが88件をクリア。フル精度版は84件、Ternary Bonsai 2 27Bは70件だった。

指示に従う能力を測るIFEvalとIFBenchでも、Salukiはフル精度版を上回ったという。ただし、これらはUnderdogによる評価結果だ。ベンチマークの数字だけで、自分の使い方での精度まで判断できるわけではない。

苦手な用途と注意点#

SWE-bench Verified、MBPP+、MuSR、数学推論では、フル精度版を下回った。バグ修正やPythonのコーディング、多段階の推論、数学を優先するなら、Salukiの小ささだけで選ばず、実際の用途で比べる必要がある。文字単位の指示パズルにも弱さがあるとされる。

思考モードを有効にすると、回答までの思考が長くなりがちだ。並列ツール呼び出しでは、回答のおよそ5分の1に軽微なフォーマットの崩れが見られたという。連携先が出力形式に厳しい場合は、導入前に確認しておきたい。

次の一歩#

まずHugging FaceでSaluki 27Bのモデルファイルと必要な実行環境を確認し、手元のアプリで読み込めるか調べよう。使う予定のツール呼び出しを数件試して、正確さと応答時間の両方を確かめてから採用を決めるといい。

出典: https://pc.watch.impress.co.jp/docs/news/2147095.html

目次