目录

Underdog Saluki 27B 1.0将Qwen3.8-27B压缩为7.89GB的GGUF，并经过调优以保留工具调用性能。它可直接通过原版llama.cpp试用，但在数学和并行工具调用方面也存在不足。结合数据和部署步骤，判断它是否适合你的用途。

要点#

  • 模型本体为7.89GB，比54GB的完整版本更轻量。
  • 在Underdog Bench工具调用测试中，120题成功88题，超过完整版本的84题。
  • 在100题并行工具调用测试中，成功42题，超过完整版本的35题。
  • 图像输入需额外下载629MB或928MB的视觉文件。
  • 以Apache 2.0许可证发布。

Saluki的特点#

发布的文件为Underdog-Saluki-27B-1.0-IQ2-mix.gguf。通过量化，将270亿参数的模型压缩至7.89GB。Hugging Face上的说明称，它可用于原版llama.cpp及基于它构建的应用，思考模式默认开启。

在工具调用测试中，120题成功88题。作为对照的Qwen3.8-27B完整版本成功84题。这是在同一测试中的结果，并不意味着Saluki在所有用途上都优于完整版本。

使用llama.cpp启动#

通过Hugging Face CLI获取模型，然后启动llama-server。以下配置将上下文长度设为32,768个token。--jinja用于启用Qwen3.8的聊天模板，是处理工具调用和思考模式所必需的。

snippet.txt
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768

服务器在8080端口提供OpenAI聊天API。-ngl 99指定将大量层加载到GPU上，实际能否使用，需结合本机显存和运行环境确认。

使用图像与Ollama#

模型本体文件仅支持文本。要处理图像，还需下载视觉文件，并通过--mmproj指定。F16版为928MB，Q8_0版为629MB。启动后，通过OpenAI聊天API发送图像。

snippet.txt
huggingface-cli download ConwayResearch/Underdog-Saluki-27B-1.0 mmproj-Underdog-Saluki-27B-1.0-F16.gguf --local-dir .
llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-F16.gguf --jinja -ngl 99 -fa on -c 32768

Ollama可从GGUF创建模型。发布页面称，在Apple芯片设备上的Ollama 0.40.4中，聊天、思考和工具调用均可运行。

snippet.txt
hf download ConwayResearch/Underdog-Saluki-27B-1.0 Underdog-Saluki-27B-1.0-IQ2-mix.gguf --local-dir .
echo "FROM ./Underdog-Saluki-27B-1.0-IQ2-mix.gguf" > Modelfile
ollama create saluki -f Modelfile
ollama run saluki

性能与注意事项#

在并行工具调用测试中，100题成功42题，完整版本则为35题。不过，据称约五分之一的并行调用回答存在轻微格式错误。如果所接入的工具要求严格的格式，应在纳入实际处理流程前检查输出。

数学方面与完整版本差距较大：AIME 2025中，Saluki得分为79.2，完整版本为96.7；AIME 2026则分别为80.0和94.6。发布页面称，其竞赛数学得分约为完整版本的82～85%。此外，它也不擅长回文、元音、字母顺序等字符级指令题。

应结合具体用途判断基准测试结果。Underdog Bench由Berkeley Function Calling Leaderboard v4中选出的120题组成，页面本身也说明这是一项小规模测试。公开分数还包含不同评测环境下的结果，因此，用自己的指令和工具测试最为可靠。

下一步#

先获取GGUF，尝试约10个计划使用的工具调用案例。确认格式稳定、处理成功率也满足要求后，再将其加入实际工作流。

来源: https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0

目录