目录

“Underdog Saluki 27B 1.0”已发布，将Qwen3.8-27B量化至约2bit，模型文件缩小至7.89GB。该模型注重工具调用的准确性，可在标准版llama.cpp上运行，但在编程和数学等部分项目中仍不及全精度版。

要点#

  • 基于Alibaba的Qwen3.8-27B构建的27B模型，文件大小从54GB缩小至7.89GB。
  • 据称可在16GB内存的笔记本电脑上运行，采用Apache 2.0许可证，可从Hugging Face获取。
  • 采用GGUF格式，可用于标准版llama.cpp及其衍生应用。
  • 在Underdog Bench的120项任务中通过88项，超过全精度版的84项。
  • 据报告，在编程和数学等方面的成绩低于全精度版。

缩小至7.89GB的27B模型#

Underdog Saluki 27B 1.0是将Alibaba的Qwen3.8-27B量化至约2bit的模型。常规全精度版为54GB，而Saluki的文件为7.89GB，约为原来的七分之一，号称可在16GB内存的笔记本电脑上运行。

该量化模型以奥地利科学技术研究院（ISTA）DASLab发布的“Qwen3.8-27B-GSQ-RCO-GGUF”为基础。Underdog在此基础上进行了调整，着重提升工具调用的准确性。模型于美国时间2026年10月8日发布，可从Hugging Face下载。

可在标准版llama.cpp上使用#

模型采用GGUF格式，可用于标准版llama.cpp及基于它构建的应用。同样将Qwen3.8-27B量化为三值2bit的“Ternary Bonsai 2 27B”需要专用分支版llama.cpp，而Saluki无需这项准备。

思考模式默认开启，可针对每次请求开关。Underdog建议，需要快速调用工具时关闭思考模式。所用应用的设置方法和模型加载步骤，需根据各自的运行环境确认。

工具调用表现良好#

Underdog发布的自有基准测试“Underdog Bench”由从BFCL v4中抽取的120项任务组成。在这项测试中，Saluki通过了88项，全精度版为84项，Ternary Bonsai 2 27B为70项。

据称，在衡量指令遵循能力的IFEval和IFBench中，Saluki也超过了全精度版。不过，这些都是Underdog的评测结果。仅凭基准测试数据，无法判断模型在自身使用场景中的准确性。

不擅长的用途与注意事项#

在SWE-bench Verified、MBPP+、MuSR及数学推理方面，Saluki的表现低于全精度版。如果优先考虑修复漏洞、Python编程、多步推理或数学，就不能仅凭体积小来选择Saluki，而应结合实际用途进行比较。据称，它在字符级指令谜题方面也存在弱点。

开启思考模式后，回答前的思考往往较长。据称，在并行工具调用中，约五分之一的回答出现了轻微的格式问题。如果对接系统对输出格式要求严格，应在引入前进行确认。

下一步#

先在Hugging Face上确认Saluki 27B的模型文件和所需运行环境，检查能否在现有应用中加载。尝试几次计划使用的工具调用，确认准确性和响应时间后，再决定是否采用。

来源: https://pc.watch.impress.co.jp/docs/news/2147095.html

目录