目录

Strata是一款开源工具,可在Windows、Linux、Mac普通PC上运行本地LLM,并通过localhost提供兼容OpenAI和Anthropic的API。安装很方便,但页面列出的速度由开发方测得,自己的PC能否达到同样的数字,只有试过才知道。

要点#

  • 支持桌面应用和终端,据称无需注册账号。
  • 本地API兼容OpenAI和Anthropic,可将其设为Claude Code或Codex CLI的连接端点。
  • DeepSeek系列大型模型会从SSD读取无法装入内存的部分,因此需要250GB以上的可用磁盘空间。
  • 速度表使用Strata 0.2.5测得,未说明是否与当前发布的0.2.6条件相同。
  • 尚未找到这份资料以外的证据来佐证“Qwen3.8-Flash-Next”的性能。

能做什么#

核心是加载模型并运行推理的引擎,以及通过localhost API对外提供服务的机制。桌面版将聊天、文件和实时预览整合在一个界面中。偏好终端的用户可通过strata launch实现同样的功能。

列出的兼容工具包括Claude Code、Codex CLI、OpenCode、Hermes Agent等。运行strata connect即可查看连接方法。不过,API格式兼容与各工具能否实际用起来是两回事,后者只能逐一测试。

安装流程#

Linux和Mac可使用以下命令安装并启动模型。Windows则需运行官方的install.ps1,重新打开终端后再执行strata launch。

install-strata.sh
curl -fsSL https://github.com/Niko1221/Strata/releases/latest/download/install.sh -o install.sh
sh install.sh
strata launch

首次启动时,应用会额外下载适配显卡的引擎。模型推荐使用ISTA-DASLab版,也可选择Unsloth版或Qwen3.6-35B-A3B。应先查看页面对比表中的存储和内存要求,再决定哪个模型适合自己的PC。

如何解读数字及注意事项#

页面列出的实测输出速度为:RTX 5070(12GB显存、64GB RAM)每秒4~6个token,RTX 3060(12GB显存、46GB RAM)每秒9~11个token。两者均使用2.00 bpw版DeepSeek系列模型测得。每秒4个多token的输出速度,对于边读边聊的交互来说相当慢。

有三点需要注意。测试使用的是Strata 0.2.5,无法保证当前的0.2.6能达到同样的数字。测试方是开发方,且未详细说明提示词长度、温度等条件。此外,2.00 bpw版仅模型本身就约占257GB,需要约265GB可用空间。

许可证也需要分别看待。Strata本身采用MIT许可证,但模型另有许可证。商用前应阅读各模型的许可证。

下一步#

查看自己PC的GPU型号、RAM容量和可用磁盘空间,并与上述数字对照。如果可用磁盘空间低于候选模型的要求,就排除DeepSeek系列,从strata launch中选择Qwen3.6-35B-A3B,试着让它完成一项日常编程任务。

来源: https://github.com/Niko1221/Strata

目录