目录

Beam 为编程和智能体工作流提供采用 Apache 2.0 许可、拥有 100 万 token 上下文窗口的模型，支持自托管和微调。其激活参数为 23B，降低了每个 token 的计算量，但部署仍需足够内存来容纳 501B 参数的模型。

要点#

  • Reflection 的 Beam 支持文本输入输出、工具调用，以及从 low 到 max 的 5 档推理设置。
  • 混合专家（MoE）架构将全部 501B 参数保留在内存中，每个 token 仅激活约 23B。
  • NVFP4 检查点大小约为 280 GB，发布指南建议使用 4 块 B200 GPU 提供实用的推理服务。
  • 先从托管推理入手，再根据自身任务和成本评估自托管或定制方案。

可以掌控什么#

Beam 于 2026 年 10 月 16 日发布，面向编程、长上下文推理和工具使用工作流。Apache 2.0 许可证允许团队依照其条款托管和修改模型。当自主掌控基础设施、模型权重和后续训练的价值足以抵消大模型的运维负担时，它是一个有力的选择。

Beam 支持 Transformers、vLLM 和 SGLang，还提供专用的开源 Rust 运行框架。分词器包含响应模板，将回答、推理和工具调用分为结构化字段。集成模型时请使用附带的解析器。手动拆分生成文本会增加本可避免的故障来源。

此外，还可以通过 preserve_thinking 跨轮次保留推理内容。请将其视为需要评估的设置。保留更长的对话可能影响上下文用量、延迟和成本。

先估算内存#

Beam 的每个 MoE 层有 256 个专家，每个 token 选择其中 8 个。稀疏激活减少了计算量，但未使用的专家仍占用内存。它的速度未必与稠密 23B 模型相当。性能取决于硬件、GPU 间通信和推理服务配置。

| 检查点 | 权重存储空间 | 部署参考 | |---|---:|---| | BF16 | 约 1 TB | 公开的 vLLM 示例使用 16 块 H200 GPU | | FP8 | 小于 BF16 | 公开的 SGLang 示例使用 8 块 H200 GPU | | NVFP4 | 约 280 GB | 指南建议使用 4 块 B200 GPU |

两块 B200 GPU 提供 360 GB 内存，可容纳 NVFP4 权重，但留给运行时开销、上下文和并发请求的余量较少。4 块则有 720 GB。原生运行 NVFP4 需要兼容的 Blackwell 硬件。在 H200 等 Hopper 硬件上，请使用受支持的 FP8 配置。

通过托管 API 试用#

发布信息称，可通过 Hugging Face Inference Providers 上的 Baseten、Fireworks 和 Together 使用 Beam。如果尚不明确是否需要自托管，托管服务是最便捷的起点。测试前，请确认各提供商当前的可用性、价格、上下文上限和支持功能。

请基于实际工作建立小规模评估，例如修复代码仓库、从文档中提取信息，或执行成功条件明确的一系列工具操作。比较默认推理设置 medium 与 high，记录任务完成情况、输出有效性、延迟和 token 用量。

自托管时，请从已公开且适合所用检查点和 GPU 的 vLLM 或 SGLang 配置方案入手。两者均支持通过 DFlash2 进行推测解码，由小模型提出候选 token，再由 Beam 验证。不要预设吞吐量会提高，请在实际工作负载上测量效果。

按需使用长上下文#

Beam 通过混合注意力支持 1,048,576 个 token。52 层中，43 层保持 512 个 token 的滑动窗口，9 层关注整个序列。

这大幅抑制了 KV 缓存的增长。发布信息估计，单条最大长度序列所需的 BF16 KV 缓存约为 36 GiB。如果所有层都采用全局注意力，则为 208 GiB。这些数值基于 Transformers 的动态缓存，不包含权重和其他运行时内存。

上下文窗口大，并不意味着能从所有输入中可靠地提取信息。请在实际所需的长度下，测试 Beam 能否找到合适的依据、遵循指令并生成有效输出。只有当任务完成情况的改善足以抵消额外成本时，才增加上下文。

先衡量失败，再进行定制#

Reflection 报告称，BF16 下的 SWE-bench Verified 得分为 81.6%，Terminal Bench v2.1 为 80.1%。这些是厂商公布的结果，未经独立验证。发布时的 5 项非正式任务评估也太少，不足以证明广泛的可靠性。

公开的 TRL 后续训练方案使用 LoRA 适配器，而非更新全部参数。参考配置可在搭载 8 块 B300 GPU 的单节点上运行。在一项测试是否遵循指定语言的实验中，模型在未用于训练的 16 条提示上的成功数从训练前的 3 条提升至训练后的 16 条，但该实验未衡量推理的正确性。

针对全部参数的强化学习需要多得多的硬件。Miles 的一个参考配置使用了 96 块 H200 GPU。开始训练前，请先找出反复出现、且无法通过提示、工具模式或解析器集成解决的失败问题。微调需要可衡量的目标。

下一步#

在托管版 Beam 上，分别使用 medium 和 high 推理设置运行 20 项代表性任务，记录成功率、延迟和成本，再选择部署配置。

来源：https://huggingface.co/blog/reflection-beam

目录