目录

在为ISUCON2026夺冠做准备时,极简智能体配置超越了耗时数周精心构建的框架,促使我改变了方向。真正有用的是确保评估可靠,并且只在反复失败、明确需要的地方添加指令。

要点#

  • 通过159次、共674小时的评估,我发现,可靠的测试比详细的指令更有助于攻克比赛。
  • 在ISUCON13中,极简配置不到1小时就超越了精心构建的框架在8小时内取得的最高分。
  • 最终配置保留了运行控制,同时将大部分优化决策交给了智能体。
  • 重启检查、基准测试隔离和重复测量,揭示了亮眼分数背后隐藏的失败。

我希望框架承担的职责#

ISUCON是一项在限定时间内提升应用性能的比赛。我的目标是让Claude Code会话在无人干预的情况下完成8小时的优化。

我将系统分为竞赛智能体、包含指令和工具的框架,以及评估运行器。运行器在AWS上搭建往届比赛环境,启动智能体并收集记录,结束后删除基础设施。它还会测试服务器重启后,应用能否正常运行。

准备期从2026年8月3日持续到10月30日。核心问题是:每个新增要素能否提高有效的最终得分。仅仅让智能体连续运行8小时还不够。

先建立评估,再制定策略#

第一次为期1小时的测试暴露了基本的恢复问题。智能体达到4,957分后弄坏了应用,剩下45分钟始终未能恢复。它在未使用Git的情况下工作了48分钟,首次提交保存的已经是损坏的状态。

我从运行机制上采取了措施。部署必须先提交代码,基准测试改为通过HTTP门户运行,并取消智能体对基准测试机器的直接访问。每次运行都使用一次性目录和独立配置,避免个人指令、工具和记忆改变测试之间的条件。

评估运行器本身也需要验证。一次运行卡在了初始设置向导中。另一次因运行器误发/exit而结束。后来,后台运行的基准测试又掩盖了智能体的停滞。必须确认监控衡量的是智能体的实际进展,并确保在重启验证前,所有负载生成进程都已停止。

为什么增加指令反而输了#

精心构建的full配置规定了设置、探索、收敛和冻结四个阶段,还提供了指标摘要、优化操作指南,以及将假设与决策关联起来的结构化记录。用于对比的极简配置bare保留了运行基础设施,同时移除了大部分这类指导。

9月22日,bare在ISUCON13中启动1小时后达到697,671分。此前full在8小时内的最高纪录为688,906分。bare的最终得分为873,282分。这些运行并不能说明普遍的性能比例,但足以表明,指令的成本值得研究。

full花了50~70分钟进行设置,并将探索期间51%的输出词元用于记录。其指令鼓励按顺序进行小幅修改。相比之下,bare改写了2,309行代码,在12分钟内将分数从约3,300分提升至175,000分,随后才编写测量脚本来回答必要的问题。10月5日,我停止了full的开发,关闭了22个议题。

根据观察到的失败添加控制#

正式比赛使用的lite配置以bare为起点。我没有恢复之前的工作流,而是针对评估中发现的失败添加了应对措施。

  • 因API错误结束回合时,让智能体继续运行,但不要在正常等待期间反复发送提示。
  • 启动时,必须阅读提供的比赛资料。
  • 临近时间限制时,提醒进行重启验证和最终基准测试。
  • 进展停滞时,让负责审查的子智能体提出被忽略的方向。

审查清单根据以往运行中错失的改进机会逐步扩充。每项都描述通用的优化角度,不提原题名称。它的作用是拓宽思路,建议仍由竞赛智能体验证。

增加文档可能重现full的负担。因此,每次新增报告要求,都必须有助于改善决策或减少失败。

验证结果,而非最高分#

分数存在很大的噪声。一次运行中,同一提交的58次基准测试得分相差达21%。因此,后期的个人最高分可能来自波动,而非改进。对未修改的实现重复测量,有助于区分两者。

评估缺陷也会改变智能体的方向。基准测试服务器的文件描述符上限导致了失败,智能体却将其解读为应用瓶颈。在另一次比较中,起初被怀疑由框架造成的分数差异,可以用0.18毫秒与0.38毫秒的网络往返时间差异来解释。

有效性方面最大的问题是持久化。仅将数据保存在内存中的应用竟然通过了重启测试,因为测试在执行任何检查之前,就重新初始化了数据。我复查了7道题的114次运行,增加了重启后、初始化前的检查,并随机化了重启顺序。由于模型可能复现往届题目的细节,此前的结果也需要保留看待。我通过未见过的题目和自创题目获得了更多佐证。

下一步#

在再添加一条指令之前,请用当前框架和极简配置执行相同任务,比较有效的最终结果、首次改进所需时间,以及用于记录的词元数。

来源: https://zenn.dev/luvtechno/articles/isucon2026-preparation

目录