Lilian Weng 这篇文章讲的是一个很容易被低估的判断：近期 AI 的自我改进，未必首先发生在模型权重里，而更可能发生在模型外面的 harness 里。
harness 很难用一个中文词完全盖住。它不是单纯的 prompt，也不是传统意义上的 agent 框架。更准确地说，它是包在 base model 外面的运行系统：怎么给任务、怎么组织上下文、怎么调用工具、怎么存文件、怎么开子进程、怎么评估结果、怎么从失败里更新下一轮策略。模型本身像发动机，harness 则像变速箱、仪表盘、道路规则和维修手册的组合。
这件事重要，是因为我们常把“AI 自我改进”想象成模型直接改写自己的神经网络权重。但工程上更近的一条路是：模型先学会改进自己周围的工作方式。它不必先变成更大的模型，也可以通过更好的 workflow、更干净的上下文、更可靠的工具调用、更持久的文件记忆、更严格的 eval，让同一个 base model 做出更好的结果。
这也是 coding agent 最近让人感觉变化很快的原因之一。Claude Code、Codex 这类系统的能力，不只来自模型本身，也来自它们拥有一个越来越像软件运行时的 harness：能读文件、改文件、跑测试、看日志、维护计划、等待后台任务、恢复中断状态。模型不再只是一次性回答问题，而是在一个可观察、可执行、可回滚的环境里工作。
Lilian 把 harness 的设计模式分成几类：workflow automation、file system as persistent memory、sub-agent and backend jobs。看起来都很朴素，但它们合在一起改变了模型的有效认知边界。上下文窗口再长，也不该承担所有记忆；真正长程的 agent 应该把状态沉到文件、日志、实验结果和可复用 artifacts 里。智能不只在模型参数中，也分布在模型与外部状态的接口上。
我觉得文章最有洞见的一点，是把 harness engineering 看成 meta-methodology：优化的对象不再只是“这一次怎么答得更好”，而是“如何构造一个系统，让下一次更容易答好”。这个层级一变，很多工作就连起来了：context engineering、workflow search、self-harness、evolutionary program search、auto-research，本质上都在优化模型周围的认知机器。
这也解释了为什么 SkillOS 这类工作值得重视。SkillOS 没有更新执行模型的权重，而是训练一个 skill curator，让它从任务轨迹里新增、更新、删除 Markdown 技能。换句话说，它优化的是 harness 里的记忆和技能管理层。执行者还是那个执行者，但它周围多了一套会复盘、会归档、会扔掉坏经验的系统。
从这个角度看，SkillOS 不是孤立的 agent memory 论文，而是 harness-level self-improvement 的一个具体样本：
任务轨迹
-> 复盘与提炼
-> 技能库更新
-> 下一次执行更好这条链路还很粗糙。技能检索可能浅，错误经验可能中毒，workflow 可能过度手工，eval 可能不可靠。但它指向的方向很清楚：自我改进不一定从“模型改自己”开始，也可以从“模型改自己的工作环境”开始。
这甚至可能是更自然的路径。人类做复杂工作时，也不是每次都靠大脑突变来变聪明；我们写笔记、改流程、造工具、沉淀 checklist、复用脚本、建立团队协作方式。个体能力之外，还有一整套外部认知结构在累积。AI agent 的 harness，正在变成类似的东西。
所以我读完这篇文章后的判断是：未来一段时间，AI 能力进步的关键观察点，不应只盯模型 benchmark，也要盯 harness benchmark。谁能更好地管理上下文，谁能更可靠地从失败中更新 workflow，谁能把经验压缩成可复用技能，谁就可能让同一个模型释放出不同数量级的有效能力。
参考
- Lilian Weng, “Harness Engineering for Self-Improvement”, Lil’Log, 2026.
- Siru Ouyang et al., “SkillOS: Learning Skill Curation for Self-Evolving Agents”, arXiv, 2026.
- 本站阅读笔记：做事的脑，记事的脑。