C 原版标识

我的科研 Skill 里到底写了什么

前些天,我让 AI 参考 SciΠvot,给自己的科研 Skill 补了一些规则。最近重新看这个项目时,我却有点对不上:原项目讲了那么多,究竟哪些东西被用上了?于是又把当时的修改记录翻了一遍。

这份 Skill 叫 research-exploration,主要用于讨论研究方向和检查候选方案。文件里写的是工作要求,例如讨论方法之前先交代可用信息,查文献时核对具体条件,提出实验建议时说明它能回答什么问题。它目前没有配套的自动评测程序。

我希望它能约束 AI 提建议的过程。一个方案听着合理,还需要知道它从哪里来,依据够不够,以及执行以后究竟能得到什么。

SciΠvot 恰好提供了一些具体例子。

作者从真实研究中的人类纠正记录出发,整理了 248 个案例。每个案例给出纠正发生前的项目资料,以及两个后续计划,让模型选择其中一个。参考答案来自研究者的纠正,并结合后续调查建立依据。它考查的范围比较明确:面对当时的材料,模型能不能认出更有依据的下一步。

论文里有个编程题评分的案例。小模型在几组题上得分全零,助手准备换一个更大的模型继续测。后续检查发现,评分程序没有正确提取模型生成的答案,直接拿原始文本去评分。这个问题不修,换模型后的分数仍然不可靠。

项目笔记里偏偏已经写过“评分故障已排除”。评测中的模型接受了这句话,用它支持换大模型的计划。

这件事对应到我的 Skill,变成了一条很具体的要求:旧记录里凡是会影响下一步决定的说法,都要能找到依据。笔记说检查过某段代码,就去核对检查的到底是哪条执行路径,不能只把“已排除”再引用一遍。

论文里的布料仿真案例也很典型。助手早期把部分物理参数固定为零,后续模型竟然把这个限制当成了人类规定。一个临时处理就这样留在项目里,越往后越难被质疑。

所以,现在还会区分某个限制究竟来自用户要求,还是来自助手自己以前的假设。用户确实提出过的要求要遵守;助手自行加上的限制,需要检查它是否仍然成立。不能因为它在文档里待得久,就默认它正确。

另一个改动与“最小实验”有关。

我原来的 Skill 已经要求先做最小检查,避免一个想法刚提出就开始搭完整系统。但“最小”很容易被理解成少跑一点、早点作决定。SciΠvot 中有两个例子,刚好说明了它为什么不能这么用。

一个流程还没有检查好,应该先缩小批量,确认测量可靠后再扩大。另一个项目却需要把训练跑够:已有的短训练不足以检验假设,再换几个随机种子重复短训练,依旧分不清是训练时间不够,还是方法不行。

新版因此补了一句,最小检查要足以区分当前的几种解释。该增加时长就增加,该先检查流程就先检查。资源不够,暂时测不清楚,也可以把结果留在那里,不能提前宣布成功或失败。

这也引出了一个我希望 AI 在动手前回答的问题:这次实验会让我们多知道什么?

程序能跑完,图也画出来了,仍然可能没有回答原来的研究问题。某项指标变好,可能只是优化了一个方便测量的替代指标。下一轮实验应该说明它与当前问题的关系,以及结果出来后会怎样影响决定。

重复实验当然也有价值。独立复现是在检查结果是否稳定,修复错误后重跑是在补有效证据。需要分清的是,哪些重复增加了证据,哪些只是把已有结果再算了一遍。

旧结论也允许修改。过去的版本要求重开一个方向时提供新证据,这次又补上了推理纠错。有时错误就在原来的论证里,并不需要再做实验才能发现。例如,把“某个充分条件不满足”理解成“问题不可能解决”,就应该直接纠正。改判时写清楚错的是哪一步,旧记录也保留下来,方便以后知道判断为什么变了。

这些就是从 SciΠvot 合并进来的主要内容。已有的文献核查和研究问题分析继续保留,新增部分主要处理旧记录的可信度,以及后续实验是否值得做。落实到文件上,是修改现有说明和模板,再补一份验证方案。

但这次回查也暴露了一个缺口:验证方案写了,实际对照还没做。

目前检查过的是文件格式、链接和安装内容,也审阅过规则本身有没有明显问题。我还没有拿一组未见过的研究决策,比较使用这份 Skill 前后的表现。它是否能减少错误实验,现在没有结果可以回答。

要做这样的测试,需要恢复决策发生前的资料,把后续纠正和结果藏起来,再比较不同条件下的选择。拿已经讲解过的案例回测,只能检查同类错误是否又出现,不能据此声称它会处理新问题。即使能在两个计划里选对,也还要另行检查,它能否自己提出计划,以及计划执行后是否有用。

SciΠvot 的论文也提醒了规则增加带来的负担。要求写得再详细,模型仍然可能漏掉,或者在回答里复述一遍,执行时照旧。

所以,这份 Skill 现在能给出的,是一套有出处、可以逐项检查的工作要求。我把它留在科研流程里使用,也需要继续检查它的实际表现。下一次再说它“有用”,应该拿得出具体决策和对照结果。

---

本文介绍个人维护的 research-exploration 1.2.0。SciΠvot 部分依据论文 v1,以及 2026 年 10 月 25 日保存的官方资料;未复跑官方评测,也未逐题核查全部案例。

论文 · 项目仓库