0.016% 的 Astra 微创手术,治好了 Qwen 的 3 万 Token 死循环
当「读懂权重」和「改写权重」被同一个模型打通,「AI 改进 AI」就多了一条不经过梯度下降的短路通道,模型维护与模型能力放大之间的边界开始模糊。 作者丨郑佳美 编辑丨岑 峰 一个模型做数学题,写了 3 万多个 Token,仍然在重复相似的推理过程,最后连答案也交不出来。碰到这种情况,通常会调整训练数据、优化推理策略,或者重新微调模型。但 MIT CSAIL 最近尝试了一种更直接的办法:让 GPT-6 Astra 检查 Qwen3.5-0.8B 的内部权重,找出问题发生的位置,再直接修改参数。结果,Astra 只改动了约 0.016% 的权重,就让 Qwen 的 MATH-500 成绩从 7.9% 提升到 48.1%,接近原来的 6 倍。这项研究真正的信号,不是“0.016% 权重换 6 倍成绩”这个数字,而是它把机制可解释性的输出从“解释”变成了“可执行的编辑指令”,让AI有了改造另一个A
gpt