Astra 正式推送后我和我的小伙伴立马试了一下。
这是他的一些结果：
你以为我要和 x 上那些网红开始吹他的出色的“one-shot”生成 xxx 游戏吗？或者他的视觉或者 3d 能力提升吗？
这些提升都很重要，比如按照反馈，之前 5.6 完全识别不了这些游戏的素材，以及这些素材能干什么，有什么用而 astra 则可以轻松解决，但是这些提升完全对不上这个标题。
真正的突破是，比如这个可玩的游戏，astra 仅仅使用了 40 分钟，和以下的 token 用量和分布。
Input: 8,354,979 Cached input: 8,145,408 Uncached input: 209,571 Output: 69,989 Reasoning tokens included in output: 19,230
我们可以观察到两个结论
- 他的总 token 量对于这个项目来说使用的非常少
- 最关键的是 Reasoning tokens 只有不到 2 万
在我的对一个相对复杂的 debug 里也明显发现了同样的现象，他只 compact 了两次就完成了整个事故报告的诊断（ astra 的 context window 默认 258k ）
这说明 openai 自 gpt 5.4 以来的依赖长思维链提升性能的现状被完全改变（不分场合的雷霆大思考，总是钻牛角尖考虑一些有的没的 corner cases ），astra 恐怕是自 O1 发明 Test Time Scaling Law 以来，思维链效率最高的模型。这也就回到了标题：新的 O1 时刻, 这个模型成功的证明了不需要依靠 “线性” 拉长思维链来获取大幅度的性能提升。
那么 openai 用了什么方法实现了这个效果？坊间传闻都是使用了 latent space reasoning 来实现这个效果，事实上我反而觉得可能性确实有，但是不一定是这么单纯的技术，第一这个潜空间推理实际不新鲜，学术圈火爆是去年，今年年初甚至有一个初中小孩复刻了一个小小的火了一把，在年初到现在模型大版本都迭代了 3 个版本不止的情况下为何没有人使用他？ 我个人的猜测是：他们可能用上了一直在 pro 上使用和测试的技术，并行推理和推理剪枝（以及从 OAI 还可以测试“告诉模型存在 CoT monitor 后，它会不会主动缩短 CoT”能看出这应该不是潜空间）。
但是不管 OAI 是如何实现如此之高推理效率，他只能说明一件事情：大模型的推理范式又发生了重大改变，这项我们迟早会在其他开源模型上看到的技术（比如 deepseek r1 模仿 O1 ），极大的利好小型开源模型，因为他可以更加充分利用本就小的内存或者显存。
怎么说呢，虽然我一直在骂 5.6 和 OAI / Codex ，但是他们能够引领两个时代的大模型范式改变依然说明作为前沿厂商的引领技术潮流的能力
1
Select Language