我认为当下这轮AI热潮关键点在于大语言模型的成功。

OpenAI的成功是偶然的吗？当然不是，哲学里讲偶然中蕴含着必然。

那么它成功的必然在哪呢？我认为和复杂科学里一个概念有关——涌现。

凝聚态物理学家Paul.w.Anderson著名的论文指出：more is different

实际上，诸如GPT-4此类Large Language Models产品的成功，恰恰说明

即便在神经网络这种计算机模拟出来的数字空间里，Anderson教授的预言

依然神奇般的在发挥着统治作用。

在Arxiv中检索emergent abilities，相关文章结果截止到今天仍为个位数。

当然，复杂科学从来都不是一门简单的学问，

另外，检索过程中发现，在Large language models中，另一个概念似乎

更直指问题核心：grokking。

Grokking是一种什么现象呢？大抵就是讲神经网络在过拟合后仍然存在的泛化性，

不用说但看描述就够反直觉了，因为一个common sense是，过拟合和泛化性是冲突的。

但在scaling law的神奇作用下，模型是可以在达到某个参数规模后性能暴涨的。