Transformer 学习有局限，需对抗式世界模型突破

@swyx（Swyx，是 AI 工程实践领域最具影响力的 KOL 之一）近日再次明确了其一贯立场：Transformer 擅长的是有限类型的学习，而这种局限不是靠堆参数、堆算力就能突破的。他的核心论点援引了Kolmogorov 复杂度（科尔莫戈罗夫复杂度）的理论框架——任何可以被简洁描述的规律，最终应该由简洁模型捕捉，而不是靠海量参数强行拟合。

说话人的历史观点 + 利益关联

swyx 在 AI 社区的定位一直是「架构悲观主义者 + 工程乐观主义者」。从 2023 年起，他在多篇文章和 podcast（如 Latent Space）中反复强调：大模型 Scaling Law 在工程上有效，但在「学习类型」上是有边界的。他关注的重点从来不是「AI 能做什么」，而是「AI 学得动什么」——这个视角直接塑造了他对 Agentic AI、SWE-agent 等赛道的兴趣。

值得注意的是，swyx 本人也深度参与大模型应用层（E2B、Lyzr 等），这种立场带有产品视角的偏向：在实际部署中，简洁方案的性价比远高于大参数模型。因此他对「参数军备竞赛」的质疑，部分程度上也反映了应用层工程师对基础设施溢价的焦虑