Versun

文章：https://foundationcapital.com/has-ai-scaling-hit-a-limit/

作者探讨了当前人工智能发展所面临的问题，主要集中在数据量、电力、架构方面，非常有见解

根据一位OpenAI员工的说法，Orion 进展停滞的部分原因是模型是在 o1 的输出基础上训练的

随着科技公司向清洁能源供应商抛出橄榄枝，微软转向核能，人工智能已经触及到现有能源的极限。下一代模型可能需要整个国家的能源预算

Transformer 架构本身就存在这种限制。下一个标记预测虽然很聪明，但它所创建的系统似乎只能做出反应，而不能真正 "理解"。LeCun 等研究人员认为，再多的扩展也无法弥合这种架构上的差距，就像再多的数据也无法让电子表格理解其数字的含义一样。

最激进的建议或许来自 Domingos，以及 Meta 的 Yann LeCun 和李飞飞等人。他们认为，我们需要完全超越基于文本的模型，倡导"世界模型"：旨在理解因果关系和物理交互的系统，而不仅仅是识别文本中的模式

人工智能的下一个突破可能不是让我们现有的模型变得更大，而是让它们从根本上与众不同。正如 Sutskever 所建议的那样，这个领域最需要的可能是一种新的 "惊奇与发现 "精神。