GPT-5为什么迟迟出不来？

1. GPT-4目前还是水平最高的大模型，SORA、GPT-4o都不算是太大的改进。GPT-4其实是2022年中就训练出来，2023年初推出。过去这么久了，OpenAI一直没拿出新版本。CTO穆拉蒂刚表示，GPT-5预计将在 2025年底或2026年初，在特定任务中实现博士级别的智能。内部代号为Gobi和Arrakis，是一个多模态模型，预计有52万亿个参数。最初称将于2023年发布，后调整为2024年夏天。CEO奥特曼最近说，没固定时间表，看能力。微软首席技术官Kevin Scott表示，由于记忆力和推理能力的提升，下一代人工智能系统将能够通过博士学位考试。

2. 基于token的模型，能力如何，这是AI哲学问题。大语言模型，是将文字转成token，研究它们互相的关联。多模态的模型，也还是基于token的，想办法将图像、视频、音频切片转化。它们全部基于Transformer，系数多到几千亿、上万亿，系数越多，能够更广泛地探索token之间的关联。

3. 通过有些“暴力”的办法，确实逼出了AI之前没有的三大能力：生成内容、与人交流、逻辑推理。暴力在于，内容生成不好，就拿鞭子抽，让训练改系数。AI没办法只好训练，有时就运气来了系数改对了。与人交流也是，人来RLHF，人工反馈，人评价不好，就拿鞭子抽训练，不改好不算完。逻辑推理也是，回答得没逻辑就鞭子抽训练。

4. 因此，这些能力都是抽打训练出来的。而且，答案是“蕴含”在token中的。也就是说，不是物理世界，而是token世界。例如机器永远不明白，什么是痛，人不需要语言也能明白。机器只能把“痛”和一些导致“痛”的token组合关联起来。简单数学都成为非常困难的事，比如人理解1、2、3、4、5很自然，对于AI就特别困难。可以外接引擎改善数学表现，但是AI还是不理解数字，就特别别扭。

5. 这种对于世界的别扭理解，让GPT的能力进步出现了瓶颈，GPT-5就一时出不来了。因为它的能力是逼出来的，其实是AI在假装：人类大爷，看我这个题的模拟输出好不？它其实不理解自己在干啥，只知道，这么输出，人类大爷就满意了。所以特别心虚，看见人类说”不对”，就连忙修改答案，换个模拟去撞成正确的。如果AI真的懂了，就会象教小朋友一样呵斥人类，“老子已经比你强了，这个问题你错了，正确的是这样的”。现在，还是在模仿人类的回答，希望能让人类满意。所以到现在为止，都没有作出什么了不起的发现。

6. 人类什么东西比较宽容？就是图像输出，这个没有正确答案，看AI模拟得还挺花哨的，就能拿来用了。但是对有确定正确性的语言输出，就特别严格，AI怎么努力都没法让人满意。拿鞭子狠抽的人都有点绝望了：AI就这水平了，堆再多系数都不行，得换模型。