AI 中国网 https://www.cnaiplus.com
导读：OpenAI 从发布GPT-5以来，一直热度不减。热度最主要来源于 GPT-5 的表现不达预期。但是呢，它不像 Llama 4， 大家一致认为那个是垃圾，也不像 Claude，大家一致都觉得那是写代码的王。 关于 GPT-5，基本都是褒贬不一。正好这两天刷到 OpenAI 的联合创始人Greg Brockman 参加的一个播客访谈，谈论了模型的推理、GPT-5的路由、强化学习等，非常值得一看。访谈链接：https://www.y ......OpenAI 从发布GPT-5以来，一直热度不减。
热度最主要来源于 GPT-5 的表现不达预期。但是呢，它不像 Llama 4， 大家一致认为那个是垃圾，也不像 Claude，大家一致都觉得那是写代码的王。 关于 GPT-5，基本都是褒贬不一。
正好这两天刷到 OpenAI 的联合创始人Greg Brockman 参加的一个播客访谈，谈论了模型的推理、GPT-5的路由、强化学习等，非常值得一看。
访谈链接：https://www.youtube.com/watch?v=35ZWesLrv5A
我基于我自己的观看和思考，做了些整理，希望对感兴趣的小伙伴能有些帮助。
1. OpenAI 模型推理能力的演进当 GPT-4 完成训练之后，他们发现模型已经可以进行连贯的对话。即使从来没有被明确的训练过这种能力，如果继续追问模型一个问题会发生什么，这个模型也能通过考虑之前所有的问答记录来做出回应。
当时他们就提出了一个问题，为什么这还不是通用人工智能（AGI）？
答案是，虽然 GPT-4 能力超群，但是它会犯错，它不够可靠。为了弥补这样一个问题，他们决定让模型在真实世界中验证自己的想法，也就是通过强化学习来提升可靠性。
「强化学习其实对于 OpenAI 来说并不是一个很陌生的技术领域了。在 OpenAI 还没这么有名气之前，那帮子人都是做强化学习的了。可以说 OpenAI 也算是做强化学习起家的」
2. 学习范式与计算效率以前的模型训练就像是一次性考试，考完就定型了。但是现在 OpenAI 正在转向一个推理-训练循环的新范式。模型通过推理生成的数据，再利用这些数据进行训练，形成一个循环，不断提升。正如 Ilya 常强调的，模型生成的 token 的价值与其能力成正比；能力较弱的模型生成低价值的 token，而高度成熟的模型则能输出蕴含深刻思考的高价值信息。
强化学习正是这一理念的体现：模型通过探索生成数据，这些数据又可以用作训练。模型与现实世界接触后提炼的观察结果会反馈到系统中。 与传统的预训练需要海量的训练数据不同的是，强化学习使得模型可以仅仅从几十个任务中学习，因为它会尝试上万次来完成一个任务，并从这些尝试中进行学习。
所以，Greg 也提出下一阶段模型的学习范式将彻底从离线学习的模式转变为在线学习。
并且，他同时也认为，当前制约强化学习进一步发展的仍然是计算资源的问题。如果人类设计了一个任务、十个任务或一组有限任务，随后模型并非尝试一次或十次，而是成千上万次、通过这些尝试，模型不断学习并改进。作为人类设计者，所获得的杠杆效应是巨大的，但是要取得有效成果，所需的计算投入也会按比例增长。
他把计算资源用来比作燃料，这种燃料最终会转换成模型的势能，让模型做更多的事情。这意味着只要有足够的计算资源，他们就能找到方法让模型更智能。不仅能让模型学习眼前的事物，还能推演第二、第三、甚至第四层效应。
3. 关于 GPT-5 的智能 GPT-3 开始，以文本为基础，标志着人类反馈强化学习（RLHF）的开端，再到 GPT-4 引入了多模态处理、低延迟及扩展推理能力。那 GPT-5 的标志性特征就是智能上的突破。
Greg 认为尽管 GPT-5 局限性仍然存在，但是它的智能已经达到了不可思议的地步。比如，在国际数学奥林匹克（IMO）领域，采用先进推理范式的训练模型，已经能产出与顶尖人类选手水平相当的证明。尽管在特定领域仍然表现不佳，例如尚未实现证明未解定理这类突破，但是这些模型的智力水平已经不容置疑。
GPT-4 虽然具备了广泛的应用能力，在商业场景中表现优异，但是它的问题解决和创意生成的深度不足，在处理复杂问题时往往不可靠。
Greg 举了一个例子，对任意几个数字进行排序。在 GPT-3 时代，它连排序 7 个数字都做不好，但是 GPT-5 时代，他确信能完美执行，并且 GPT-5 还具备了很强的调用工具的能力。
GPT-5 能够真正协助人类实现知识飞跃，如今专业的数学家和物理学家都在探索GPT-5 的潜力，比如 GPT-5 能推导出过去需要数月研究才能有的发现。
「不得不感叹，现在真的是一个全新的时代。不仅仅对于研究者而言，哪怕是对于一个高中生或者大学生，有了这样智能程度的 AI，整个学习、研究的方式都发生了巨大的改变。人与 AI 如何更好地协作是未来一大值得探索的重点。」
当然，面对网络上很多用户的反馈 GPT-5 改进不大，Greg 表示，某些任务存在过拟合性。比如：日常的问候对话这些，GPT-5 的提升表现都不会很大。但是给它一个非常难的任务，它的智能水平就体现出来了。
「根据我个人到目前为止的使用经验来看，真正能体现GPT-5 智能的，其实是只有 GPT-5 Pro，200 刀独享的那个，信我，真的很强。」
以及，Greg 被问到了关于 GPT-5 的路由机制。
GPT-5 采用的路由机制其实很简单，难的问题交给慢但是更聪明的推理模型，简单的题交给快速回答的非推理模型，额度不够时能够自动回退，不让用户操心选什么模型。
「就是因为这个鬼机制，GPT-5 才被疯狂被骂。现在都已经完全都改回原来的样子了，还路由个鬼。虽然被疯狂吐槽，但是 OpenAI 的这个想法还是挺好的其实，AGI 目前来看，肯定不会以单一模型的形态来实现，这也算是 OpenAI 的一种尝试吧」
4. 如何与AI 高效协作？Greg 给出了几个实用的建议，如何最大化利用这些模型:
挖掘这些模型最大的潜能。这需要持续努力，透彻理解每个模型的能力与局限。这个过程需要从最简单的任务入手收集初步反馈，然后逐步增加复杂度，以评估模型在更严苛条件下的表现。
成为模型的管理者。不要把模型看作一个单一的执行者，而是看作一个团队。你需要将任务分解成一个个独立的小任务，让模型可以并行处理。
像对待同事一样。AI 模型就像你的同事一样。你既希望它能远程异步工作，也希望它能跟你一起写代码，在你身边随时帮助你。更重要的是，AI 模型不怕被管理，你可以查看它的每一个指令，这与人类同事不同，也为我们提供了更多的控制和可观察性。
5. 为什么要做开源？Greg 认为开源能创建一种依赖关系。当全世界的开发者都开始基于 OpenAI 的开源模型去构建自己的应用时，它们就会依赖OpenAI来进行后续的性能提升和技术突破。久而久之，这就形成了一个以美国技术为核心的生态系统，从芯片、云服务到上层应用都和 OpenAI 紧密绑定。这不仅对 OpenAI 的商业更有利，也能巩固美国在全球科技领域的领导地位。
6. 写给自己访谈的最后，主持人让 Greg 给 18 岁的自己写一张便利贴，会写点什么。Greg 的回答让我感触很深。他说，年轻时总觉得自己生不逢时，错过了互联网的黄金时代，觉得等轮到他大展拳脚的时候，所有重要问题都已经被解决了。但是他想告诉年轻的自己，我们需要解决的问题，会随着时间的推移而越来越多，并非缩小。
这可能是对所有身处这个时代的人们最好的鼓励。我们总觉得最好的时代已经过去了，但是实际上，这个由 AI 驱动的，拥有无限可能性的新时代才刚刚开始。我们手中的工具，也是有史以来最强大的，等待我们去解决的问题，也比任何时候都多。
AI 中国网 https://www.cnaiplus.com
本文网址：
