第四色影院 o1研发团队初次集体访谈：教AI数r用了一年半
笑死第四色影院，正本 o1 也像东谈主类同样可爱赶 ddl。
这是在 o1 团队的"大型碰头会"上，OpenAI 首创成员 Wojciech Zaremba 揭开的 o1 "黑历史"。
包括 Zaremba 在内的 18 名团队成员，在首席计划官 Bob McGrew 的率领之下围坐一团。
o1 中枢孝敬者 Hyung Won Chung、Noam Brown 等关节东谈主物，也齐在此列。
跟着成员们的奋勇发言，o1 的发展历程也逐步被揭开——受 AlphaGo 和早期 GPT 模子的启发，猜想了将两张背后的范式联接。
其后，团队西宾出了第一个不错生成连贯念念维链的模子，标识着计划标的启动逐步晴明和聚焦……
在充满马虎感的敌视当中，世东谈主还共享了联系 o1 研发的许多趣事：
在 OpenAI 里面，也可爱用"数 r "来测试大模子才智
为了惩办"数 r "的问题，OpenAI 破耗了一年半
工夫东谈主员会把代码报错信息平直丢给 o1 去 debug
o1 也曾说过，人命的道理是" 42 "，还试图用代数来界说" love "
同期在计划进程中他们还发现，o1 不仅比东谈主类更善于发现新的 CoT 推理门径，况兼还败清晰了自我月旦才智。
有网友赞美说，这的确是一个出色的团队，相等可爱听他们的发言，况兼模子的推理才智也确乎比昔日强。
量子位整理了此次访谈的实录，底下就沿途来看 ~
o1 是什么？推理又是啥？
Bob McGrew：我是 OpenAI 计划团队的讲求东谈主，咱们刚刚发布了 o1 和 o1-mini 模子。
对此咱们感到相等委宛，今天咱们的系数这个词团队邻接在此，来先容这两个模子。
什么是 o1？
Bob McGrew：是以，（第一个问题），到底什么是 o1？
Hyung Won Chung：咱们开启了新的模子系列，况兼起了一个新的名字叫 o1。
这是为了强调，与 GPT-4o 等之前的模子比拟，o1 有很大的不同，稍后会有东谈主详备评释。
o1 是一个推理风光，是以它在回报问题之前念念考的会更多。
咱们发布了两个模子——（满血）o1 的 o1-preview，以及更小、更快的 o1-mini，它和（满血）o1 接受的是交流的西宾框架。
咱们但愿大众可爱咱们的新定名形势。
推理又是什么？
Bob McGrew：那么推理又是什么道理？
Giambattista Parascandolo：对于通俗问题来说，咱们但愿发问之后坐窝就能获得谜底。
比如你问意大利的齐门在哪，你无须念念考许多也知谈谜底是罗马。
但如果你想知谈一个复杂问题的谜底，或者写出一份好的营业谋划，或者写一部演义，你可能就要念念考一段时间了，况兼你念念考的越多，临了获得罢了也就越好。
而推理即是把念念考时间化为更好的后果的才智。
研发进程的那些事你们在 o1 上使命多永劫期了？
Bob McGrew：你们在 o1 上使命多永劫期了？
Jakub Pachocki：在 OpenAI 早期，咱们深受 AlphaGo 的获利的启发，看到了深度强化学习的后劲，因此咱们对其进行了长远计划，并看到了数据和机器东谈主工夫的大范围彭胀。
咱们也启动念念考若何才能在通用领域进行强化学习，从而罢了相等宏大的东谈主工智能。
然后咱们看到了 GPT 范式中彭胀和监督学习带来的惊东谈主后果，从那时起，咱们就一直在念念考若何将这两种不同的范式合二为一。
Mark Chen：神色启动的着及时间很难细则，但还是与 Yaku 和 Shimon 进行了早期探索，与 Lukash、Ilya 进行了早期探索。
一个进攻的时刻是 Jerry 的加入，他股东了这个大型神色标进展。
计划进程中的" Aha moment "
Bob McGrew：我认为在计划进程中最精彩的即是哪些" Aha moment "第四色影院，你们的使命当中有哪些高光时刻呢？
Jerry Tworek：咱们西宾了 GPT-2、GPT-3 和 GPT-4，每一次齐成为了媒体上的热门。
但第一次有这种嗅觉是当模子出来的时刻，系数东谈主齐赞美很棒。
对于我而言，这么的时刻是当咱们参预了更多推断打算资源，并第一次生成了连贯的念念维链时。
那时咱们心想，这和昔日的模子看起来确切很不同样。
Trapit Bansal：当咱们推敲西宾一个推理模子时，我立即猜想的一件事是，用东谈主类的念念维进程进行西宾。
但我发现，使用 RL 西宾模子来生成己的念念维链，罢了不错作念得比东谈主类写的念念维链更好。
在我看来这即是一个" Aha moment "，它告诉咱们不错通过这种西宾形势，让彭胀模子的推理才智获得彭胀。
Hunter Lightman：咱们花了很长的时间，一直尝试让模子更好地惩办数学问题。
为此咱们付出了许多接力，咱们想出了许多不同的要领，但有一件事让我一直很寥寂，
每次我读到这些模子的输出时，发现模子似乎恒久不会质疑我方何处出了问题，什么时候犯了无理。
但当咱们西宾早期的 o1 模子并与之对话时，发现它在数学测试中得分更高了。
通过不雅察它的推理形势，咱们发现它启动质疑我方，并进行了相等道理的反念念。
那一刻我嗅觉哇，咱们发现了一些不同的东西。
嗅觉模子像东谈主如故像机器？
Bob McGrew：你们在看模子的念念考进程时，以为他们是更像真东谈主如故更像机器东谈主？
Liam Fedus：这更像是一种"精神体验"。
你不错看到模子也会犯许多东谈主类时常犯的无理，又能看到它对一些知识建议质疑。
很奇怪，模子会带有东谈主类的当作。
Wojciech Zaremba：在模子被设定了 ddl 的情况下，时时会在快 due 的时候赶紧得出论断。
好像大模子也知谈我方必须坐窝给出谜底。
Karl Cobbe：我年青的时候花了许多时间参加数学竞赛，而我进入东谈主工智能领域的原因，即是试图罢了这个进程的自动化。
是以对我来说，这是一个相等进攻的波折点，因为我看到这个模子实践上不详撤职我惩办这些问题时使用的门径
天然这不是全齐交流的念念路，但相等相等可靠。
色情网址Wojciech Zaremba：不错投诚，这些模子正在成为真实股东工程和科学发展的成分。
如果它们似乎能惩办即使大家也难以惩办的问题，那么将不详股东科学向上。
研发进程中的辛勤
Bob McGrew：咱们谈了许多令东谈主爽气的时刻，那么在使命进程中又碰到了什么拦阻？
Jerry Tworek：西宾大型模子从根柢上来说即是一件相等相等辛勤的事情。
有车载斗量的事情可能出错，而且在每个领域齐有事情确乎出错了。
是以简直这里的每个东谈主齐像你们知谈的同样，在西宾这些事情上付出了许多心血和汗水，并想出了若何让模子不时学习和向上的要领。
实践上，见效的谈路相等窄小，而失败的形势却有许多。
Wojciech Zaremba：就像辐射火箭同样，如果你偏离了一个角度，你就无法到达主义地，而这即是咱们的使命。
Ilge Akkaya：这个模子相等好，平庸比东谈主类好几倍，能达到博士的水平。
然而这只怕是一个挑战，因为咱们必须时常去考据模子莫得偏离轨谈。
但咱们还是满盈了系数行业级的评估，咱们不知谈下一步该计划什么。
Mark Chen：这亦然一种配置感，就像每次碰到难题同样。
这就像这个团队要克服的另一个拦阻，我确切很雕悍咱们克服了系数这些小拦阻。
OpenAI 里面这么用 o1 若何测试模子进展
Bob McGrew：你们测试模子的要领有哪些，有莫得什么可爱的问题，并发现模子在这些问题上变得越来越好？
Shengjia Zhao：Strawberry 里有几个 r？
Wojciech Zaremba：无论是什么原因，ChatGPT 无法可靠地惩办这些问题。
咱们花了一年半的时间，现时咱们不错推断打算出 strawberry 中的" r "的数目。
Hunter Lightman：我有一个风气，我想其他东谈主也有。
每当上推特时，齐会看到一些帖子说大模子无法惩办这类问题。
我就把它复制粘贴进去，然后发现咱们的模子不错作念到。
里面 o1 使用要领
Bob McGrew：为了让东谈主们了解他们不错使用这个模子作念什么，我很想听听你们使用 o1 的一些要领。
Hyung Won Chung：我使用 o1 的形势主淌若用来写代码。
我的许多使命齐是对于代码的，我越来越景仰问题界说，并使用 TDD（测试驱动建造）。
因此，我不再编写罢了功能的代码，而是专注于编写单位测试。
因为 o1 不错罢了东西，是以我不错专注于进攻的、需要惩办的高档问题，这确切是一种波折我能干力的进攻形势。
另一个领域是 debug，现时当我收到一些无理音问时，我只需传递给 o1，只怕它会立即惩办。
即使莫得，它至少会给出一些更好的问题，提供一些更好地念念考这个问题的要领。
是以对我来说，这是一个相等进攻的使命变化，我但愿这也能匡助其他东谈主。
o1-mini 的降生进程
Bob McGrew：o1-mini 的故事是若何的？它是若何降生的？
Hongyu Ren：咱们想把 o1 系列带给更多东谈主，它有更低的资本，是以作念了 o1 mini。它是 o1 框架的最小演示，是"推理大家"。它不一定能知谈你可爱的名东谈主的诞辰，然而它能灵验地推理，况兼很智能。
实践上它确切很智慧，比咱们之前最佳的模子齐要智慧许多，简直与 o1 特别，然而资本和时延比它低许多。
不外也确乎有局限性，可能不知谈许多外部寰宇知识。这与工夫自身无关，咱们试图让它达到和此前最佳模子最小版块差未几的水平，况兼仍旧在接力进一步翻新它。
用户尝试了 o1 mini 会很爽气，因为它推理和念念考的速率确切很快。
是什么引发你作念这些计划？
Ł ukasz Kaiser：我只是以为在这个寰宇上，有一些不错作念推理、有智能的东西，比假想中小许多。它们不错以不同形势作念到这极少，这就相等迷东谈主了。
Giambattista Parascandolo：我以为这是向模子范式波折的第一步。昔日花很永劫期才能惩办的问题，现时作念到了分钟级，这只是漫长谈路的第一步。咱们但愿能在几个月或几年后，迈出第二步。
Wojciech Zaremba：我以为这很特道理，咱们不错对寰宇产生一些骨子性的积极影响。
而且这很道理，我可爱对着电脑"语言"，可爱在集群上启动一项使命，也相等可爱互助。
Jerry Tworek：我认为科技不错改善东谈主类生存，我可爱咱们的模子能为东谈主使命，匡助咱们惩办泛泛问题，赋予它推理才智让它作念事。
Liam Fedus：我认为这一范式惩办了一些模子无法惩办的问题，是以不单是是回报变好极少，而是通过规划、通过无理改良，它解锁了全新才智，辞寰宇上创造新知识的才智，比如科学发现，我认为这是最令东谈主爽气的部分。
短时间内，它的自身进化会越来越快，这确切很棒。
Mark Chen：咱们团队中一些成员独特学等方面的布景，这驱动咱们我方想去创造一个最佳的系统。
Hyung Won Chung：我认为推理比东谈主们假想中的还要宏大。当东谈主类想要完成某项任务时，最基本的要领即是推理，你会碰到辛勤，你必须要找到惩办要领。
我以为 AI 计划员的使命好像是要找到一种要领来参预更多的推断打算。硬件方面的计划者在这方面作念的很好，很长一段时间硬件资本齐在指数级下跌。
需要的推断打算量越来越多，就好像肩膀上的分量越来越重。这个新风光找到了一种要领，来帮咱们卸下一些分量。
在这项计划中，你们还不雅察到什么吗？
Jason Wei：咱们发现一个道理的时势是，每个模子齐有我方的"怪癖"。
西宾的每个模子在每个任务上的进展齐不全齐交流。是以模子可能有些任务进展得更好，有些进展得更差。每个模子齐有它我方的个性和优点。
临了，原视频在这里送上 ~
原视频地址：
https://www.youtube.com/watch?v=tEzs3VHyBDM第四色影院
