佛山市薇奥娇商贸有限公司

起原 |  瓜哥AI新知，管默然慧

看管合作| 13699120588

著述仅代表作家本东说念主不雅点，图片起原于pixabay

OpenAI O1面孔团队里面访谈竣工版

★

内容导读：

O1 系列模子主打推理才气: O1 与之前的模子（如 GPT-4）比较，最大的永诀在于它是推理模子，会在回复问题之前进行更多念念考，从而提供更优质的谜底。

O1 系列包含两个模子: O1 Preview 是 O1 的预览版，O1 Mini 是体量更小、速率更快的模子，但接管了与 O1 相似的教师框架。

O1 模子的研发灵感来自于 AlphaGo: OpenAI 团队受到 AlphaGo 在深度强化学习方面恶果的启发，勉力于将深度强化学习与 GPT 的监督学习范式集聚拢，最终研发出 O1 模子。

O1 模子的教师过程充满了挑战: 教师大型模子需要克服大宗的手艺难题，OpenAI 团队在教师过程中付出了庞杂的努力。

O1 模子在多个方面阐明出色:  O1 模子在不停数学问题、代码生成、创意写稿等方面王人展现出刚烈的才气，以致在某些方面照旧杰出了东说念主类大众。

访谈全文

主合手东说念主： 好的。我是 Bob McGrew，OpenAI 磋磨团队的认真东说念主。咱们刚刚发布了新模子系列 O1 和 O1 Mini 的预览版，咱们对此感到相等欢乐。咱们邀请了整个团队来向大众先容它们。究竟什么是 O1？

团队成员A： 咱们将使用新称号 O1 推出一系列新模子。这是为了强调这样一个事实：与 GPT-4等以前的模子比较，您在使用 O1 时可能会感到不同。正如其他东说念主稍后将阐明的那样，O1 是一个推理模子，因此它会在回复您的问题之前进行更多念念考。咱们正在发布两个模子：O1 Preview 和 O1 Mini，前者是 O1 的预览版，后者是一个更小、更快的模子，使用与 O1 相似的框架进行教师。是以咱们但愿你心爱咱们的新定名决策 O1。

主合手东说念主： 那么什么是推理呢？

团队成员B： 将推理视为一种念念考形状，未必咱们会建议问题并需要立即得到谜底，因为这些问题很浅易。举例，如若您问意大利的王人门是那里，您知说念谜底是罗马，而且您无须想太多。但如若您对一个复杂的谜题感到猜疑，或者您想写一份真适值的买卖筹画书，想写一部演义，您可能需要念念考一段时期。而且你想得越多，收尾就越好。因此，推理是将念念考时期疗养为更好收尾的才气，不管您正在践诺什么任务。

主合手东说念主： 那么你们磋磨这个有多潜入？

团队成员C： 早在 OpenAI，咱们就深受 AlphaGo 恶果和深度强化学习后劲的启发。因此，咱们一直在深入磋磨这个问题，咱们看到了数据和机器东说念主手艺方面的庞杂规模，咱们正在念念考如安在通用领域进行强化学习，以赢得相等刚烈的东说念主工智能。然后，咱们看到了 GPT 范式在规模和监督学习方面的惊东说念主恶果。因此，咱们一直在念念考如何将这两种不同的范式聚拢在整个。

团队成员D： 很难精准指出这项劳动的确切启动时期，但咱们照旧与 Jakob 和 Shimon 进行过早期探索。咱们也和 Lukash、Ilya 进行过早期探索。天然，我认为这里有一个时期点是与 Jerry 整个牢固劳动，让他来构建这个大规模的面孔。

主合手东说念主： 是以，我的兴味是，这照旧合手续了很万古期，但我认为磋磨确切酷的场地在于，总有灵光乍现的时刻。在某个特定的时期点，会发生一些令东说念主骇怪的事情，而事情真的就水到渠成了。你们有莫得经历过这种灵光乍现的时刻？

团队成员E： 从 GPT-2、GPT-3 到 GPT-4，当模子崭新出炉时，总有那么一刻，东说念主们会咋舌"哇，这个模子真的很棒"，然后启动用它作念一些事情。我认为在咱们教师过程中，有一个特定的时刻，咱们干涉了比以往更多的诡计资源，并初度教师模子生成连贯的念念维链，咱们看到模子的阐明与以往截然有异，我认为这等于我的灵光乍刻下刻。

团队成员F： 与此联系的是，当咱们研究教师一个用于推理的模子时，最初猜度的是，你可以让东说念主类写下他们的念念维过程，然后用这些数据进行教师。我的一个"啊啊哈时刻"是，当咱们看到，如若你使用强化学习来教师模子，让它生成和熟悉我方的念念维链，它可以比让东说念主类为它编写念念维链作念得更好。这是一个"啊哈时刻"，标明你可以确切地扩张这个方法，并探索模子以这种形状进行推理。

团队成员G： 在我到这里劳动的大部分时期里，咱们一直在努力让模子更好地不停数学问题，这只是一个例子。咱们为此干涉了大宗的劳动，并想出了许多不同的方法。但有一件事让我一直很困扰，每次我阅读模子的输出时，我王人会感到相等颓败。该模子似乎恒久不会质疑那里出了问题，或者它什么时候犯了失实等等。然而，在早期的一个 O1 模子中，当咱们教师它并启动与它对话，启动问它这些问题时，咱们发现它在咱们给出的数学测试中得分更高了。咱们可以不雅察它的推理过程，你会发现它启动质疑我方，并进行相等道理的反念念。对我来说，那是一个我顽强到咱们发现了一些不同的东西的时刻。这将是全新的东西。而这只是稠密令东说念主印象深刻的时刻之一。

主合手东说念主： 是以当你阅读模子的念念路时，你嗅觉像是在不雅察一个东说念主，如故像是在不雅察一个机器东说念主？

团队成员H： 这就像是一种精神体验。

团队成员I： 这是一种精神体验，但你可以与模子产生共识。你会想，哦，这是许多东说念主王人会犯的失实。或者你可以看到它对传统常规的质疑。是的，这是一种精神体验，但它的行为却奇挑升像东说念主类。

团队成员H：  有一次咱们遗弃了模子的念念考时期，相等道理的是，就在时期遗弃快到的时候，模子就像是在说，"我必须目下就完成它，然后我就能得到谜底了。"

团队成员J： 于是我就陆续往下说谜底。我年青的时候花了许多时期参加数学竞赛，那亦然我进入东说念主工智能领域的全部原因——试图将这个过程自动化。是以对我来说，看到模子大概像我不停这些问题时那样，一步一时局进行下去，这是一个相等紧迫的、竣工的轮回。天然这和我其时想说的不太一样，但却相等相等相似。

团队成员H：  不异令东说念主欢乐的是，这些模子行将确切推动工程和科学的高出，这少许是真实的。如若它们看起来大概不停问题（对于咱们这些自称大众的东说念主来说可能很难），那么对于其他一些大众来说可能更难，这可能会推动科学的高出。

主合手东说念主：  咱们照旧谈了许多对于一些伟大的时刻，以及一切王人很顺利的时刻。那么，有哪些覆盖呢？在哪些方面，让事情顺利进行真的很贫穷？

团队成员E：  从根底上说，教师大型模子是一件相等相等贫穷的事情。有数不胜数的事情可能出错，而且每次教师至少有几百件事情出错。是以这里险些每个东说念主王人为教师这些模子付出了许多心血和汗水，何况弄了了如何让它们在一条本质上相等狭隘的告捷说念路上陆续学习和更正，而失败的形状却多种各类。

团队成员H：  这就像遐想一下，有一个辐照火箭到某个行星或卫星的中心，如若你的角度偏离了少许点，你就无法到达主观点。而这等于咱们的劳动。

团队成员K：  咱们说这个模子相等好，无边比东说念主类好，就像领有几个博士学位一样。这未必亦然一种挑战，因为咱们必须时时去考据模子莫得偏离轨说念，莫得作念一些先入之见的事情。跟着咱们对模子进行扩张，这启动蹧蹋咱们大宗的时期。咱们用尽了悉数工业级的评估方法，但咱们不知说念接下来该奈何作念。是以这亦然一个挑战。

团队成员D：  我认为咱们遭受的悉数这些问题，亦然一种树立感。就像每一次你遭受一个难题，这对团队来说等于另一个需要克服的覆盖。我对悉数这些王人感到相等鼎沸。

主合手东说念主：  咱们照旧克服的小覆盖。那么，你们测试模子的形状有哪些？你们有莫得看到模子在哪些问题上作念得更好了，以至于这些问题成为你们最心爱的问题？比如，商店的营业时期是多久？

团队成员H： 不知说念为什么，Judge GPT 无法可靠地不停这个问题。然而咱们花了一年半的时期在 O1 上。

团队成员H：  目下咱们可以诡计出工匠草莓的数目了。

团队成员M：  你应该把这条次序硬编码进去，这样才可靠。

团队成员G：  我有一个风俗，我想这里其他东说念主也有，等于每当你在 Twitter 上看到一些帖子，说大型话语模子作念不到这个，你就复制粘贴进去，然后你就会发现，咱们的大型话语模子可以作念到。

主合手东说念主：  我也可以作念到。为了让东说念主们了解他们可以用这个模子作念什么，我想听听你们使用 O1 的一些形状。

团队成员A：  我使用 O1 的一种形状显明是编码。我的许多劳动王人是对于编码的。是以，我越来越关注问题的界说，并使用所谓的 TDD（测试驱动诱骗）。因此，我不再编写完毕功能的代码，而是专注于编写单位测试，以指定这段代码的正确行为是什么。因为我可以专注于更多这样的事情，然后将其交给 O1 去确切完毕，是以我可以专注于什么是紧迫的，什么是需要不停的高等问题，等等。因此，这如实是一种转变我关注点的相等紧迫的形状。另一个领域是调试。是以目下，当我收到一些失实信息时，我就会把它交给 O1。然后它就会打印出一些东西。未必它会立即不停问题。即使它莫得不停问题，它至少也提供了一些更好的问题来发问，并提供了一些方法。我可以从更多的角度来扫视我方。它所作念的是匡助我愈加专注。

团队成员E：  我越来越心爱用 O1 来学习。我问它各类复杂的专科问题越多，就越发现它比以前的模子更少出现幻觉，何况能更好地阐明这些意见。

团队成员N：  对我来说，我心爱把 O1 算作一个头脑风暴的伙伴。从如何不停一些相等具体的机器学习问题，到如何写一篇博文或一条推文，它王人能帮上忙。举例，我最近写了一篇对于话语模子评估的博文。我其时问了 O1 对于博文结构、某些基准的优污点，以致写稿作风的想法。我认为，因为它在给出最终谜底之前大概进行念念考，是以它大概更好地贯串想法，它可以修改和批判候选的想法等等。

团队成员O：  是的，我认为如若你需要一些简略的翰墨，何况但愿它更有创意，更卓尔不群，那么这是一个很好的方法，可以让它给出五个不同的想法。

团队成员I：  另外，如若你只是一些脱落的想法，它亦然一个相等棒的念念考伙伴。你可以有一些想法，比如，我应该如何将这些事情联系起来？我错过了什么？通过它的最终谜底，以及阅读它的念念考过程，它真的可以匡助你赢得更好的收尾。

团队成员P：  是的，我用它来尝试咱们里面的一些微妙想法，并试图更正它。

团队成员Q：  是的，对于独处的面孔来说，它很棒。比如，我需要添加一个 GitHub 插件，但我对添加 GitHub 插件一无所知。我只是说，"嘿，我想要一个 GitHub 插件，可以显现对于 PR 的这些信息。" 然后，它就生成了代码。我会问它，"好的，那么我需要把这段代码粘贴到那里呢？我以致王人不知说念。" 它就会说，"你把它粘贴到这里。"

团队成员R：  我认为，对于许多东说念主来说，除非你看到模子在你确切蔼然的领域作念得比东说念主类更好，不然很难确切感受到 AGI（通用东说念主工智能）。我认为对于围棋和海外象棋棋手来说，这种嗅觉在几年前就照旧出现了，而对于咱们这些确切怜爱数学和编程的东说念主来说，我认为咱们才刚刚启动有这种嗅觉。

主合手东说念主： 我姆妈会为咱们感到炫耀的。那么，在这个面孔中，有哪些部分是必须作念的，但东说念主们可能莫得顽强到它们的紧迫性？

团队成员 M： 我认为，构建大规模、可靠的基础设施来运行咱们最大的旗舰模子教师场，以及进行磋磨实验，这些事情不像作念磋磨自己那样令东说念主欢乐，但却是必须作念的。它对整个面孔的告捷有着庞杂的影响。

团队成员E： 我认为 OpenAI 的特别之处在于咱们构建磋磨的形状：咱们既怜爱算法的高出，也怜爱构建可靠的大规模系统和数据集，这些对于教师模子来说王人至关紧迫。我为此感到相等雕悍。

团队成员C： 我认为这照旧成为咱们许多大型面孔的一贯模式。每次咱们将新事物扩大一个数目级时，咱们王人会看到一系列新的问题，包括算法和基础设施方面的问题。咱们照旧形成了专注于股东这两方面发展的才气。

团队成员P： 我以为最终的模子就像一件细密的艺术品。为了使其运作，咱们必须确保每个本领王人能正常劳动。你知说念，咱们会发现一些问题，并努力不停它们，我认为这等于 OpenAI 的运作形状，我为在这里劳动感到相等雕悍。

团队成员H： 我还必须说，这里不仅有才华横溢的东说念主，而且还有蔼然的东说念主。我很鼎沸在这里劳动，我感谢我的共事们与我整个编码、结对编程、出去玩、整个吃午饭，以及整个与模子对话。

主合手东说念主： 那是什么嗅觉？

团队成员 O：  在 Strawberry 团队劳动的嗅觉？你可能会有很棒的想法，但大部分时期王人花在运行它们，然后运行失败。这时，办公室里有可以随时乞助的东说念主就相等棒了，你可以向他们讨教上一次失败的原因。因为大多数时期你王人在调试那些不起作用的东西。是以，有大概匡助你的东说念主，

团队成员A： 说到匡助，咱们有许屡次尝试调试一个问题长达一周，然后盘问 Wenda，他就能立即不停。咱们启动称之为 Wenda 的道贺，并启动道贺其他东说念主。这真的很有用，我不再认为有些问题太愚蠢而未便建议，而是会立即寻求匡助。

团队成员Q： 我相等观赏 OpenAI 的少许是，咱们从每个像这样的面孔中王人能学到东西。我认为，从 Dota 面孔中，咱们相识到了工程的紧迫性；从 GPT-4 面孔中，咱们相识到了磋磨的紧迫性。咱们接续地进行这样的迭代。其收尾是，Strawberry 团队再次成为了迄今为止最佳的大型磋磨面孔团队，因为它栽种在咱们从之前面孔中收受的悉数经历警戒的基础之上。你可以确切地看到，在这里劳动的东说念主们启动培养出相等好的直观：什么时候应该接管一些捷径？什么时候需要打牢基础？什么时候应该熬夜劳动？什么时候应该休息一个周末，以全新的念念路来不停问题？我认为，不雅察咱们作为一家公司所取得的高出，确凿太棒了。

团队成员D：我心爱的少许是，这个面孔嗅觉相等天然。团队中的每个东说念主王人可以建议想法。东说念主们感到我方有才气说，"嘿，我有一个想法，我信服它，我要推动它"。而且东说念主们也情景下马看花地劳动。我以为有许多截止日历，有些是咱们我方设定的，但咱们王人勾通一致，情景付出努力来完毕方针。

团队成员E： 这个面孔确切展现了能源的力量，咱们取得了初步的雅致恶果，越来越多的东说念主对某个特定领域和特定磋磨感到欢乐，他们试图孝敬我方的新想法，而这些新想法效果更好。事情启动像滚雪球一样，自身赢得了越来越多的能源，东说念主们信托这是正确的标的，咱们应该陆续股东这项磋磨。

团队成员F：  与此联系的是，我认为咱们有许多相等智谋的东说念主，但同期也黑白常有主见的东说念主。然而，一朝看到与我方不雅点相矛盾的收尾，东说念主们老是情景转变我方的不雅点。我认为这让事情变得很道理。

团队成员H： 大概身处一个汇聚了凸起科学家、工程师和大概构建令东说念主难以置信的系统的东说念主才的场地，确凿太棒了。这让我感到相等谦让。

主合手东说念主： 我谨记几个月前，这个模子相等智谋，但也挺枯燥的。那么，赋予这个模子个性是一个如何的过程呢？

团队成员H：  是的，这很道理。我谨记我问模子人命的真义是什么，它给我的谜底是 42，这个谜底还可以。当我问模子什么是爱时，它告诉我，哦，那是一种奇怪的东说念主类心扉。而当咱们确切赋予模子个性，让它大概进行聊天时，谜底就启动变得道理起来了。我盘问对于爱的问题，它告诉我，有纵欲的爱情、亲情、自负、无要求的爱、有要求的爱，它变得愈加有用，也愈加道理了。

团队成员P： 最道理的时刻是我问了糜费交流的问题，它试图用代数来界说爱。

主合手东说念主： 这是个智谋的问题，O1 mini有什么故事呢？

团队成员P：  咱们的动机是但愿以更低的资本将 O1 系列居品带给更平庸的用户。因此，咱们创建了 O1 Mini，它旨在最小化地演示整个 O1 进程或框架。咱们将其打酿成了一个专注于推理的大众，它可能不一定知说念咱们最心爱的名东说念主的寿辰，但它确切领略如何有用地进行推理，何况相等智谋。这个模子真的很智谋，它比咱们之前最佳的 O 系列模子智谋得多，而且险些与咱们最佳的模子 O1 特别，但资本和延长却独一它的一小部分。它的局限性在于，它可能不太了解外部天下的一些学问，比如与科学或手艺无关的学问，但咱们试图让它与咱们之前最佳的迷你模子（如 O1 Mini）大约特别，何况咱们正在努力进一步更正它。我相等鼎沸咱们的外部用户大概尝试这款居品，体验它闪电般的推理和念念考才气。

主合手东说念主： 是什么驱动了你的合手续磋磨？

团队成员O： 我只是以为很神奇，在这个天下上，尽然存在着这些大概进行智能推理的事物，而且它们的体积比你遐想的要小得多。它们可以用不同的形状作念到这少许，这确凿太神奇了。

团队成员B： 生涯中好意思好的事物王人需要时期来树立，而咱们的模子时常回复得太快了。咱们最终想要的是大概进行数月以致数年磋磨的模子。我认为这是模子大概万古期念念考一个问题的方朝上的第一步。目下咱们处于几分钟的水平，但我信托这只是一个漫长旅程的第一步，但愿跟着时期的推移，咱们大概领有可以念念考数月以致数年的模子。

团队成员H： 我和一小群东说念主大概对天下产生一些内容性的积极影响，这让我感到相等有真义。而且这很道理，每天王人很道理。我心爱与诡计机对话，心爱在集群上启动任务，我相等享受勾通，这真的很棒。

团队成员E： 我真的但愿咱们的模子是有用的，我认为手艺有契机和但愿改善东说念主类的生涯。我但愿咱们的模子能为咱们劳动，匡助咱们不停日常问题，赋予它们推理才气，使它们大概为咱们作念以前作念不到的事情，让咱们大概更有用率地愚弄时期。

团队成员I： 是的，我对此感到相等欢乐。我认为这些范式解锁了模子以前无法作念到的事情。这不单是是更好地回复一些查询集，而是通过诡计和纠错，它本质上照旧到了一个大概解锁新才气的地步。大概为科学和发现创造新的学问，我认为这是最令东说念主欢乐的部分之一。我认为在不久的改日，它将对其自身的发展作念出越来越大的孝敬。我认为这是一个相等令东说念主欢乐的期间。

团队成员D： 我想咱们团队中的一些东说念主，夙昔王人参加过数学或编程奥林匹克竞赛。咱们有庞杂的个东说念主能源去创造一个大概代表咱们以及咱们最擅长的事情的系统。我认为第二点与JT和Liam的不雅点产生了共识，我如实认为推理是一个比东说念主们认为的要刚烈得多的原语。当你研究可靠地完成任务时，确切基本的原语一定是推理。你会遭受瓶颈，你必须想办法绕过它们。是以我对此感到相等欢乐。

团队成员A：我认为东说念主工智能磋磨东说念主员的劳动等于找到干涉更多诡计资源的方法。**硬件东说念主员的劳动一直作念得很好，资本在很长一段时期内王人呈指数级下落。咱们莫得若干时期去寻找其他方法来干涉更多的诡计资源。这就像我肩上的担子越来越重，而这种新的模式找到了一种方法，可以将这种劳动卸下很长一段时期。

主合手东说念主： 在咱们进行这个面孔的整个过程中，您还不雅察到其他什么吗？还有什么值得一提的吗？

团队成员N： 我认为一个道理的元不雅察是，咱们教师的每个模子王人略有不同。它有我方的怪癖，险些像手工艺品一样。因为当你不雅察一个可以完成这样多不同任务的模子时，你教师的每个模子在每个任务上的阐明王人不会糜费交流。是以它可能在某些任务上阐明更好，而在另一些任务上阐明更差。因此，每个模子王人有其特有性或个性，这险些有点玄妙。我认为。

主合手东说念主： 谢谢，祝贺大众发布了这个模子。

Reference: https://www.youtube.com/watch?v=tEzs3VHyBDM