第 8674 篇深度好文：12797字 | 32 分钟阅读
虽然ChatGPT已在全球掀起颠覆性的AI革命，然而很少有人了解ChatGPT背后诞生的秘辛。
近日，湛庐文化推出“ChatGPT之父”山姆·奥尔特曼的全新传记《奥尔特曼传》。本书作者周恒星基于与奥尔特曼近10年的交流，首次全方位、近距离地揭秘了这位科技巨头的Ai帝国、权力之路和未来蓝图。
在ChatGPT发布2周年之际，让我们共同走进书中的世界，跟随奥尔特曼的脚步，探寻GPT模型“从零到一”的诞生历程，致敬那些在创新道路上勇往直前的探索者们！
以下内容，引自周恒星《奥尔特曼传》。
2016年初的硅谷，空气中弥漫着焦虑的气息。公开和私下里，人们都在讨论科技泡沫是不是要破了。
一方面，整个2015年科技公司IPO（首次公开募股）的比例跌至过去7年来最低点，一些小型科技公司（如yelp）的市值遭受了重创；另一方面，科技巨头（如苹果和谷歌）的股价却屡创新高。
这年秋天，在硅谷的一处豪宅里，举行了一场私人放映活动，播放的是探讨人工智能意识的科幻电视剧《西部世界》。
这场活动的召集人是时年31岁的奥尔特曼。活动地点在奥尔特曼的朋友、俄罗斯籍犹太裔风险投资家尤里·米尔纳(Yuri Milner)位于洛斯阿尔托斯山上的豪宅里。
受邀参加活动的嘉宾都收到了这样一封邀请函：
山姆·奥尔特曼和尤里·米尔纳邀请您参加《西部世界》首播集上映前的观影会，这是一部HBO发行的，探索人工意识和人工智能未来的新连续剧。
参加放映活动的嘉宾都是硅谷赫赫有名的人物，包括谷歌联合创始人谢尔盖·布林，以及许多从YC孵化器中脱颖而出的年轻创始人。
作为硅谷社交圈的中心，奥尔特曼希望通过这场放映活动，一方面引起人们对AI技术和安全性的关注，另一方面，他希望引导人们将注意力从对互联网转移到对硬科技(hard tech)上。
“硬科技”指的是依靠科学技术的突破和工程能力的发展，带来重大创新和变革的高科技领域。而AI毫无疑问是硬科技“皇冠”上的“明珠”。
奥尔特曼认为并不存在科技泡沫，当时是处在科技低迷期。在一篇名为《硬科技回来了》(Hard Tech is Back)的博客文章中，奥尔特曼写道：
把那些关于股市何时崩盘以及融资环境受到影响的无聊文章留给其他人写吧，历史也会忘记那些人。现在是采取长期主义并利用技术解决重大问题的最佳时机，我们比以往任何时候都更需要这些问题的解决方案。
在这篇文章的最后，奥尔特曼特别提到了AI：AGI和特定场景下的AI，在当前创业领域中似乎是最明显的赢家。
他显然是在暗示OpenAI将成为赢家之一，虽然当时它还默默无闻。
2016年1月4日，新年伊始的第一个周一，OpenAI创始团队的10个人就开始在布罗克曼的家中工作了。
第一次开会的时候，苏茨克弗转身想在白板上写些东西，却发现布罗克曼家中并没有白板。布罗克曼只好赶快去购置了一些办公用品。
OpenAI 前员工皮特·阿贝尔(Pieter
Abbeel)回忆称：
旧金山市中心的房价很高，布罗克曼的公寓也不算大，只有一个较大的厨房和一间带沙发的客厅。有时团队成员找不到地方，只好坐在卧室的床上工作。但团队的氛围非常好，这10个人可以说是世界上最聪明的群体。
接下来的一个月里，布罗克曼的带领下，团队就愿景、工作方式和目标进行了深入讨论，并制定了一套面试流程。
接下来，他们购置了服务器，创建了一系列的账号。剩余时间，布罗克曼拼命学习深度学习的教材。布罗克曼说：
我只是一个解决问题的人，花上几周时间找到一个工程问题，然后成为这个问题的解决者。
在OpenAI成立的头两年，布罗克曼和苏茨克弗共同做出了大部分日常决策，布罗克曼管理初创公司的软件工程师，苏茨克弗则带领研究人员开展研究。
与此同时，布罗克曼一直在与奥尔特曼通过电话保持沟通。奥尔特曼说：
布罗克曼具有很强的能力，既能洞察技术问题每一部分的细枝末节，又能把握每个层面的重点，然后还能从战略层面思考如何将所有部分整合在一起。
布罗克曼必须解决的一个难题是，如何让研究人员和工程师从同样的角度出发进行工作。据内部人士透露，一些OpenAI的工程师低估了研究人员贡献的重要性，研究人员则有时将工程师视为技术人员而非科学家。
同为OpenAI董事会成员的Quora的CEO亚当·丹吉洛(Adam D’Angelo)说，过去的AI研究大多在实验室里进行，要把技术转化为产品很难，布罗克曼是那个让AI成功产品化的人。
马斯克和奥尔特曼每周都会来探班。阿贝尔回忆称，马斯克经常一进客厅就往沙发上一坐，然后说：“好吧，最近都发生了什么？”布罗克曼便会向他介绍最近一周的工作进展。
自从跟施乐的计算机科学家艾伦·凯共进晚餐后，布罗克曼和苏茨克弗就开始计划打造一家现代版的施乐PARC：PARC的开放和自由研究催生了从图形用户界面到激光打印机再到面向对象编程等一系列创新；尽管PARC虽然属于施乐公司，但它的研究成果也惠及了包括苹果在内的众多公司，史蒂夫·乔布斯也能够接触PARC的研究成果。
布罗克曼也希望每个人都能接触到OpenAI的研究成果。
布罗克曼说道：
RARC真正特别的地方在于，他们聚集了一群聪明人，并赋予他们自由发挥的空间。我们希望构建一个共同的愿景，同时避免中央控制。
放弃控制是开源理念的核心。
秉持开源理念的人相信，如果有足够多的人致力于一个共同目标，最终的成果将超过任何封闭性环境中构思出来的东西。
2016年4月，团队终于告别了布罗克曼的家，搬进了位于旧金山教会区的一家小型巧克力工厂的楼上。这间办公室是奥尔特曼从红杉资本那里租来的。
搬进新办公室后，奥尔特曼做的第一件事是在墙上写下美国海军上将海曼·里科弗（Hyman
Rickover）的名言：
生命的伟大之处不在于知识，而在于行动。
在《硬科技回来了》这篇博客中，奥尔特曼并没有提到OpenAI，因为在当时的环境下，OpenAI显然不是赢家。在与科技巨头争夺人才的战争中，OpenAI处于下风。
早在2014年，微软副总裁彼得·李(Peter Lee)就表示，一位顶级AI研究员的成本已经超过了美国国家橄榄球联盟(NFL)中一位顶级四分卫的成本。
作为一家非营利性组织，OpenAI的资金有限，不能像许多创业公司那样提供股权激励。在OpenAI成立当月，奥尔特曼接受媒体采访时承认，自己在营利性的初创企业方面积累了丰富的经验，而在非营利性组织方面的经验很少。
但他相信，即使是一家非营利性组织，组织的质量也是由人才决定的。
由于奥尔特曼和马斯克都有全职工作，苏茨克弗将主要重心放在了研究上，招聘的重任便落在了布罗克曼肩上。
奥尔特曼曾形容布罗克曼是“世界级”的招聘高手：“他会精心策划面试的每个细节，深入研究候选人的背景，并进行周到而持久的后续跟进。”
“他非常愿意接受反馈。无论是大事小情，他总是乐于倾听，从不生气，并且能够迅速处理。”奥尔特曼在自己的博客中对布罗克曼大加赞赏。
而且布罗克曼工作非常勤奋。他的同事回忆说，即使在OpenAI搬出他家的公寓后，他依然几乎住在办公室里。一位前员工说，当他们早上到达办公室时，布罗克曼已经在伏案工作，当他们晚上离开时，他仍在敲击键盘。
2016年5月，当时在谷歌大脑工作的顶尖人工智能研究员达里奥·阿莫代(Dario Amodei)到OpenAI的办公室拜访。
奥尔特曼试图说服他加入，但阿莫代告诉奥尔特曼和布罗克曼，没有人理解他们在做什么：OpenAI筹集了10亿美元并雇用了一个有30名研究员的团队，这令人印象深刻——但这是为了什么？
“AI领域内有二三十个人，还有哈佛大学哲学家尼克·博斯特罗姆(Nick Bostrom)和维基百科的文章都在说，OpenAI的目标是构建友好型AI然后将源代码发布给全世界。”阿莫代疑惑地看着奥尔特曼和布罗克曼。
“我们不打算发布所有的源代码，”奥尔特曼说，“但请不要试图在维基百科上纠正这一点。通常情况下，这只会让事情变得更糟。”
“那你们的目标是什么？”阿莫代继续追问。
布罗克曼有点无奈地回答说：“我们现在的目标是……尽最大的努力。这有点模糊。”
阿莫代走后，奥尔特曼和布罗克曼开始思考，如果想招募最优秀的团队，就必须有清晰的使命和价值观。
“我们应该传达一个足够大胆的愿景。”奥尔特曼建议说。
2016年6月，在一篇名为《我们的技术目标》(OpenAI Technical Goals)的公告中，OpenAI详细列出了公司的使命和几大技术目标。其中第一句就是：
OpenAI的使命是构建安全的AI，并确保AI的好处尽可能广泛而平等地分布。
这篇文章的署名是OpenAI的4位创始人：苏茨克弗、布罗克曼、奥尔特曼、马斯克。
《纽约时报》记者凯德·梅茨(Cade Metz)评论说：
从一开始，他们就设立了非常崇高的目标，这些目标容易衡量、容易理解，并保证能够吸引注意力，即使他们实际上还没有做任何实质性的事情。
OpenAI联合创始人、研究员沃伊切赫·扎伦巴(WojciechZaremba)回忆说，来自科技巨头的工作邀约金简直高到离谱。
尽管他对谷歌和Facebook等公司非常尊重，但那些近乎疯狂的报价实际上让他感到厌恶。他更加倾向于加入OpenAI这样具有宏伟使命的创业公司。
“我意识到，”扎伦巴说，“OpenAI是最好的去处。”
在OpenAI的官网上，这家初创组织的网页设计显得有些过于花哨，并且公告更新频繁，每一篇文章都配有精美的插图——我相信这些插图至少在早期是手工绘制的，而非AI所作。
在当时，OpenAI的官网上每隔几天就会发布新成员加入的公告，公告中会详细列出新成员的名字和简介，连实习生也未遗漏。这很可能是奥尔特曼的主意。
一方面，这种仪式感增强了团队的凝聚力；另一方面，也吸引了潜在的招聘对象。（“哇，又一个行业大咖加入了OpenAI，我是不是也应该考虑一下？”）
比如2016年3月，他们公布了4位全职研究员的加入，这些研究员都是在华盛顿瑰丽酒店的一次晚宴上招募的，其中就包括机器学习领域的领军人物伊恩·古德费洛(Ian Goodfellow)；还有一位华人实习生范林曦(Linxi “Jim” Fan)，他后来成了英伟达的AI科学家，在社交媒体上非常活跃。
5月加入的员工中，有几位是布罗克曼在Stripe的旧部，包括设计团队主管路德维格·彼得松(Ludwig Pettersson)和工程师乔纳斯·施奈德(Jonas Schneider)。
8月的公告显示，奥尔特曼一直想招募的达里奥·阿莫代加入了公司，出任首席研究员。他的妹妹丹妮拉·阿莫代(Daniela Amodei)之前就与布罗克曼合作过，两年后，在布罗克曼的邀请下，丹妮拉也加入了团队。
2017年1月的公告显示，前谷歌科学家、机器学习领域的重量级人物雅罗斯拉夫·布拉托夫(Yaroslav Bulatov)加入了团队，还有几位YC的骨干成员也加入进来。
这篇公告还透露，OpenAI团队现在有45名成员，团队的目标是：
齐心协力，不断推进AI能力的发展前沿——无论是验证新的想法、创建新的软件系统，还是在机器人上部署机器学习。
OpenAI看似目标明确，实则缺乏方向。
奥尔特曼在YC的经历似乎并没有派上用场。在YC，奥尔特曼总是告诉创始人，要打破常规快速行动，迅速推出产品。然而，他后来承认：
OpenAI做了很多与YC建议的标准相反的事情。成立之初，我们对产品没有任何概念，也没有与用户进行交流。
奥尔特曼擅长向投资人推销项目，但在OpenAI这里却行不通，因为OpenAI靠的是捐赠而非投资。要持续获得捐赠，就必须拿出实实在在的研究成果，而不是承诺投资回报。
由于缺乏明确的方向，团队在布罗克曼和苏茨克弗的带领下，确定了几个关键的研究方向来探索AI的可能性。
第一，OpenAI推出了“Universe”平台，旨在创建一个虚拟世界，让AI可以像人类一样操作电脑，通过虚拟的键盘和鼠标来玩游戏、浏览网页和观看视频。
这个平台的灵感来源于成功推动图像识别技术发展的ImageNet。Universe提供了一个通用接口，通过VNC服务器连接无限的互联网环境，使AI能够在多种游戏和应用中进行训练，包括EA、MicrosoftStudios和Valve等公司授权的游戏。
第二，OpenAI在机器人技术方面取得了显著进展。
沃伊切赫·扎伦巴带领的团队开发了一个能够自学还原魔方的五指机械手。这个项目通过数字仿真，在虚拟现实中训练机器手，让它在相当于一万年的时间里学会了还原魔方的各种动作。这种方法的巨大优势在于，机器人能够在虚拟环境中学习技能，然后将这些技能应用到现实世界中，处理各种不确定性。
第三，他们尝试在复杂的游戏环境中训练AI。
布罗克曼认为，DOTA（《魔兽争霸》）是一个极佳的训练场，因为它涉及团队合作、实时策略、不完全信息以及庞大的英雄和物品组合。
布罗克曼领导的DOTA2项目帮助打破了僵局。为了推动这项工作，布罗克曼与DOTA2的开发人员进行了数小时的电话交谈，以弄清楚如何让玩游戏的软件工作，这是一个技术挑战，因为游戏和OpenAI的算法是用不同的编程语言编写的。
OpenAI的AI首次亮相是在2017年的DOTA 2国际邀请赛上，它在1v1的对决中战胜了顶尖选手登迪(Dendi)。
如果我们回头看，实际上OpenAI的方向是错的：当时OpenAI内部以及业内的普遍观点是，要想做出强大的AI，有时需要从琐碎的事情开始。
电子游戏和机器人手臂，将为自动驾驶汽车和治愈癌症的AI铺平道路。
所以当时这些系统都是窄领域的，非常有针对性——下围棋的系统甚至不能下国际象棋，更不用说理解语言了。预测机票价格波动的系统，却不能处理文本。
因此，每次有一个新的应用程序，都需要训练一个新的系统。这需要很长时间以及大量标注数据等。
OpenAI的前员工回忆当时的情景：
我们在做一些随机的事情，看看会发生什么。有时感觉构建的东西和想象的目标之间有很大的差距。上班时大家编程让机器人玩电子游戏，午餐时则围坐在桌旁，谈论着如何拯救人类。
客观地说，通过在虚拟世界和复杂游戏环境中训练AI，OpenAI展示了其在AI领域的野心和创新。但他们并没有取得突破性的进展，最初捐赠的资金也在一点点耗尽。虽然团队的干劲非常高涨，但马斯克和奥尔特曼却在暗暗着急。
奥尔特曼承认：
我们什么都不顺利，而谷歌拥有一切：所有的人才、所有的人力、所有的资金。
布罗克曼后来回忆说：
我们已经成立了两年，我们做了什么？
我们取得了什么成就？我们有一支很棒的团队，但是我们有出色的结果吗？
我认为我们都非常雄心勃勃。我们都真诚地希望能在这个领域产生影响。我们都渴望感觉到自己能够引导它，让情况与没有我们时有所不同。这就是我们聚集在这里的原因。然而，当时我们还不清楚这一切能否实现。
这种焦虑甚至让布罗克曼开始练习举重，他开玩笑说，即使OpenAI倒闭了，至少在这段时间里还能有个可以交代的事情。
在那段时间，OpenAI还进行了一次小规模的裁员，暂停了机器人手臂的项目。机器学习领域的领军人物伊恩·古德费洛也在这段时间重新回到了谷歌。奥尔特曼后来回忆道：
我们太早开始研究机器人了，所以不得不搁置那个项目。
那个项目也因为错误的原因而变得困难，无助于我们在机器学习研究的困难部分取得进展。我们一直在处理糟糕的模拟器和肌腱断裂之类的问题。
随着时间的推移，我们也越来越意识到，我们首先需要的是智能和认知，然后才能想办法让它适应物理特性。从我们构建这些语言模型的方式来看，从那儿开始更容易。但我们一直计划回到这个问题上来。
与谷歌的竞争渐渐演变成了一场军备竞赛。资金难题并不是苏茨克弗和布罗克曼可以解决的，于是问题抛到了奥尔特曼和马斯克两位联合主席这里。
奥尔特曼后来坦诚，“我们并没有直观意识到这个项目会有多昂贵”，他补充道，“我们现在仍然不知道”。
在YC的经历让奥尔特曼更善于倾听并想方设法解决问题。他明白，为了提高算力必须筹措更多的资金。为此，奥尔特曼研究了多种为OpenAI筹集资金的方案，例如获得美国政府的资金支持和推出新的加密货币。
然而，他也承认：“没有人愿意以任何方式资助这个项目，那段时间真的很艰难。”
布罗克曼有些无奈地说：
想象一下——我们从零开始，“我们只是有这样一个理想，希望AGI能够顺利发展。”
就在此时，他们的竞争对手谷歌给了他们一次关键助攻。
2017年初，苏茨克弗与OpenAI的研究科学家亚历克·拉德福德(Alec Radford)开展了一系列关于神经网络在自然语言处理领域的研究。
拉德福德很年轻，当时只有23岁。拉德福德的模型足够直观，当他审视模型的隐藏层时，他意外地发现了一个专门用于分析评论情感的特定神经元。
以往的神经网络虽然也能进行情感分析，但它们需要明确的指示并接受特殊训练，还要使用标记了情感的数据。然而，拉德福德的神经网络却自发地学会了这项技能。
他们的第一个实验是扫描20亿条Reddita的评论，用神经网络训练一个语言模型。像OpenAI早期的很多实验一样，这个实验失败了。这个模型只能偶尔生成一个通顺的句子，而且要很费力才能理解它。苏茨克弗和布罗克曼鼓励拉德福德不要泄气，继续尝试。
“我们觉得亚历克斯很棒，就让他按自己的想法去做吧。”布罗克曼说。
后来拉德福德收集了大约1亿条亚马逊购物网站上的产品评论，训练了另一个语言模型。这次的结果比上次要好很多。
于是，苏茨克弗想，如果在更广泛的语言数据上训练一个神经网络，是否能够揭示出更丰富的世界意义结构。如果其隐藏层能积累足够多的概念知识，它们或许能成为超级智能形成的基础学习模块。
苏茨克弗鼓励拉德福德将视野扩大，不应仅限于亚马逊的评论。他提议，他们应该培养一个AI，让它从全球最大、最多样化的数据源，也就是互联网中进行学习。
但在2017年初，基于当时的神经网络架构，这个想法看上去显得不切实际，因为这可能需要数年的时间来实现。
然而，恰恰在这时，谷歌的“Transformer论文”出现了。
2017年6月，一篇由8位谷歌研究人员合著、具有里程碑意义的论文横空出世，它的正式标题是《我注意力是你所需要的全部》(Attention Is All You Need)。
这篇论文所提出的Transformer模型是一个超级高效的学习者，它不仅能够一次性把整句话都看进去，还能理解每个词和句子中其他词之间的关系。
就像是有一个超级记忆力的人，不仅记得每个人说的每句话，还理解他们之间的关系。它赋予了计算机类似人类的语言理解能力。
Transformer模型用了一种特别的技巧——“自我注意力”，它能够一眼就看到句子中所有的词，并且理解它们之间的联系。这样，它就能够很好地处理那些需要长时间记忆的信息，并且学习速度飞快。
Transformer模型做了一件对当时来说非常重要的事情。在过去，AI系统需要输入非常具体的数据，每条数据必须被标注：这个是正确的，这个是错误的；这个是垃圾邮件，这个不是垃圾邮件；这个是癌症，这个不是癌症……
但Transformer模型允许AI接收混乱的、未标记的数据。而且它可以比预期更高效地做到这一点，使用的算力更少。
Transformer模型的出现，极大地提升了计算机处理语言的能力，使得机器翻译、语音识别和文本摘要等任务变得更加高效和精确，这对整个行业来说是一个巨大的飞跃。
现在，这些基于Transformer的模型可以自我学习。于是业内领悟到：最好的AI并不来自最专业的训练技术，而是来自拥有最多数据的技术。
然而，Transformer模型刚开始并没有马上征服世界，甚至连谷歌都没有征服。当时只有少数几个人理解这一突破有多么强大，苏茨克弗就是其中之一。
在OpenAI的早期，苏茨克弗就一直有一个预感，即AI的重大进展不会来自某个特定的调整或新发明，而是来自更多的数据，就像是向引擎中倒入越来越多的燃料。现在，Transformer论文支持了他的这个预感。
“当这篇论文发布的第二天，我们就意识到，这正是我们所需要的，”苏茨克弗回忆道，“它具备了我们所追求的一切特性。”正如他的老师辛顿所说，苏茨克弗有非常好的技术直觉。
而布罗克曼把这看作是运气和努力的结合：“这一直是我们的策略——努力解决问题，然后相信我们或者领域内的某个人将设法找到缺失的要素。”
苏茨克弗建议拉德福德开始尝试使用Transformer架构。结果不出所料，在接下来的两周里，取得的进展比过去两年还要多。
就像奥尔特曼在2023年所说的那样：“Transformer论文发表时，我觉得谷歌没人意识到它会产生怎样深远的影响。”
2018年6月，在Transformer论文发表的一年后，OpenAI发布了GPT-1，“GPT”是“generatively pretrained transformer”（生成式预训练变换器）的首字母缩写。
最终，这个模型被普遍称为“生成式人工智能”(generativeAI)。
为了开发出这个模型，他们收集了7000本未出版的书籍，其中有很多属于浪漫、奇幻、冒险的类型，并根据Quora网站上的问答以及从初中和高中考试里摘录的数千篇文章对其进行了完善。
总而言之，这个模型包含了1.17亿个参数或变量。它在理解语言与生成答案方面超越了之前的所有产品。
GPT-1模型最令人惊奇的是它的广泛适用性，它是一个“通才”。
无论哪个话题，你都可以向它提问，而它总能给出令人惊叹的高质量答案。这是因为GPT-1经过了广泛的训练，涵盖了人类可用的整个文本语料库，包括数十亿个句子。
无论是你阅读过的文件、备忘录、琐事，还是《哈利·波特》系列小说，所有这些内容都被纳入了模型的训练之中。
这是我们第一次拥有这样一个系统。这标志着人工智能正在从狭窄领域向通用领域转变。
OpenAI团队很快发现，充分发挥Transformer新模型潜力的关键是扩大规模——在庞大的数据集上训练模型。这一事实证明OpenAI已经找到了突破点。苏茨克弗说：
我们已经找到了进步的公式，现在每个人都知道——深度学习的氧和氢就是大规模神经网络和数据计算。
而奥尔特曼后来在与比尔·盖茨对话时这样总结道：
构建GPT-1的那个人（拉德福德）基本上是独立完成的，他独自解决了这个问题，这在某种程度上是令人印象深刻的，但他并没有深入理解GPT-1是如何工作的或者为什么有效。随后我们掌握了规模法则(Scaling Law)。
我们能够预测它会变得多么出色。这就是为什么，当我们告诉你我们可以做一个演示时，我们相当有信心它会成功。我们还没有训练模型，但我们相当有信心。
这导致我们进行了一系列的尝试，并逐渐获得了更好的科学理解，了解到底发生了什么。但这确实首先来自于经验结果。
后来，OpenAI专门发表了一篇论文《神经语言模型的规模法则》(Scaling Laws for Neural Language Models)来系统阐述规模法则。
此后，规模法则成为AI领域的第一性原理，这个词也成为这波AI浪潮中最常被提及的关键词。
规模法则其实就是俗话说的“大力出奇迹”，依靠的是从量变到质变，它之所以能成为AI时代的第一性原理，主要基于以下两个方面：
首先是足够通用，不管是文本、音频还是视频，所有的问题都可以被转换为“预测下一个token”。这里的“token”指的是文本数据的基本单位。
在一次播客中，苏茨克弗详细阐述了他为何认为像大型语言模型这样本质上只是预测下一个字符的工具，却能够产生超越人类智慧总和的智能。他解释说：很多人认为，大模型只是通过像统计学一样的方式来模仿人类现有的知识和能力，没有办法超越人类。
但是，如果你的基础神经网络足够聪明，你只需问它——一个具有伟大洞察力、智慧和能力的人会怎么做？也许这样的人并不存在，但神经网络很有可能能够推断出这样的人的行为方式。
其次是可规模化——只要投入足够多的算力、数据，模型就会变得更强大。只要在较小的参数规模上验证了效果，就可以通过增加计算资源和数据量，以“大力出奇迹”的方式获得更好的性能。
这进一步使得我们能够模拟整个物理世界——无论是自动驾驶还是机器人等场景，都可以一并得到解决。
正如苏茨克弗总结的那样：
只要能够非常好地预测下一个token，就能帮助人类达到AGI。
2017年12月，奥尔特曼在一篇博客里暗示了这一改变：
硬件正在以指数级的速度改进，在OpenAI工作期间，最令我惊讶的发现是：计算能力的增强与AI突破之间有着密切关联，从事AI研究的聪明人的数量也在呈指数级增长。
这种方法还要求OpenAI改变公司文化。任OpenAI董事、Quora创始人亚当·丹吉洛表示：“为了充分利用Transformer，你需要将其扩大规模。”
他还说：“你需要像一个工程组织一样运行它。不能让每个研究人员都各自为战，训练自己的模型，制作那些只为了发表论文的漂亮东西。你必须进行更加繁琐、不那么优雅的工作。”他补充说，这正是OpenAI能够做到而其他人无法做到的事情。
但这一改变带来了一个新问题，奥尔特曼和马斯克很快发现，光有人才远远不够，还需要有大量的算力。
就在OpenAI和行业内其它公司都在为缺乏算力发愁时，一个传奇创业者敏锐捕捉到了其中的机会。
黄仁勋，这位手臂上有刺青、爱穿黑色皮衣的创业者，自30岁那年创立英伟达以来，20多年间，经历了芯片半导体领域的起起落落。
截至目前，在美国市值一万亿美元以上的公司里，英伟达是唯一一家曾两次从高点下跌超过85%的公司。
在标准计算机架构中，一个被称为“中央处理单元”（central processing
unit，CPU）的微芯片承担了大部分工作。程序员编写程序，这些程序将数学问题交给CPU，后者一次产生一个解决方案。
几十年来，CPU的主要制造商是英特尔，英特尔曾多次试图将英伟达逼出市场。黄仁勋说：“我绝不接近英特尔”。他形容他们之间的关系就像猫和老鼠，“每当他们靠近我们，我就抓起我的芯片跑掉。”
黄仁勋决定用差异化的产品与巨头竞争，那就是“图形处理单元”（graphics-processing unit，GPU）。
1999年，英伟达在上市后不久推出了一款名为GeForce的显卡，也就是后人常说的GPU。与通用的CPU不同，GPU将复杂的数学任务分解为小计算，然后以并行计算的方法同时处理所有任务。
CPU就像一辆递送货物的卡车，一次只能送出一个包裹；而GPU更像是一个遍布整个城市的摩托车队。
正是基于这种特性，GPU可以完成复杂的运算，这是加密货币市场、深度神经网络以及大屏幕上呈现绚丽色彩所必需的。
同样，这些技术可以让残酷的射击游戏无比逼真，让自动驾驶汽车在没有协助的情况下做出S型拐弯。它们可以赋予计算机视力、听力、理解能力和学习能力。
很快，一群人工智能研究员发现了英伟达GPU在训练神经网络过程中的潜力。
2012年，辛顿带领两位爱徒亚历克斯·克里泽夫斯基和伊利亚·苏茨克弗推出AlexNet，相比谷歌用了16000颗CPU，AlexNet只用了4颗英伟达GPU，在学术界和产业界引发了轰动。
AlexNet完成了计算机视觉领域的巨大突破，它成功证明了深度神经网络（DNN）可以有效地对许多对象进行分类，而增加训练数据量可以提高DNN的有效性。
开发和训练这些神经网络需要大量计算资源，并且如果使用大规模并行性的GPU，可以比单独使用多核CPU实现更短的训练周期。
黄仁勋敏锐地意识到，英伟达的下一个增长点在人工智能领域。黄仁勋打赌英伟达的计算机芯片可以成为人工智能的大脑，他决定将自己所有的筹码放上赌桌。
黄仁勋后来回忆说：
我们有幸退后一步，问自己这对计算机未来意味着什么。我们得出了正确的结论，这将改变计算方式，这将改变软件编写方式，这将改变我们可以编写的应用程序类型。
黄仁勋开始积极布局面向人工智能的GPU。英伟达差不多花了5年时间制作出了DGX，这个GPU重达31.75千克，黄仁勋把它形容为一辆电动汽车。马斯克听说这个消息后，找到了黄仁勋，表示OpenAI想要一个这样的GPU。
于是，在2016年8月的一天，黄仁勋造访了OpenAI在旧金山的办公室。他在一间会议室里将这台超级计算机（属于最新推出的DGX-1系列）亲手交给了马斯克。
那一刻，黄仁勋突发奇想，随手拿起一支马克笔，在这台超级计算机的机身上写道：
为了埃隆和OpenAI团队！为了计算机和人类的未来！我将世界上第一台DGX-1作为礼物送给你们！
写完后，他把笔交给马斯克和围过来的OpenAI团队成员，所有人逐一在机箱上签了名。
当天晚上马斯克在X上写道：
十分感谢英伟达和Jensen（黄仁勋英文名）将第一台DGX-1超级计算机捐赠给OpenAI，以推动AI技术的普及。
DGX-1超级计算机拥有高达170TFLOPS的半精度浮点运算能力，相当于250台传统服务器，可以将深度学习的训练速度加快75倍，使CPU性能提升56倍，报价12.9万美元。
据黄仁勋介绍，这是由3000人耗时3年时间研发出的，开发成本巨大。“如果这个项目只为打造一台这样的超级计算机，那么这个项目的成本将高达20亿美元。”
当时OpenAI和英伟达均未解释这台超级计算机的准确用途。但英伟达称，DGX-1是为处理深度学习等AI问题而量身打造的超级计算机。黄仁勋称：
世界上第一台专为AI打造的超级计算机即将落户于一家专注于开放式AI研究的实验室，这简直是天作之合。
此后几年，随着利用GPU训练大模型成为行业共识，越来越多的公司开始追逐高端GPU，导致GPU稀缺。马斯克曾说，现在它们“比毒品还难搞”。这些芯片成为了一场淘金热的镐和铲。
2022年，黄仁勋第一次尝试使用ChatGPT，他让它写一首关于他的公司的诗。ChatGPT返回的结果让他很满意：
英伟达迎接挑战。
凭借强大的GPU和人工智能，
它正在推动技术边界。
看到这首诗，黄仁勋开心的笑了，他知道自己赌对了。
随着最大规模的AI训练规模大约每6个月翻一番，英伟达成为了这场战争里唯一的“军火商”。
几年后随着ChatGPT的走红和英伟达市值突破2万亿美元，马斯克和黄仁勋出神的看着这台超级计算器的照片在网上流传，背后是奥尔特曼写在墙上的那句名言。那句名言的后半句是：
我们每个人都有责任把世界的命运寄托在自己身上。
时代的钟声从远处传来，当算法（Transformer模型）、算力（英伟达）和数据（互联网）都万事俱备的时候，一个新时代的大门敞开了。
奥尔特曼后来回忆，在一个夏日凉爽的黄昏时分，OpenAI研究团队完成了一个关于规模法则的实验，这个实验揭示了用于训练人工智能的计算能力与其结果能力之间的关系，并产生了一系列“完美、平滑的曲线”，这些指数曲线看起来更像是宇宙基本定律而不是实验数据。
奥尔特曼和一群研究人员走到办公室外，望着远处的夕阳。他们共同意识到，AGI不仅是可能实现的，而且它的来临可能比他们先前所预期的要快得多。
奥尔特曼后来回忆说：
我们都在想，这一切真的会发生，不是吗？
这就像是科学史上的一个转折点。我们已经洞悉了一种全新的事物，即将向全人类宣告它的来临。
*文章为作者独立观点，不代表笔记侠立场。
王煜全：当下这5年，会定义下一个100年
梁宁：下一个10年，拼的是关怀
为什么大部分公司都是草台班子？
“无聊的”双11，是该有点新花样了
第 8674 篇深度好文：12797字 | 32 分钟阅读
虽然ChatGPT已在全球掀起颠覆性的AI革命，然而很少有人了解ChatGPT背后诞生的秘辛。
近日，湛庐文化推出“ChatGPT之父”山姆·奥尔特曼的全新传记《奥尔特曼传》。本书作者周恒星基于与奥尔特曼近10年的交流，首次全方位、近距离地揭秘了这位科技巨头的Ai帝国、权力之路和未来蓝图。
在ChatGPT发布2周年之际，让我们共同走进书中的世界，跟随奥尔特曼的脚步，探寻GPT模型“从零到一”的诞生历程，致敬那些在创新道路上勇往直前的探索者们！
以下内容，引自周恒星《奥尔特曼传》。
2016年初的硅谷，空气中弥漫着焦虑的气息。公开和私下里，人们都在讨论科技泡沫是不是要破了。
一方面，整个2015年科技公司IPO（首次公开募股）的比例跌至过去7年来最低点，一些小型科技公司（如yelp）的市值遭受了重创；另一方面，科技巨头（如苹果和谷歌）的股价却屡创新高。
这年秋天，在硅谷的一处豪宅里，举行了一场私人放映活动，播放的是探讨人工智能意识的科幻电视剧《西部世界》。
这场活动的召集人是时年31岁的奥尔特曼。活动地点在奥尔特曼的朋友、俄罗斯籍犹太裔风险投资家尤里·米尔纳(Yuri Milner)位于洛斯阿尔托斯山上的豪宅里。
受邀参加活动的嘉宾都收到了这样一封邀请函：
山姆·奥尔特曼和尤里·米尔纳邀请您参加《西部世界》首播集上映前的观影会，这是一部HBO发行的，探索人工意识和人工智能未来的新连续剧。
参加放映活动的嘉宾都是硅谷赫赫有名的人物，包括谷歌联合创始人谢尔盖·布林，以及许多从YC孵化器中脱颖而出的年轻创始人。
作为硅谷社交圈的中心，奥尔特曼希望通过这场放映活动，一方面引起人们对AI技术和安全性的关注，另一方面，他希望引导人们将注意力从对互联网转移到对硬科技(hard tech)上。
“硬科技”指的是依靠科学技术的突破和工程能力的发展，带来重大创新和变革的高科技领域。而AI毫无疑问是硬科技“皇冠”上的“明珠”。
奥尔特曼认为并不存在科技泡沫，当时是处在科技低迷期。在一篇名为《硬科技回来了》(Hard Tech is Back)的博客文章中，奥尔特曼写道：
把那些关于股市何时崩盘以及融资环境受到影响的无聊文章留给其他人写吧，历史也会忘记那些人。现在是采取长期主义并利用技术解决重大问题的最佳时机，我们比以往任何时候都更需要这些问题的解决方案。
在这篇文章的最后，奥尔特曼特别提到了AI：AGI和特定场景下的AI，在当前创业领域中似乎是最明显的赢家。
他显然是在暗示OpenAI将成为赢家之一，虽然当时它还默默无闻。
2016年1月4日，新年伊始的第一个周一，OpenAI创始团队的10个人就开始在布罗克曼的家中工作了。
第一次开会的时候，苏茨克弗转身想在白板上写些东西，却发现布罗克曼家中并没有白板。布罗克曼只好赶快去购置了一些办公用品。
OpenAI 前员工皮特·阿贝尔(Pieter
Abbeel)回忆称：
旧金山市中心的房价很高，布罗克曼的公寓也不算大，只有一个较大的厨房和一间带沙发的客厅。有时团队成员找不到地方，只好坐在卧室的床上工作。但团队的氛围非常好，这10个人可以说是世界上最聪明的群体。
接下来的一个月里，布罗克曼的带领下，团队就愿景、工作方式和目标进行了深入讨论，并制定了一套面试流程。
接下来，他们购置了服务器，创建了一系列的账号。剩余时间，布罗克曼拼命学习深度学习的教材。布罗克曼说：
我只是一个解决问题的人，花上几周时间找到一个工程问题，然后成为这个问题的解决者。
在OpenAI成立的头两年，布罗克曼和苏茨克弗共同做出了大部分日常决策，布罗克曼管理初创公司的软件工程师，苏茨克弗则带领研究人员开展研究。
与此同时，布罗克曼一直在与奥尔特曼通过电话保持沟通。奥尔特曼说：
布罗克曼具有很强的能力，既能洞察技术问题每一部分的细枝末节，又能把握每个层面的重点，然后还能从战略层面思考如何将所有部分整合在一起。
布罗克曼必须解决的一个难题是，如何让研究人员和工程师从同样的角度出发进行工作。据内部人士透露，一些OpenAI的工程师低估了研究人员贡献的重要性，研究人员则有时将工程师视为技术人员而非科学家。
同为OpenAI董事会成员的Quora的CEO亚当·丹吉洛(Adam D’Angelo)说，过去的AI研究大多在实验室里进行，要把技术转化为产品很难，布罗克曼是那个让AI成功产品化的人。
马斯克和奥尔特曼每周都会来探班。阿贝尔回忆称，马斯克经常一进客厅就往沙发上一坐，然后说：“好吧，最近都发生了什么？”布罗克曼便会向他介绍最近一周的工作进展。
自从跟施乐的计算机科学家艾伦·凯共进晚餐后，布罗克曼和苏茨克弗就开始计划打造一家现代版的施乐PARC：PARC的开放和自由研究催生了从图形用户界面到激光打印机再到面向对象编程等一系列创新；尽管PARC虽然属于施乐公司，但它的研究成果也惠及了包括苹果在内的众多公司，史蒂夫·乔布斯也能够接触PARC的研究成果。
布罗克曼也希望每个人都能接触到OpenAI的研究成果。
布罗克曼说道：
RARC真正特别的地方在于，他们聚集了一群聪明人，并赋予他们自由发挥的空间。我们希望构建一个共同的愿景，同时避免中央控制。
放弃控制是开源理念的核心。
秉持开源理念的人相信，如果有足够多的人致力于一个共同目标，最终的成果将超过任何封闭性环境中构思出来的东西。
2016年4月，团队终于告别了布罗克曼的家，搬进了位于旧金山教会区的一家小型巧克力工厂的楼上。这间办公室是奥尔特曼从红杉资本那里租来的。
搬进新办公室后，奥尔特曼做的第一件事是在墙上写下美国海军上将海曼·里科弗（Hyman
Rickover）的名言：
生命的伟大之处不在于知识，而在于行动。
在《硬科技回来了》这篇博客中，奥尔特曼并没有提到OpenAI，因为在当时的环境下，OpenAI显然不是赢家。在与科技巨头争夺人才的战争中，OpenAI处于下风。
早在2014年，微软副总裁彼得·李(Peter Lee)就表示，一位顶级AI研究员的成本已经超过了美国国家橄榄球联盟(NFL)中一位顶级四分卫的成本。
作为一家非营利性组织，OpenAI的资金有限，不能像许多创业公司那样提供股权激励。在OpenAI成立当月，奥尔特曼接受媒体采访时承认，自己在营利性的初创企业方面积累了丰富的经验，而在非营利性组织方面的经验很少。
但他相信，即使是一家非营利性组织，组织的质量也是由人才决定的。
由于奥尔特曼和马斯克都有全职工作，苏茨克弗将主要重心放在了研究上，招聘的重任便落在了布罗克曼肩上。
奥尔特曼曾形容布罗克曼是“世界级”的招聘高手：“他会精心策划面试的每个细节，深入研究候选人的背景，并进行周到而持久的后续跟进。”
“他非常愿意接受反馈。无论是大事小情，他总是乐于倾听，从不生气，并且能够迅速处理。”奥尔特曼在自己的博客中对布罗克曼大加赞赏。
而且布罗克曼工作非常勤奋。他的同事回忆说，即使在OpenAI搬出他家的公寓后，他依然几乎住在办公室里。一位前员工说，当他们早上到达办公室时，布罗克曼已经在伏案工作，当他们晚上离开时，他仍在敲击键盘。
2016年5月，当时在谷歌大脑工作的顶尖人工智能研究员达里奥·阿莫代(Dario Amodei)到OpenAI的办公室拜访。
奥尔特曼试图说服他加入，但阿莫代告诉奥尔特曼和布罗克曼，没有人理解他们在做什么：OpenAI筹集了10亿美元并雇用了一个有30名研究员的团队，这令人印象深刻——但这是为了什么？
“AI领域内有二三十个人，还有哈佛大学哲学家尼克·博斯特罗姆(Nick Bostrom)和维基百科的文章都在说，OpenAI的目标是构建友好型AI然后将源代码发布给全世界。”阿莫代疑惑地看着奥尔特曼和布罗克曼。
“我们不打算发布所有的源代码，”奥尔特曼说，“但请不要试图在维基百科上纠正这一点。通常情况下，这只会让事情变得更糟。”
“那你们的目标是什么？”阿莫代继续追问。
布罗克曼有点无奈地回答说：“我们现在的目标是……尽最大的努力。这有点模糊。”
阿莫代走后，奥尔特曼和布罗克曼开始思考，如果想招募最优秀的团队，就必须有清晰的使命和价值观。
“我们应该传达一个足够大胆的愿景。”奥尔特曼建议说。
2016年6月，在一篇名为《我们的技术目标》(OpenAI Technical Goals)的公告中，OpenAI详细列出了公司的使命和几大技术目标。其中第一句就是：
OpenAI的使命是构建安全的AI，并确保AI的好处尽可能广泛而平等地分布。
这篇文章的署名是OpenAI的4位创始人：苏茨克弗、布罗克曼、奥尔特曼、马斯克。
《纽约时报》记者凯德·梅茨(Cade Metz)评论说：
从一开始，他们就设立了非常崇高的目标，这些目标容易衡量、容易理解，并保证能够吸引注意力，即使他们实际上还没有做任何实质性的事情。
OpenAI联合创始人、研究员沃伊切赫·扎伦巴(WojciechZaremba)回忆说，来自科技巨头的工作邀约金简直高到离谱。
尽管他对谷歌和Facebook等公司非常尊重，但那些近乎疯狂的报价实际上让他感到厌恶。他更加倾向于加入OpenAI这样具有宏伟使命的创业公司。
“我意识到，”扎伦巴说，“OpenAI是最好的去处。”
在OpenAI的官网上，这家初创组织的网页设计显得有些过于花哨，并且公告更新频繁，每一篇文章都配有精美的插图——我相信这些插图至少在早期是手工绘制的，而非AI所作。
在当时，OpenAI的官网上每隔几天就会发布新成员加入的公告，公告中会详细列出新成员的名字和简介，连实习生也未遗漏。这很可能是奥尔特曼的主意。
一方面，这种仪式感增强了团队的凝聚力；另一方面，也吸引了潜在的招聘对象。（“哇，又一个行业大咖加入了OpenAI，我是不是也应该考虑一下？”）
比如2016年3月，他们公布了4位全职研究员的加入，这些研究员都是在华盛顿瑰丽酒店的一次晚宴上招募的，其中就包括机器学习领域的领军人物伊恩·古德费洛(Ian Goodfellow)；还有一位华人实习生范林曦(Linxi “Jim” Fan)，他后来成了英伟达的AI科学家，在社交媒体上非常活跃。
5月加入的员工中，有几位是布罗克曼在Stripe的旧部，包括设计团队主管路德维格·彼得松(Ludwig Pettersson)和工程师乔纳斯·施奈德(Jonas Schneider)。
8月的公告显示，奥尔特曼一直想招募的达里奥·阿莫代加入了公司，出任首席研究员。他的妹妹丹妮拉·阿莫代(Daniela Amodei)之前就与布罗克曼合作过，两年后，在布罗克曼的邀请下，丹妮拉也加入了团队。
2017年1月的公告显示，前谷歌科学家、机器学习领域的重量级人物雅罗斯拉夫·布拉托夫(Yaroslav Bulatov)加入了团队，还有几位YC的骨干成员也加入进来。
这篇公告还透露，OpenAI团队现在有45名成员，团队的目标是：
齐心协力，不断推进AI能力的发展前沿——无论是验证新的想法、创建新的软件系统，还是在机器人上部署机器学习。
OpenAI看似目标明确，实则缺乏方向。
奥尔特曼在YC的经历似乎并没有派上用场。在YC，奥尔特曼总是告诉创始人，要打破常规快速行动，迅速推出产品。然而，他后来承认：
OpenAI做了很多与YC建议的标准相反的事情。成立之初，我们对产品没有任何概念，也没有与用户进行交流。
奥尔特曼擅长向投资人推销项目，但在OpenAI这里却行不通，因为OpenAI靠的是捐赠而非投资。要持续获得捐赠，就必须拿出实实在在的研究成果，而不是承诺投资回报。
由于缺乏明确的方向，团队在布罗克曼和苏茨克弗的带领下，确定了几个关键的研究方向来探索AI的可能性。
第一，OpenAI推出了“Universe”平台，旨在创建一个虚拟世界，让AI可以像人类一样操作电脑，通过虚拟的键盘和鼠标来玩游戏、浏览网页和观看视频。
这个平台的灵感来源于成功推动图像识别技术发展的ImageNet。Universe提供了一个通用接口，通过VNC服务器连接无限的互联网环境，使AI能够在多种游戏和应用中进行训练，包括EA、MicrosoftStudios和Valve等公司授权的游戏。
第二，OpenAI在机器人技术方面取得了显著进展。
沃伊切赫·扎伦巴带领的团队开发了一个能够自学还原魔方的五指机械手。这个项目通过数字仿真，在虚拟现实中训练机器手，让它在相当于一万年的时间里学会了还原魔方的各种动作。这种方法的巨大优势在于，机器人能够在虚拟环境中学习技能，然后将这些技能应用到现实世界中，处理各种不确定性。
第三，他们尝试在复杂的游戏环境中训练AI。
布罗克曼认为，DOTA（《魔兽争霸》）是一个极佳的训练场，因为它涉及团队合作、实时策略、不完全信息以及庞大的英雄和物品组合。
布罗克曼领导的DOTA2项目帮助打破了僵局。为了推动这项工作，布罗克曼与DOTA2的开发人员进行了数小时的电话交谈，以弄清楚如何让玩游戏的软件工作，这是一个技术挑战，因为游戏和OpenAI的算法是用不同的编程语言编写的。
OpenAI的AI首次亮相是在2017年的DOTA 2国际邀请赛上，它在1v1的对决中战胜了顶尖选手登迪(Dendi)。
如果我们回头看，实际上OpenAI的方向是错的：当时OpenAI内部以及业内的普遍观点是，要想做出强大的AI，有时需要从琐碎的事情开始。
电子游戏和机器人手臂，将为自动驾驶汽车和治愈癌症的AI铺平道路。
所以当时这些系统都是窄领域的，非常有针对性——下围棋的系统甚至不能下国际象棋，更不用说理解语言了。预测机票价格波动的系统，却不能处理文本。
因此，每次有一个新的应用程序，都需要训练一个新的系统。这需要很长时间以及大量标注数据等。
OpenAI的前员工回忆当时的情景：
我们在做一些随机的事情，看看会发生什么。有时感觉构建的东西和想象的目标之间有很大的差距。上班时大家编程让机器人玩电子游戏，午餐时则围坐在桌旁，谈论着如何拯救人类。
客观地说，通过在虚拟世界和复杂游戏环境中训练AI，OpenAI展示了其在AI领域的野心和创新。但他们并没有取得突破性的进展，最初捐赠的资金也在一点点耗尽。虽然团队的干劲非常高涨，但马斯克和奥尔特曼却在暗暗着急。
奥尔特曼承认：
我们什么都不顺利，而谷歌拥有一切：所有的人才、所有的人力、所有的资金。
布罗克曼后来回忆说：
我们已经成立了两年，我们做了什么？
我们取得了什么成就？我们有一支很棒的团队，但是我们有出色的结果吗？
我认为我们都非常雄心勃勃。我们都真诚地希望能在这个领域产生影响。我们都渴望感觉到自己能够引导它，让情况与没有我们时有所不同。这就是我们聚集在这里的原因。然而，当时我们还不清楚这一切能否实现。
这种焦虑甚至让布罗克曼开始练习举重，他开玩笑说，即使OpenAI倒闭了，至少在这段时间里还能有个可以交代的事情。
在那段时间，OpenAI还进行了一次小规模的裁员，暂停了机器人手臂的项目。机器学习领域的领军人物伊恩·古德费洛也在这段时间重新回到了谷歌。奥尔特曼后来回忆道：
我们太早开始研究机器人了，所以不得不搁置那个项目。
那个项目也因为错误的原因而变得困难，无助于我们在机器学习研究的困难部分取得进展。我们一直在处理糟糕的模拟器和肌腱断裂之类的问题。
随着时间的推移，我们也越来越意识到，我们首先需要的是智能和认知，然后才能想办法让它适应物理特性。从我们构建这些语言模型的方式来看，从那儿开始更容易。但我们一直计划回到这个问题上来。
与谷歌的竞争渐渐演变成了一场军备竞赛。资金难题并不是苏茨克弗和布罗克曼可以解决的，于是问题抛到了奥尔特曼和马斯克两位联合主席这里。
奥尔特曼后来坦诚，“我们并没有直观意识到这个项目会有多昂贵”，他补充道，“我们现在仍然不知道”。
在YC的经历让奥尔特曼更善于倾听并想方设法解决问题。他明白，为了提高算力必须筹措更多的资金。为此，奥尔特曼研究了多种为OpenAI筹集资金的方案，例如获得美国政府的资金支持和推出新的加密货币。
然而，他也承认：“没有人愿意以任何方式资助这个项目，那段时间真的很艰难。”
布罗克曼有些无奈地说：
想象一下——我们从零开始，“我们只是有这样一个理想，希望AGI能够顺利发展。”
就在此时，他们的竞争对手谷歌给了他们一次关键助攻。
2017年初，苏茨克弗与OpenAI的研究科学家亚历克·拉德福德(Alec Radford)开展了一系列关于神经网络在自然语言处理领域的研究。
拉德福德很年轻，当时只有23岁。拉德福德的模型足够直观，当他审视模型的隐藏层时，他意外地发现了一个专门用于分析评论情感的特定神经元。
以往的神经网络虽然也能进行情感分析，但它们需要明确的指示并接受特殊训练，还要使用标记了情感的数据。然而，拉德福德的神经网络却自发地学会了这项技能。
他们的第一个实验是扫描20亿条Reddita的评论，用神经网络训练一个语言模型。像OpenAI早期的很多实验一样，这个实验失败了。这个模型只能偶尔生成一个通顺的句子，而且要很费力才能理解它。苏茨克弗和布罗克曼鼓励拉德福德不要泄气，继续尝试。
“我们觉得亚历克斯很棒，就让他按自己的想法去做吧。”布罗克曼说。
后来拉德福德收集了大约1亿条亚马逊购物网站上的产品评论，训练了另一个语言模型。这次的结果比上次要好很多。
于是，苏茨克弗想，如果在更广泛的语言数据上训练一个神经网络，是否能够揭示出更丰富的世界意义结构。如果其隐藏层能积累足够多的概念知识，它们或许能成为超级智能形成的基础学习模块。
苏茨克弗鼓励拉德福德将视野扩大，不应仅限于亚马逊的评论。他提议，他们应该培养一个AI，让它从全球最大、最多样化的数据源，也就是互联网中进行学习。
但在2017年初，基于当时的神经网络架构，这个想法看上去显得不切实际，因为这可能需要数年的时间来实现。
然而，恰恰在这时，谷歌的“Transformer论文”出现了。
2017年6月，一篇由8位谷歌研究人员合著、具有里程碑意义的论文横空出世，它的正式标题是《我注意力是你所需要的全部》(Attention Is All You Need)。
这篇论文所提出的Transformer模型是一个超级高效的学习者，它不仅能够一次性把整句话都看进去，还能理解每个词和句子中其他词之间的关系。
就像是有一个超级记忆力的人，不仅记得每个人说的每句话，还理解他们之间的关系。它赋予了计算机类似人类的语言理解能力。
Transformer模型用了一种特别的技巧——“自我注意力”，它能够一眼就看到句子中所有的词，并且理解它们之间的联系。这样，它就能够很好地处理那些需要长时间记忆的信息，并且学习速度飞快。
Transformer模型做了一件对当时来说非常重要的事情。在过去，AI系统需要输入非常具体的数据，每条数据必须被标注：这个是正确的，这个是错误的；这个是垃圾邮件，这个不是垃圾邮件；这个是癌症，这个不是癌症……
但Transformer模型允许AI接收混乱的、未标记的数据。而且它可以比预期更高效地做到这一点，使用的算力更少。
Transformer模型的出现，极大地提升了计算机处理语言的能力，使得机器翻译、语音识别和文本摘要等任务变得更加高效和精确，这对整个行业来说是一个巨大的飞跃。
现在，这些基于Transformer的模型可以自我学习。于是业内领悟到：最好的AI并不来自最专业的训练技术，而是来自拥有最多数据的技术。
然而，Transformer模型刚开始并没有马上征服世界，甚至连谷歌都没有征服。当时只有少数几个人理解这一突破有多么强大，苏茨克弗就是其中之一。
在OpenAI的早期，苏茨克弗就一直有一个预感，即AI的重大进展不会来自某个特定的调整或新发明，而是来自更多的数据，就像是向引擎中倒入越来越多的燃料。现在，Transformer论文支持了他的这个预感。
“当这篇论文发布的第二天，我们就意识到，这正是我们所需要的，”苏茨克弗回忆道，“它具备了我们所追求的一切特性。”正如他的老师辛顿所说，苏茨克弗有非常好的技术直觉。
而布罗克曼把这看作是运气和努力的结合：“这一直是我们的策略——努力解决问题，然后相信我们或者领域内的某个人将设法找到缺失的要素。”
苏茨克弗建议拉德福德开始尝试使用Transformer架构。结果不出所料，在接下来的两周里，取得的进展比过去两年还要多。
就像奥尔特曼在2023年所说的那样：“Transformer论文发表时，我觉得谷歌没人意识到它会产生怎样深远的影响。”
2018年6月，在Transformer论文发表的一年后，OpenAI发布了GPT-1，“GPT”是“generatively pretrained transformer”（生成式预训练变换器）的首字母缩写。
最终，这个模型被普遍称为“生成式人工智能”(generativeAI)。
为了开发出这个模型，他们收集了7000本未出版的书籍，其中有很多属于浪漫、奇幻、冒险的类型，并根据Quora网站上的问答以及从初中和高中考试里摘录的数千篇文章对其进行了完善。
总而言之，这个模型包含了1.17亿个参数或变量。它在理解语言与生成答案方面超越了之前的所有产品。
GPT-1模型最令人惊奇的是它的广泛适用性，它是一个“通才”。
无论哪个话题，你都可以向它提问，而它总能给出令人惊叹的高质量答案。这是因为GPT-1经过了广泛的训练，涵盖了人类可用的整个文本语料库，包括数十亿个句子。
无论是你阅读过的文件、备忘录、琐事，还是《哈利·波特》系列小说，所有这些内容都被纳入了模型的训练之中。
这是我们第一次拥有这样一个系统。这标志着人工智能正在从狭窄领域向通用领域转变。
OpenAI团队很快发现，充分发挥Transformer新模型潜力的关键是扩大规模——在庞大的数据集上训练模型。这一事实证明OpenAI已经找到了突破点。苏茨克弗说：
我们已经找到了进步的公式，现在每个人都知道——深度学习的氧和氢就是大规模神经网络和数据计算。
而奥尔特曼后来在与比尔·盖茨对话时这样总结道：
构建GPT-1的那个人（拉德福德）基本上是独立完成的，他独自解决了这个问题，这在某种程度上是令人印象深刻的，但他并没有深入理解GPT-1是如何工作的或者为什么有效。随后我们掌握了规模法则(Scaling Law)。
我们能够预测它会变得多么出色。这就是为什么，当我们告诉你我们可以做一个演示时，我们相当有信心它会成功。我们还没有训练模型，但我们相当有信心。
这导致我们进行了一系列的尝试，并逐渐获得了更好的科学理解，了解到底发生了什么。但这确实首先来自于经验结果。
后来，OpenAI专门发表了一篇论文《神经语言模型的规模法则》(Scaling Laws for Neural Language Models)来系统阐述规模法则。
此后，规模法则成为AI领域的第一性原理，这个词也成为这波AI浪潮中最常被提及的关键词。
规模法则其实就是俗话说的“大力出奇迹”，依靠的是从量变到质变，它之所以能成为AI时代的第一性原理，主要基于以下两个方面：
首先是足够通用，不管是文本、音频还是视频，所有的问题都可以被转换为“预测下一个token”。这里的“token”指的是文本数据的基本单位。
在一次播客中，苏茨克弗详细阐述了他为何认为像大型语言模型这样本质上只是预测下一个字符的工具，却能够产生超越人类智慧总和的智能。他解释说：很多人认为，大模型只是通过像统计学一样的方式来模仿人类现有的知识和能力，没有办法超越人类。
但是，如果你的基础神经网络足够聪明，你只需问它——一个具有伟大洞察力、智慧和能力的人会怎么做？也许这样的人并不存在，但神经网络很有可能能够推断出这样的人的行为方式。
其次是可规模化——只要投入足够多的算力、数据，模型就会变得更强大。只要在较小的参数规模上验证了效果，就可以通过增加计算资源和数据量，以“大力出奇迹”的方式获得更好的性能。
这进一步使得我们能够模拟整个物理世界——无论是自动驾驶还是机器人等场景，都可以一并得到解决。
正如苏茨克弗总结的那样：
只要能够非常好地预测下一个token，就能帮助人类达到AGI。
2017年12月，奥尔特曼在一篇博客里暗示了这一改变：
硬件正在以指数级的速度改进，在OpenAI工作期间，最令我惊讶的发现是：计算能力的增强与AI突破之间有着密切关联，从事AI研究的聪明人的数量也在呈指数级增长。
这种方法还要求OpenAI改变公司文化。任OpenAI董事、Quora创始人亚当·丹吉洛表示：“为了充分利用Transformer，你需要将其扩大规模。”
他还说：“你需要像一个工程组织一样运行它。不能让每个研究人员都各自为战，训练自己的模型，制作那些只为了发表论文的漂亮东西。你必须进行更加繁琐、不那么优雅的工作。”他补充说，这正是OpenAI能够做到而其他人无法做到的事情。
但这一改变带来了一个新问题，奥尔特曼和马斯克很快发现，光有人才远远不够，还需要有大量的算力。
就在OpenAI和行业内其它公司都在为缺乏算力发愁时，一个传奇创业者敏锐捕捉到了其中的机会。
黄仁勋，这位手臂上有刺青、爱穿黑色皮衣的创业者，自30岁那年创立英伟达以来，20多年间，经历了芯片半导体领域的起起落落。
截至目前，在美国市值一万亿美元以上的公司里，英伟达是唯一一家曾两次从高点下跌超过85%的公司。
在标准计算机架构中，一个被称为“中央处理单元”（central processing
unit，CPU）的微芯片承担了大部分工作。程序员编写程序，这些程序将数学问题交给CPU，后者一次产生一个解决方案。
几十年来，CPU的主要制造商是英特尔，英特尔曾多次试图将英伟达逼出市场。黄仁勋说：“我绝不接近英特尔”。他形容他们之间的关系就像猫和老鼠，“每当他们靠近我们，我就抓起我的芯片跑掉。”
黄仁勋决定用差异化的产品与巨头竞争，那就是“图形处理单元”（graphics-processing unit，GPU）。
1999年，英伟达在上市后不久推出了一款名为GeForce的显卡，也就是后人常说的GPU。与通用的CPU不同，GPU将复杂的数学任务分解为小计算，然后以并行计算的方法同时处理所有任务。
CPU就像一辆递送货物的卡车，一次只能送出一个包裹；而GPU更像是一个遍布整个城市的摩托车队。
正是基于这种特性，GPU可以完成复杂的运算，这是加密货币市场、深度神经网络以及大屏幕上呈现绚丽色彩所必需的。
同样，这些技术可以让残酷的射击游戏无比逼真，让自动驾驶汽车在没有协助的情况下做出S型拐弯。它们可以赋予计算机视力、听力、理解能力和学习能力。
很快，一群人工智能研究员发现了英伟达GPU在训练神经网络过程中的潜力。
2012年，辛顿带领两位爱徒亚历克斯·克里泽夫斯基和伊利亚·苏茨克弗推出AlexNet，相比谷歌用了16000颗CPU，AlexNet只用了4颗英伟达GPU，在学术界和产业界引发了轰动。
AlexNet完成了计算机视觉领域的巨大突破，它成功证明了深度神经网络（DNN）可以有效地对许多对象进行分类，而增加训练数据量可以提高DNN的有效性。
开发和训练这些神经网络需要大量计算资源，并且如果使用大规模并行性的GPU，可以比单独使用多核CPU实现更短的训练周期。
黄仁勋敏锐地意识到，英伟达的下一个增长点在人工智能领域。黄仁勋打赌英伟达的计算机芯片可以成为人工智能的大脑，他决定将自己所有的筹码放上赌桌。
黄仁勋后来回忆说：
我们有幸退后一步，问自己这对计算机未来意味着什么。我们得出了正确的结论，这将改变计算方式，这将改变软件编写方式，这将改变我们可以编写的应用程序类型。
黄仁勋开始积极布局面向人工智能的GPU。英伟达差不多花了5年时间制作出了DGX，这个GPU重达31.75千克，黄仁勋把它形容为一辆电动汽车。马斯克听说这个消息后，找到了黄仁勋，表示OpenAI想要一个这样的GPU。
于是，在2016年8月的一天，黄仁勋造访了OpenAI在旧金山的办公室。他在一间会议室里将这台超级计算机（属于最新推出的DGX-1系列）亲手交给了马斯克。
那一刻，黄仁勋突发奇想，随手拿起一支马克笔，在这台超级计算机的机身上写道：
为了埃隆和OpenAI团队！为了计算机和人类的未来！我将世界上第一台DGX-1作为礼物送给你们！
写完后，他把笔交给马斯克和围过来的OpenAI团队成员，所有人逐一在机箱上签了名。
当天晚上马斯克在X上写道：
十分感谢英伟达和Jensen（黄仁勋英文名）将第一台DGX-1超级计算机捐赠给OpenAI，以推动AI技术的普及。
DGX-1超级计算机拥有高达170TFLOPS的半精度浮点运算能力，相当于250台传统服务器，可以将深度学习的训练速度加快75倍，使CPU性能提升56倍，报价12.9万美元。
据黄仁勋介绍，这是由3000人耗时3年时间研发出的，开发成本巨大。“如果这个项目只为打造一台这样的超级计算机，那么这个项目的成本将高达20亿美元。”
当时OpenAI和英伟达均未解释这台超级计算机的准确用途。但英伟达称，DGX-1是为处理深度学习等AI问题而量身打造的超级计算机。黄仁勋称：
世界上第一台专为AI打造的超级计算机即将落户于一家专注于开放式AI研究的实验室，这简直是天作之合。
此后几年，随着利用GPU训练大模型成为行业共识，越来越多的公司开始追逐高端GPU，导致GPU稀缺。马斯克曾说，现在它们“比毒品还难搞”。这些芯片成为了一场淘金热的镐和铲。
2022年，黄仁勋第一次尝试使用ChatGPT，他让它写一首关于他的公司的诗。ChatGPT返回的结果让他很满意：
英伟达迎接挑战。
凭借强大的GPU和人工智能，
它正在推动技术边界。
看到这首诗，黄仁勋开心的笑了，他知道自己赌对了。
随着最大规模的AI训练规模大约每6个月翻一番，英伟达成为了这场战争里唯一的“军火商”。
几年后随着ChatGPT的走红和英伟达市值突破2万亿美元，马斯克和黄仁勋出神的看着这台超级计算器的照片在网上流传，背后是奥尔特曼写在墙上的那句名言。那句名言的后半句是：
我们每个人都有责任把世界的命运寄托在自己身上。
时代的钟声从远处传来，当算法（Transformer模型）、算力（英伟达）和数据（互联网）都万事俱备的时候，一个新时代的大门敞开了。
奥尔特曼后来回忆，在一个夏日凉爽的黄昏时分，OpenAI研究团队完成了一个关于规模法则的实验，这个实验揭示了用于训练人工智能的计算能力与其结果能力之间的关系，并产生了一系列“完美、平滑的曲线”，这些指数曲线看起来更像是宇宙基本定律而不是实验数据。
奥尔特曼和一群研究人员走到办公室外，望着远处的夕阳。他们共同意识到，AGI不仅是可能实现的，而且它的来临可能比他们先前所预期的要快得多。
奥尔特曼后来回忆说：
我们都在想，这一切真的会发生，不是吗？
这就像是科学史上的一个转折点。我们已经洞悉了一种全新的事物，即将向全人类宣告它的来临。
*文章为作者独立观点，不代表笔记侠立场。
王煜全：当下这5年，会定义下一个100年
梁宁：下一个10年，拼的是关怀
为什么大部分公司都是草台班子？
“无聊的”双11，是该有点新花样了
