1. 首页 >> ChatGPT教程 >>

ChatGPT的过去,现在和未来——这才是今年Build上最重要的对话|大模型新鲜事

作者紫荆
邮箱fuzijing@pingwest.com
在今年的微软Build大会上,微软CEO纳德拉在主旨演讲里的一连串发布引发各路媒体的延续讨论,但事实上在这场活动上,除这些产品展现外,还有一场对话值得关注。
这就是OpenAI总裁Greg Brockman和微软CTO Kevin Scott进行的现场对话。
Greg Brockman是ChatGPT背后最核心的搭建者之一,Kevin Scott则直接负责着ChatGPT和微软的一系列工程整合工作。
像很多硅谷传奇人物一样,OpenAI的另外一位“父亲”Greg Brockman也是一个名校退学生。他前后从哈佛和MIT退学,在创建OpenAi之前曾加入过支付软件公司Stripe。据称,OpenAI的开创团队中大部份人材都是Greg Brockman拉拢来的,他本人也在团队中领导过一系列研究项目。
而微软CTO Kevin Scott也是一个对技术极有热忱的人,谷歌出道,加入领英临危受命,帮助公司在IPO前夕顺利完成平台增速扩容,最后成功上市,被誉为“解救了领英的工程师”。微软收购领英不久,他便被迅速提拔为微软CTO。
在大多数人眼里,Kevin Scott和Greg Brockman这两个在AI圈举足轻重的人或多或少分别代表着“技术发展”和“利用平台”两个维度。他们的对话也昭示着两个维度的碰撞和共存,为从业者带来启发的同时也影响着行业的未来。
这场对话或许才是关心ChatGPT背后技术思考和工程实践的人们最不能错过的。我们整理了这场对话实录,供大家参考:
Kevin Scott:非常感谢你今天加入我们的Build大会。我想从ChatGPT的体验开始,由于它确切让我们所有人都感到惊叹。ChatGPT的利用是多么使人兴奋,人们对它的兴趣也是如此之大,构建这样的东西确切是一个巨大的工程挑战。所以或许你可以和我们分享一下你对此的看法。
Greg Brockman:从基础设施和各个方面来看,ChatGPT都是一个非常有趣的进程。事实上,多年来我们一直在研究如何构建一个聊天系统的。我们之前还推出了一个名为Web GPT的demo,它是一个很有趣的demo。我们找了几百个测试者,真的是付钱让他们使用这个系统。他们的反馈是:“这个(Web GPT)有点用吧,还可以编程。”
但对我而言,真正让我眼前一亮的时刻是在我们具有了GPT⑷时。我们之前已有了一套熟习的流程,例如对GPT⑶,我们只是部署了基本模型,进行了预训练,没有进行任何方向上的微调。而在GPT⑶.5时,我们开始让它根据指令进行操作。我们给测试者一系列的步骤,让他们依照这些步骤进行训练。到了GPT⑷时,我进行了一个小实验,例如,如果在模型已生成了一些内容以后再提供第二条指令,会产生甚么?这个模型给出了完善的响应,将之前生成的内容与新的指令融会在一起。
所以我认识到这个模型的强大的地方,由于它真的能够总结出这样一种思路:“嗯,当你想让我遵守唆使,并给我一个新的唆使时,或许你是想与我聊聊。”
对我而言,那是我“开窍”的时刻:好吧,我们有了这个基础设施,它已在初期模型中表现出色。这个模型虽然不是专为聊天设计的,但它确切能够进行聊天。所以这是一个真实的“啊哈!”时刻。从那时起,我们就想,我们一定要将这个东西推出去,这个东西是可以成绩大事的。
Kevin Scott:是的,这确切让我感到非常惊讶。我还记得当阿尔特曼给我打电话说,我们计划发布ChatGPT,预计需要几周时间。我当时的想法是,为何不呢?我当时没成心识到这个技术在技术层面上会如此有效力,也没有想到它会获得如此疯狂的成功。我知道你是GPT⑷的基础设施的主要架构师之一,而GPT⑷为ChatGPT的发展提供了动力。对在AI领域工作的每一个人来讲,这都是一种启发。所以我想知道你会不会可以分享一些有趣的事情。
Greg Brockman:在很大程度上,GPT⑷这个项目让我们成为“爱的劳工”,很辛苦但很值得。实际上,在GPT⑶以后,我们尝试了屡次超出该模型的性能,但都以失败告终。这其实不是一件容易的事情。我们终究决定回到原点,重新构建全部基础设施。我们采取了许多方法,致力于处理每一个细节。
我相信即便现在,我们依然可能会发现更多的毛病。但项目负责人之一雅各布曾做了一个很好的类比,他说这几近就像建造一枚火箭,你希望每一个工程公差都尽量小。例如,我们曾遇到一个检查点读取的毛病,如果你在毛病的时间停止工作,当工作重新开始时,你可能会混合使用新权重和旧权重。这其实无伤大雅,由于机器学习可以从中恢复。但每当你在图表中看到一些奇怪的波动,你就会想知道是甚么缘由造成了这类情况。所以,我会回头重新审视每个细节,这些看起来很乏味的工程工作是我的主要职责。
Kevin Scott:你所做的那些看似“无聊的工程工作”已到达了一个使人难以置信的惊人范围。我确切认为,这对房间里的每一个人来讲都是一个很好的启发,有时候真正致使成功的是那些看似平凡的基础工作。
萨蒂亚·纳德拉在他的演讲中提到了我们正在开发的共享插件。这个想法是,我们将授权房间里的每一个人都能编写软件,以扩大ChatGPT的功能,和我们正在构建的所有这些Copilot。这也是一个有趣的技术挑战,我们还没有解决所有的技术问题,还有很多工作要做,才能使它到达我们终究的目标状态。所以我很想知道你会不会有一些想法想要分享。
Greg Brockman:我爱插件!我认为这是一个非常棒的机会,对每一个开发人员来讲,都可以利用这项技术,让系统对每一个人都更好,对吧?我们当时设计为开放标准的部份缘由是,作为开发人员,你只需构建一次,然后任何AI都可使用它。这真是个好主张,不是吗?
就像互联网推动发展的主要因素一样:你可以搭建一个网站,然后每一个人都可以访问它。然后你开放了一个API,任何人都可以利用它。我认为这类核心设计原则非常棒,它让任何想要插入的人都能取得系统功能,并且能够将各个领域的扩大功能引入ChatGPT本身。
Kevin Scott:我真的很喜欢插件的一点就是它在概念上非常简单。这让我想起了我写的第一个HTTP服务器。一旦你理解了核心概念,你就可以够快速构建出功能强大的东西。我觉得这是一件很棒的事情,所以在OpenAI的角色中,你一直在思考如何突破技术的极限。在我们的合作关系中真正使人惊奇的一点是,仿佛由于你们,我们能够看得更远了。所以我很想知道你会不会可以分享一些让你兴奋的利用程序或模型。
Greg Brockman:对我来讲一样有趣的是,我们几近处于一个像英特尔早年间使用的“Tick Tock模型”(注:"Tick-Tock"是Intel公司在2007年提出的一种战略模式,用于发展微处理器芯片设计制造业务。该模式将处理器微架构和芯片制程的更新错开,以提高效力。每一个"Tick"代表一次微架构的芯片制程更新,旨在减小芯片面积、下降能耗和发热量;每一个"Tock"代表在上一个"Tick"的基础上更新微处理器架构,提升性能。该模式的周期为两年,其中一年为"Tick",另外一年为"Tock"。)一样的循环中,你会想出创新,然后真正推动它。
就像GPT4一样,我们仍处于推动的初期阶段,对吧?我们已宣布了视觉能力,但仍在生产中。我相信这将改变这些系统的工作方式和感受,和在其上构建的各种利用程序。因此,我对此感到非常兴奋。回顾过去几年的历史,我想到两年前我们把价格砍下了70%。在过去一年中,我们又降价了90%。这看起来非常疯狂,不是吗?我相信我们将能够用新模型重复这样的事情。现在,虽然GPT4价格昂贵且还没有完全可用,但我认为这是将会改变的事情之一。
Kevin Scott:这也是我想留给在坐各位的一件事:今天昂贵的东西明天不再昂贵,由于技术进步是如此惊人。我们还有时间来谈论最后一个话题——你已为这里的开发人员提供了一系列非常好的建议,还有甚么想跟大家分享的吗?
Greg Brockman:我认为在这个领域,技术线路愈来愈清晰,技术也愈来愈出色。但我相信有一件事是每一个开发人员都可以做到的,而即便像微软这样的大公司也很难实现,那就是真正深入某个特定领域,弄清楚怎么让这项技术在该领域发挥作用。因此,我非常欣赏那些在法律领域等领域工作的公司,他们获得了专业知识,与许多律师交换,了解他们对这项技术的痛点。我相信每一个人的努力都可以为这项技术增加巨大的价值。
Kevin Scott:太棒了。正如Greg所说,你们都是让AI变得伟大的人。Greg,非常感谢你今天与我们共度时光!



chatgpt中文版 http://chatgpt.guige.xyz 

桂|哥|网|络www.guIgege.cn

本文来源于chatgptplus账号购买平台,转载请注明出处:https://chatgpt.guigege.cn/jiaocheng/29398.html 咨询请加VX:muhuanidc

联系我们

在线咨询:点击这里给我发消息

微信号:muhuanidc

工作日:9:30-22:30

X

截屏,微信识别二维码

微信号:muhuanidc

(点击微信号复制,添加好友)

打开微信

微信号已复制,请打开微信添加咨询详情!