1. 首页 >> ChatGPT教程 >>

GPT 是如何诞生的

这是 OpenAI 的开创人之一 Andrej Karpthy 在微软 Build 2023 开发者大会上做的专题演讲《State of GPT》的一些笔记,主要是讲述了 GPT 是如何训练出来的。

chatgpt中文版 http://chatgpt.guige.xyz 


通篇看完 GPT 的训练进程,给我的第一感觉是数据质量很重要,GPU数量也很重要,另外有大量的时间去迭代也很重要。后面将是大公司的游戏,创业公司很难参与进来。

但是我不理解的是,GPT仍然是基于几率去生成文本的,为何看起来就很智能了呢?Andrej Karpthy给出的答案是,GPT引入了人类的判断力,从而有了人的一部份智能。但是之前的算法模型也引入了人类标记的数据,这些人类标记的数据也带着人类的判断力,按理来讲,也应当表现的有“智能”,但是在GPT之前,聊天机器人只能被称之为:人工智障。

也许就是所谓的大力出奇迹,数据量上去了,大模型就会表现出足够的智能了?

不过看完GPT的训练进程,我也理解了为何GPT没法完成一个任务的拆分,但是对小任务完成的很好,例如它不能做到从零开始写一个斗地主游戏,但是它能很好的写出斗地主游戏里的每个函数,这是它的训练方式所限制的。

最后的最后,GPT仍然不会替换数学、物理这些充满逻辑性的学科,它究其根本或者一个搜索引擎,固然这已足够开启下一次工业革命了。



这是GPT的训练流程,分为了四个步骤:预训练、有监督的微调、嘉奖建模、强化学习。花费时间最多和使用GPU数量最多的阶段是预训练,在每个训练阶段都有相应的数据集去support。

看起来数据集也不大,加起来大概是4TB多一点,就是不知道这个data size是不是是清洗后的高质量数据后的值,或者原始值。如果是清洗后的话,这个值就比较可观了。再就是commoncrawl爬虫是爬了哪些数据下来。
根据后面的演讲内容,data size 是原始值,后面还需要经过处理才构成了预训练需要的数据,这个数据量比想象中要少。基本上一台服务器就能够存储了,不需要甚么复杂的散布式存储系统。
先把原始文本数据进行token化,类似于上图,下图是GPT给出的解释。

惋惜没有GPT⑷的信息,不知道它是怎么做到的,毕竟GPT⑷和GPT⑶在准确率上差了可很多。

通过GPT⑶和Llama的对照,表示参数量多不一定代表模型能力强。Llama第一次预训练就需要2000个GPU,21天的时间,这还不包括试错的时间。GPT也差不多。
题外话:大模型的最主要花钱的地方就是在预训练上了,烧钱、烧时间,比如Llama训练一次花费21天,还不一定能得出准确的结果,多是很多轮迭代才完成的。

在预训练进程中,GPT也是使用了谷歌发明的Transformer去处理的。

这张图非常有趣,它表示即便是从完全随机的权重开始(完全随机的输出结果),经过不断的迭代训练后,也能得到成心义的结果。

题外话:数学真是奇异啊。

相比于之前要做一个基于文本信息的情感分类算法模型,需要专门进行标注数据,然落后行训练,有了大模型以后,就不需要专门标注数据,只需要对大模型进行预训练和transfomer,然后再通过几个例子进行微调就可以取得很好的效果。

题外话:大模型一出,很多NLP领域没成心义了。毁灭你,与你无关啊。

使用提示词去训练模型比微调效果更好。

下面是一张很出名的大模型进化线路。谷歌和GPT从2018年开始选择了两条区别的线路,终究证明GPT的线路是正确的。

在完成基础模型以后,它还不是一个完全的人工智能助手,基础模型只能不断的根据你提供的句子去进行补全。所以需要提示词工程去让基础模型回答问题。

在这个阶段只需要少许的高质量数据,算法没有做任何改变,只是改变了一个训练集。也就是说,在预训练阶段可以不要求那末高质量的训练数据集,到了有监督的微调阶段就需要高质量数据集了。

接下来就是RLHF阶段了,包括嘉奖建模和强化学习两个阶段。

可以理解为嘉奖建模和强化学习就是人类给机器输出的结果打分,借助人类的判断力让机器学习。通过不断的提示和批次的迭代,从而让大模型取得一个好的输出结果。

基础模型就是完成预训练和有监督微调后的模型,SFT模型就是继续完成嘉奖建模阶段的模型,RLHF模型就是全部完成四个阶段,包括强化学习的模型

RLHF模型会比其它没有完全接受这四个阶段的模型效果要好。至于为何要好,演讲者给出了他的猜想:

可以潜伏地利用你作为一个人的判断力来创建一个略微更好的模型。

演讲者会更喜欢基础模型生成的东西,由于它的随机性更强,而经过嘉奖建模和强化学习后的模型,会丢失很多随机性(熵)。

最后是基础模型的排名:

桂&哥&网&络www.guIgEge.cn

本文来源于chatgptplus账号购买平台,转载请注明出处:https://chatgpt.guigege.cn/jiaocheng/29250.html 咨询请加VX:muhuanidc

联系我们

在线咨询:点击这里给我发消息

微信号:muhuanidc

工作日:9:30-22:30

X

截屏,微信识别二维码

微信号:muhuanidc

(点击微信号复制,添加好友)

打开微信

微信号已复制,请打开微信添加咨询详情!