ChatGPT为何是一个字一个词输出?ChatGPT温度说明
但凡体验过OpenAI官网的或是国内ChatGPT 3.5api正版的,大多都应当注意到ChatGPT的输出是一个字一个字来的,感觉看起来好高大上的模样,其实不然......
chatgpt中文版 http://chatgpt.guige.xyz
接下来给大家尽可能用一些简单的概念能够解释清楚
ChatGPT可以自动生成一些东西,乃至表面上读起来像人类写的文本,有时候也会出乎意料的好。但它是怎么做到的呢?
我在这里的目的是粗略地概述 ChatGPT 内部产生的事情,然后探索为何它可以在生成我们认为成心义的文本方面做得如此出色。
首先要解释的是,ChatGPT 从根本上一直试图做的是产生迄今为止取得的任何文本的“公道延续”,其中“公道”是指“人们在看到数十亿个网页上写的内容后,可能期望接下来的内容是甚么。
因此,假定我们用文本“The best thing about AI is its ability to”。想象一下,扫描数十亿页的人类书写文本(例如在网络和数字书籍中)并找到这些文本的所有实例,然后查看下一个单词在哪一部份时间出现。ChatGPT 高效的做了这样的事情,其实ChatGPT其实不理解你说的这段文本的的具体意思和隐藏的含义。但终究结果是,它产生了一个可能跟随的单词排名列表,和“几率”:
值得注意的是,当 ChatGPT 做一些像写一篇文章这样的事情时,它本质上所做的只是一遍又一遍地问“给定到目前为止的文本,下一个词应当是甚么?——每次都加一个字。(更准确地说,它正在添加一个“Token”,这可能只是一个单词的一部份,这就是为何它有时可以“编造新词”。
在每步它都会得到一个带有几率的列表。但是它实际上应当选择哪个来添加到它正在写的文章?有人可能会认为它应当是“排名最高”的词(即分配最高“几率”的词)。但这就是所谓的巫术开始出现的地方了。
如果我们总是选择排名最高的词,我们大几率会得到一篇非常“平淡”的文章,仿佛永久不会“表现出任何创造力”(乃至有时会逐字重复)。但是,如果有时(随机)我们选择排名较低的单词,我们会得到一篇“更有趣”的文章。
这里存在随机性的事实意味着,如果我们屡次使用相同的提示,我们每次都可能会得到区别的文章。而且,为了与所谓的巫术想法保持一致,有一个特定的所谓“temperature(温度)”参数来肯定使用排名较低的单词的频率,对文章的生成,事实证明 0.8 的“温度”仿佛是最好的。
截止到现在,你应当理解了为何ChatGPT是一个字一个输出的了
但是区别场景,区别目的,区别需求,怎样控制输出的好坏或怎样控制输出的准确性呢?我好像又挖坑了[捂脸]
好吧,自己挖的坑,自己填
上面给大家抛出来了一个概念“temperature(温度)”,固然这个温度实际上是来源于酿酒行业的蒸馏概念,具体来源是............
算了,不给大家再挖坑了,直接说“temperature”的作用吧假定我们有一个语言模型,它预测句子“老鼠吃了_____”中的最后一个单词。
注意看上图,默许是cheese最高,但是随着temperature的调剂,其他选项也给予了一定的权重,固然老鼠吃法棍的可能性比很低,除非这是一只法国老鼠,这也就是temperature起到的一定作用。
较高的temperature使模型更具“创造性”,这在生成小说或广告词时很有用。较低的temperature使模型更“自信”,这在问答等利用中很有用。
所以对普通用户晦涩难懂的“temperature”概念,我更愿意称之为“创造性”区别的创造性适用于不通的场景中:
限制发挥类任务:如问答,准确性的答案,建议设置为:0~0.3
平常写作类任务:如写文章、写小说、写简历,建议设置为:0.5~0.7
营销或广告类文案的编写,就需要它很强的发挥,建议设置为:0.8~1
固然,上面的建议也只是建议,每一个人在真正使用的进程中,才能够真正体会到创造性(temperature)的灵活性。
桂哥网络www.guIgege.Cn
本文来源于chatgptplus账号购买平台,转载请注明出处:https://chatgpt.guigege.cn/jiaocheng/29911.html 咨询请加VX:muhuanidc