深度学习自然语言处理 原创
作者 | 刘嘉玲

最近，数据分析师圈子大家在讨论GPT⑷对他们的工作有甚么影响：是替换或者辅助？个人认为GPT⑷可以帮助我提高工作效力和质量。

要成为一位高级的数据分析师，需要经太长期的学习和实践，掌握数据分析的理论、技术和方法。这样的人材对雇主来讲，也需要付出较高的合作本钱。

达摩院的初步实验表明GPT⑷的本钱远低于雇用数据分析师的本钱。假定每个月工作21天，每天工作8小时，依照市场上的工资水平来算，GPT⑷的使用本钱只有低级数据分析师的0.71%和高级数据分析师的0.45%。这个结果是从三位达摩院的研究者们设计的一个让GPT⑷从数据获得、清洗、分析、可视化到报告的全部进程都自动完成的框架下得出的。

接下来，我们一起来看看他们的论文中，GPT⑷是怎么做到的吧！

论文：Is GPT⑷ a Good Data Analyst?
地址：https://arxiv.org/abs/2305.15038
代码：https://github.com/DAMO-NLP-SG/GPT4-as-DataAnalyst

研究方法

为了使用GPT⑷自动化全部数据分析进程，研究者们将端到真个框架分成了代码生成、代码履行和分析生成三个步骤，通过这个框架，可以对照GPT⑷和人类分析师的表现。

此图中业务问题和数据库的必填信息如右上蓝色框所示。参考外部知识源的可选输入在左上角的红色虚线框中圈出。包括提取数据、数据可视化和分析在内的输出在底部的绿色框中圈出。

为了实现作业任务，我们需要进行以下步骤：

• 输入问题，并将其转换为数据库可以辨认的格式；
• 调用GPT⑷，根据问题生成相应的数据库查询代码；
• 运行查询代码，从数据库中获得相关数据；
• 对获得的数据进行处理和分析，生成能够反应问题答案的图表或图象。

实验设计

任务目标：需要回答一个与业务相关的问题，并从一个或多个相关的数据库表中提取所需数据。然后，需要生成可视化图形以便更好地理解数据，并提供一些分析和见解，以帮助人们更好地理解数据。

具体来讲就是：给定一个与业务相关的问题(q)和一个或多个相关的数据库表(d)及其模式(s)，提取所需的数据(D)，生成一个图(G)可视化并提供一些分析结果(A)。

数据来源：研究者们选择了NvBench数据集从不同领域随机选择100个6种不同图表类型和4种不同难度级别的问题进行实验。再分别让GPT⑷和2位高级分析师和1位低级分析师去做这个任务，以得到任务结果数据。

评估指标：针对俩种输出内容，设置了七种区别的维度进行效果评价。可视化图是根据信息正确性，图表类型正确性和美观这三个维度评价。分析文本则是根据数据正确性，与问题相关性，分析复杂度和表达流畅度四个维度评价。

在这些维度上同时聘请了6名专业数据注释者对任务的输出进行人工评估打分。

实现结果

使人惊讶的是，实验结果显示，GPT⑷可以到达与人类相当的表现。这意味着，GPT⑷不但能理解和生成语言，还可以进行复杂的数据分析任务。

根据上表，GPT⑷生成的图表在信息准确度方面表现不佳，平均得分只有0.78；但在图表类型选择方面表现优良，正确率到达99%；图表的美观程度一般。GPT⑷的分析结果在正确性方面较高，平均有94%的内容是正确的，而且与问题相关性较好；但分析的复杂度和流畅度都不高。

上表中，根据3位分析师的分析结果的各指标得分来看，我们可以对GPT⑷的数据可视化和分析能力进行以下总结：

• 在数据可视化方面，GPT⑷的准确率比低级分析师高6%，与高级分析师相当，但在图表类型的选择上有一次失误，而且图表的美观度还有待提高。
  
• 在数据分析方面，GPT⑷的数据正确性处于低级和资深高级分析师之间，但在分析的复杂度和问题相关性上与高级分析师持平，乃至在文本的表达流畅度上超过了人类分析师，展现了大语言模型的优势。

个案研究

GPT⑷的案例研究1

• GPT⑷能够根据问题生成相应的代码，从数据源中查询数据，并用饼图可视化区别飞机的胜率。
  
• GPT⑷能够从饼图中读取数据，比较区别飞机的胜率，并计算它们赢得的比赛数量。
  
• GPT⑷在分析数据时，不但斟酌比率，也斟酌绝对数值，这是符合数据分析原则的。
  
• GPT⑷还具有提出问题的能力，能够根据分析结果，提出一些可能影响飞机胜率的因素，并探索它们之间的关系。这些问题反应了GPT⑷的思惟深度和广度，超过了我的期待。

GPT⑷的案例研究2

• 案例2是一个关于身高体重关系的问题，要求描写两个变量之间的相关性。
  
• GPT‑4在提取数据方面做得正确，但在进行一些细节的计算上，例如求平均身高和体重时，出现了数字毛病。
  
• 其他复杂计算的案例也有此问题，还有幻觉问题。

高级数据分析师案例研究3

• 互联网分析师对橄榄球数据的分析中能够发现数据中的一些异常现象，比如有些位置的得分高于或低于预期。
  
• 人类分析师还可以够解释这些现象的可能缘由，比如运动员的个人能力，对手的防守，或比赛的策略。
  
• 人类分析师还可以够提出一些改进的建议，比如怀疑数据的准确性，或调剂位置的安排。

总结

GPT⑷还可以通过插件联网，搜索实时在线信息，结合背景知识进行数据分析和结论推断，愈来愈接近人类分析师的水平。但也有一些它没法完成的任务，例如理解数据的深层含义，斟酌假定条件，提出有效的解决方案，与团队成员协作沟通等。

这篇论文为我们提供了一个新的视角，让我们重新思考人工智能的可能性和限制。虽然GPT⑷在数据分析任务上的表现使人鼓舞，但我们还需要进行更多的研究，才能肯定它会不会真的可以取代数据分析师。

进NLP群—>加入NLP交换群