gpt-4的图形推理能力，竟然连人类的一半都不到？
美国圣塔菲研究所的一项研究显示，GPT-4做图形推理题的准确率仅有33%。
GPT-4v是具备多模态能力的，但其表现相对较差，只能正确回答25%的题目
△虚线表示16项任务的平均表现
这项实验结果一经发布，立即在YC上引起了广泛的讨论
一些支持这一结果的网友表示，GPT确实在处理抽象图形方面表现不佳，对于“位置”、“旋转”等概念的理解更加困难
然而，一些网友对这个结论表示怀疑，他们的观点可以简单概括为：
这个观点虽然不能说是错的，但是也无法完全让人信服
至于具体的原因，我们继续往下看。
GPT-4准确率仅33%
为了评估人类和GPT-4在这些图形题上的表现，研究者利用了今年5月推出的ConceptARC数据集
ConceptARC中一共包括16个子类的图形推理题，每类30道，一共480道题目。
这16个子类包含了位置关系、形状、操作、比较等多个方面的内容
具体来说，这些题目都是由一个个像素块组成的。人类和GPT需要根据给定的示例来寻找规律，并分析出图像经过相同方式处理后的结果
作者在论文中具体展示了这16个子类的例题，每类各一道。
结果451名人类受试者平均正确率，在各子项中均不低于83%，16项任务再做平均，则达到了91%。
在“放水”到一道题可以试三次（有一次对就算对）的情况下，GPT-4（单样本）的准确率最高不超过60%，平均值只有33%
早些时候，这项实验涉及的ConceptARC Benchmark的作者也做过类似的实验，不过在GPT-4中进行的是零样本测试，结果16项任务的平均准确率只有19%。
GPT-4v是一种多模态的模型，但准确率却较低。在一个由48道题组成的小规模ConceptARC数据集上，零样本测试和单样本测试的准确率分别只有25%和23%
而研究者在进一步分析了错误答案后，发现人类的有些错误看上去很可能是“粗心导致”，而GPT则是完全没有理解题目中的规律。
对于这些数据，大多数网友没有什么疑问，但引起这个实验备受质疑的是招募到的受试者群体以及提供给GPT的输入方式
受试者选择方式遭质疑
一开始，研究者在亚马逊的一个众包平台上招募受试者。
研究者从数据集中抽取了一些简单题目作为入门测试，受试者需要答对随机3道题目中的至少两道才能进入正式测试。
研究人员发现的结果显示，有些人只是出于贪图金钱的目的参加入门测试，而根本没有按照要求完成题目
迫不得已，研究者将参加测试的门槛上调到了在平台上完成过不少于2000个任务，且通过率要达到99%。
不过，虽然作者用通过率筛人，但是在具体能力上，除了需要受试者会英语，对图形等其他专业能力“没有特殊要求”。
为了实现数据的多样性，研究人员在实验的后期将招募工作转移到了另一个众包平台上。最终，共有415名被试者参与了这项实验
尽管如此，还是有人质疑实验中的样本“不够随机”。
还有网友指出，研究者用来招募受试者的亚马逊众包平台上，有大模型在冒充人类。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
多模态版本的GPT操作相对简单，只需直接传入图片，并使用相应的提示词即可
在零样本测试中，只需删除相应的EXAMPLE部分
但对于不带多模态的纯文本版GPT-4（0613），则需要把图像转化为格点，用数字来代替颜色。
针对这种操作，就有人表示不认同了：
把图像转换成数字矩阵后，概念完全变了，就算是人类，看着用数字表示的“图形”，可能也无法理解
One More Thing
无独有偶，斯坦福大学的华裔博士生Joy Hsu也对GPT-4v的图形理解能力进行了几何数据集的测试
去年发布了一个数据集，旨在测试大型模型对欧氏几何的理解。在GPT-4v开放后，Hsu再次使用该数据集对其进行了测试
结果发现，GPT-4v对图形的理解方式，似乎“和人类完全不同”。
在数据方面，GPT-4v在回答这些几何问题上明显不如人类
论文地址：
[1]https://arxiv.org/abs/2305.07141
[2]https://arxiv.org/abs/2311.09247
