ChatGPT 作為應用範疇極廣的強勁 AI 工具，早前已經推出了第 4 代人工智能 GPT-4。不過近日有 2 篇研究指，GPT-4 在推理方面的能力較為遜色，更有科學家指 GPT-4 完全不具備推理能力。
美國麻省理工學院（Massachusetts Institute of Technology，MIT）校友Konstantine Arkoudas使用了 21 種推理測試評估 GPT-4，然後就 GPT-4 的表現進行詳細分析。Konstantine Arkoudas 的研究發現，GPT-4 完全不具備推理能力。（相關論文地址：https://www.preprints.org/manuscript/202308.0148/v2）
▲圖片來源：cnBeta
Robust. AI公司創辦人兼紐約大學教授 Gary Marcus 在 X（前稱 Twitter）上發文表示： 「如果上述研究屬實，那麼就如我一直說的一樣—我們離 AGI （artificial general intelligence）仍然非常遠。」Gary Marcus 指，沒有推理能力就沒有 AGI。
— Gary Marcus (@GaryMarcus) August 8, 2023
而另一篇來自美國洛杉磯加利福尼亞大學 (University of California, Los Angeles，UCLA）和華盛頓大學（University of Washington，UW）的研究亦表示 GPT-3.5、GPT-4 在大學的數學、物理、化學的推理上表現不佳。（論文地址：https://arxiv.org/pdf/2307.10635.pdf）
研究人員使用一個大學科學問題解決基礎 SCIBENCH，裏面有 2個數據集：開放數據集及封閉數據集。研究人員對 GPT-4 和 GPT-3.5 採用不同提示策略進行深入研究，結果顯示，GPT-4 成績平均總分僅為35.8%。
資料來源：cnBeta
