世界热头条丨OpenAI 为节约成本偷工减料?史上最强大模型 GPT-4 “变笨”


来源: 每日经济新闻

如今距离 OpenAI 于 3 月中旬推出其最新版本的大型语言模型 GPT-4 已经有近 3 个月的时间。这段时间内,尽管全球资本市场对人工智能、大模型和算力的炒作此起彼伏,也有人称赞 GPT-4 这个版本强大的能力,但却很少有人质疑 GPT-4 是否真的比此前更早期的版本强大。

近期,网上对 GPT-4 是否出现退化的质疑声开始涌现出来,越来越多的网友开始表示,GPT-4 对复杂程度相似的问题处理结果甚至还不如它的前身 GPT-3 或 GPT-3.5。面对网友的大量质疑,OpenAI 官方开发者推广大使回应称,GPT-4 处于静止状态,且自 3 月 14 日发布以来没有做过改动。

可能突破万亿参数的 GPT-4,被 OpenAI" 狂吹 "


【资料图】

根据 OpenAI 自己的说法,GPT-3 拥有 1750 亿个参数,但 GPT-4 的规模可能会达到数千亿个参数,甚至可能会突破万亿级别。这一规模的提升将有助于提高模型的表现力和泛化能力,使其更能适应各种语言任务,同时也意味着 GPT-4 接受了更多的数据训练,模型文件中有更多的权重(参数),这也使得它的运行成本更高。

此外,GPT-4 可以更准确地解决人们的难题,多模态的 GPT-4 还可以生成、编辑具有创意性或技术性的文章,在高级推理方面的表现超过其前身。当然,正如大家所猜测的那样,微软 New Bing 的聊天功能确实基于 GPT-4。OpenAI 称,该模型 " 比以往任何时候都更具创造性和协作性 "," 可以更准确地解决难题 "。它可以解析文本和图像输入,尽管它只能通过文本进行响应。

官方表示,GPT-4 错误答案更少,而且也会减少偏离话题的可能,也尽可能不会再谈论禁忌话题,甚至在许多标准化测试中比人类表现得都要更好一些。

例如,GPT-4 在模拟律师考试的成绩在考生中排名前 10% 左右,在 SAT 阅读考试中排名前 7% 左右,在 SAT 数学考试中排名前 11% 左右。相比之下,GPT-3.5 在律师考试中的得分一般都是倒数 10% 左右。当然,它们考个研究生还是没问题的。

图片来源:OpenAI

不少业内人士也对 GPT-4 的未来应用前景表示看好,称 GPT-4 的出现将进一步推动 AI 语言模型领域的发展。作为下一代 AI 语言模型,GPT-4 将会在各方面都得到进一步的改善,包括语言理解、生成、多语种支持等等。同时,GPT-4 也将会在各个应用场景中得到广泛应用,为各个行业带来更加高效和智能的解决方案。

有网友 4 月份就对 GPT-4 是否退化发出质疑

那么,GTP-4 真的如 OpenAI 自己所称的那样更强大吗?

就在美东时间本周早些时候,Ycombinator 上已有网友提出质疑,称 "(GPT-4)确实比以前快很多,但它的输出质量更像是 GPT-3.5++。GPT-4 产生了更多的 bug 代码,答案也缺乏深度和分析,总体感觉上比以前要糟糕很多。"

图片来源:Ycombinator

在上述网友的帖子下方,另一名网友回复称," 是的。在更新之前,GPT(的上一个版本)能毫不费力地解决相当复杂的编程问题,并对非编程问题给出非常微妙且像是经过深思熟虑的答案。如今,GPT-4 只能修改一个 10 行 CSS 模块中的两行,并再次给出这修改后的 10 行模块,不仅感到非常吃力,而且给出的答案中有些内容毫无关系 ……"

还有网友表示,"OpenAI 的(最新)模型给我的感觉是 100% 被削弱了。几个月前我用它(的早期版本)解决了非常复杂的问题(例如编写一个最小的 PDF 解析器示例),但今天你会因为问了这么复杂的任务被 GPT-4 ‘责备’。"这名网友最后还称,他已经决定取消订阅他的 OpenAI 会员资格。

在推特上,有网友称把GPT-4 的 3 小时 25 条对话额度一口气用完了,都没能解决自己的代码问题,最后无奈切换回了 GPT-3.5。图片来源:推特

《每日经济新闻》记者还注意到,网上关于 GPT-4 是否退化的讨论,其实在 1 个月前就已经有了。当时有网友在美国版天涯 + 贴吧平台 Reddit 上,对 GPT-4 是否 " 变笨 " 发出质疑。这名当时网友称," 在过去几天里,我经历了 GPT-4 性能的明显下降。它的推理能力已经退化到 GPT-3 的水平,而且它正在努力完成上个月刚刚为我完成的任务。今晚的性能还是最糟糕的。这是怎么回事?"

图片来源:Reddit

在 OpenAI 的官方开发者论坛,有网友在 4 月 30 日就发帖称," 一周前,我用 GPT4 为 MS 飞行模拟器创建了一个非常简单的 C# 应用程序。这太神奇了,我只(手动)更正了一次。今天我用了同样的提示词,但经过多次修改后 GPT-4 还是不能正常使用。"

一时间,关于 "GPT-4 退化了 "、"OpenAI 为了节省成本开始偷工减料 " 等质疑声开始在 Ycombinator、Reddit 和推特等平台快速蔓延开来。速度如此之快,就连 OpenAI 官方的开发者推广大使 Logan Kilpatrick 都出面来公开回应网友的质疑:"API 不会在没有我们通知您的情况下更改。"在上述推文下方,Logan 还回复了网友一些问题,他称,GPT-4 自从 3 月 14 日发布以来未发生改动。他还表示,GPT-4 对于一些提示词给出的回答内容不一致,是由于大模型本身不稳定。不过,针对网页版 GPT-4 是否被降级过的追问,均未得到其本人的正面回答。另据监管机构 NewsGuard 的专家分析,OpenAI 最新版本的 GPT-4 大型语言模型在输出信息方面,确实比它的前身 GPT-3.5 还要糟糕。在今年 3 月份发布的报告中,NewsGuard 就指出,GPT-4 不仅在其研究人员的提示下回答了完全虚假的新闻叙述,而且甚至比 GPT-3.5 回答的内容更差。

每日经济新闻

关键词:

[责任编辑:sdssw]