上线仅两天，AI大模型写论文网站光速下架！不负责任的胡编乱造...

点击下方卡片&＃xff0c;关注“CVer”公众号

AI/CV重磅干货&＃xff0c;第一时间送达

点击进入—> CV 微信技术交流群

转载自&＃xff1a;机器之心  |  编辑&＃xff1a;陈萍、小舟

Galactica&＃xff1a;「假装自己是个科学家。」

几天前&＃xff0c;Meta AI 联合 Papers with Code 发布了大型语言模型 Galactica&＃xff0c;该模型的一大特点就是解放你的双手&＃xff0c;代笔帮你写论文&＃xff0c;写的论文有多完整呢&＃xff1f;摘要、介绍、公式、参考文献等统统都有。

就像下面这样&＃xff0c;Galactica 生成的文本看起来就是一篇论文的配置&＃xff1a;

不止生成论文&＃xff0c;Galactica 也可以生成词条的百科查询、对所提问题作出知识性的回答&＃xff0c;除了文本生成外&＃xff0c;Galactica 还可以执行涉及化学公式和蛋白质序列的多模态任务。例如在化学反应中&＃xff0c;要求 Galactica 在化学方程 LaTeX 中预测反应的产物&＃xff0c;模型仅根据反应物就能进行推理&＃xff0c;结果如下&＃xff1a;

为了方便用户体验这项研究&＃xff0c;该团队还专门上线了试用版。如下图&＃xff0c;几天前该界面还显示输入、生成等功能。

&＃xff08;之前版本&＃xff09;Galactica 试用版地址&＃xff1a;https://galactica.org/

短短几天&＃xff0c;它的界面变成这样&＃xff0c;已经不能进行输入。

根据 Papers with Code 说法&＃xff0c;他们从社区收到一些反馈&＃xff0c;已经暂停 Galactica 的 Demo 演示功能。前两天还在推特发文称赞的图灵奖得主 Yann LeCun &＃xff0c;今天就很无奈的说了一句&＃xff0c;再也不能从中获得快乐了&＃xff0c;开心吗&＃xff1f;

不过与极力推崇该研究的人相比&＃xff0c;有网友提出一些反对意见&＃xff0c;与其带来的好处相比&＃xff0c;Galactica 会带来更多负面后果&＃xff0c;想想这对学生写论文会有什么影响。

与学生用它来写论文相比&＃xff0c;下面这位网友发现的问题就更严重了。

「我问了 Galactica 一些问题&＃xff0c;它的回答都是错误或有偏见的&＃xff0c;但听起来是正确和权威的。」在一系列实验后&＃xff0c;推特用户 Michael Black 表示&＃xff1a;「Galactica 生成的文本合乎语法&＃xff0c;让人感觉真实。其所生成的文章会变成真正的科学论文。这篇文章可能是正确的&＃xff0c;但也可能是错误的或有偏见的&＃xff0c;很难被发现&＃xff0c;从而影响人们的思维方式。」

「它提供了听起来是权威的科学&＃xff0c;但没有科学方法的基础。Galactica 根据科学写作的统计特性产生伪科学&＃xff0c;很难区分真假。这可能会开启一个深度科学造假的时代。这些被生成的论文将被其他人在真实的论文中引用。这将会是一团乱麻。我赞赏这个项目的初衷&＃xff0c;但提醒大家还是要注意&＃xff0c;这不是科学的加速器&＃xff0c;甚至也不是科学写作的有用工具。这对科学来说是潜在的扭曲和危险。」

Michael Black 回答部分截图。链接&＃xff1a;https://twitter.com/Michael_J_Black/status/1593133722316189696

发现 Galactica 存在不严谨、生成伪科学文章等问题的不止 Michael Black&＃xff0c;其他网友也发现了该缺陷。下面我们来看看网友的其他评论。

引起争议

Galactica 试用版上线后&＃xff0c;很多学者却对此提出了疑义。

一位名叫 David Chapman 的 AI 学者指出语言模型应该是整理合成语言的&＃xff0c;而不是生成知识&＃xff1a;

这确实是一个非常值得思考的问题&＃xff0c;如果 AI 模型能生成「知识」&＃xff0c;那么如何判断这些知识的正确与否呢&＃xff1f;它们又会如何影响甚至误导人类呢&＃xff1f;

David Chapman 用自己的一篇论文为例说明了这个问题的严重性。Galactica 模型提取了论文中「A logical farce」部分的关键术语&＃xff0c;然后使用一些相关的维基百科文章&＃xff0c;最后编辑合成出一篇错漏百出的文章。

由于 Galactica 模型的试用版已下架&＃xff0c;我们无法查看这篇文章与论文原意的差距有多大。但可以想象&＃xff0c;初学者如果阅读了 Galactica 模型合成的这篇文章&＃xff0c;可能会被严重误导。

知名 AI 学者、Robust.AI 创始人 Gary Marcus 也对 Galactica 模型表达了强烈的质疑&＃xff1a;「大型语言模型&＃xff08;LLM&＃xff09;混淆数学和科学知识有点可怕。高中生可能会喜欢它&＃xff0c;并用它来愚弄他们的老师。这应该令我们感到担忧。」

来自纽约大学计算机科学系的学者们也测试了 Galactica 模型的生成结果&＃xff0c;发现 Galactica 答非所问&＃xff1a;

图源&＃xff1a;https://cs.nyu.edu/~davise/papers/ExperimentWithGalactica.html

首先&＃xff0c;在这个实验中&＃xff0c;Galactica 模型的回答的确包含一些正确的信息&＃xff0c;例如&＃xff1a;

• 引力探测器 B&＃xff08;GP-B&＃xff09;确实是 NASA 发射的科学探测卫星&＃xff0c;用于检验广义相对论的正确性和参考系拖拽效应。Leonard Schiff 确实是提出该实验的物理学家&＃xff0c;Francis Everitt 是该项目的负责人&＃xff08;PI&＃xff09;。

• 引力探测器 A 确实是对爱因斯坦理论的早期检验。

然而&＃xff0c;纽约大学学者提出的问题是&＃xff1a;与确定引力常数的实验相关的维基百科文章&＃xff0c;而 Galactica 模型回答的是「与检验广义相对论有关的实验的百科信息」。这从根本上就出现了错误。

不仅如此&＃xff0c;Galactica 模型的回答中还有一些细节出现了事实性错误&＃xff1a;

• Galactica 回答中强调不要混淆 GP-B 与引力探测器&＃xff08;Gravity Probe B&＃xff09;的实验&＃xff0c;但实际上「GP-B」就是指「引力探测器 - B」的实验。

• 回答中提到的 Leonard Schiff 于 1937 年在麻省理工学院获得博士学位。他曾多次在宾夕法尼亚大学和斯坦福大学任教&＃xff0c;但从未在马里兰大学任教。而 Francis Everitt 是在 1959 年于帝国理工学院获得博士学位的。

• 引力探测器 A&＃xff08;Gravity Probe A 在 1966 年并没有因为预算削减而被取消&＃xff0c;也与陀螺仪&＃xff08;gyroscope&＃xff09;没有任何关系。实际上&＃xff0c;引力探测器 A 于 1976 年发射&＃xff0c;实验涉及微波激射器&＃xff08;maser&＃xff09;。

纽约大学的这项实验非常具体明确地说明了 Galactica 模型的生成结果存在严重的错误&＃xff0c;并且该研究进行了多个不同问题的实验&＃xff0c;每一次 Galactica 的回答都是错漏百出的。这说明 Galactica 生成错误信息的情况绝非偶然。

纽约大学实验报告&＃xff1a;https://cs.nyu.edu/~davise/papers/ExperimentWithGalactica.html

面对 Galactica 的失败&＃xff0c;有网友将其归因于深度学习的局限性&＃xff1a;「深度学习的本质是从数据中学习&＃xff0c;这本来就不同于人类的智能&＃xff0c;根本无法实现通用人工智能&＃xff08;AGI&＃xff09;」。

关于深度学习未来的发展众说纷纭。但毫无疑问的是&＃xff0c;Galactica 这种错误地生成「知识」的语言模型是不可取的。

对此&＃xff0c;你有什么看法&＃xff0c;欢迎在评论区留言。

参考链接&＃xff1a;

https://twitter.com/GaryMarcus/status/1593264844412977158?s&＃61;20&t&＃61;Gw8PrA_Ytku9_9TaubsHyw

https://twitter.com/paperswithcode/status/1593259033787600896

https://garymarcus.substack.com/p/a-few-words-about-bullshit?utm_source&＃61;twitter&sd&＃61;pf

https://cs.nyu.edu/~davise/papers/ExperimentWithGalactica.html

https://twitter.com/Meaningness/status/1592750932869013504?cxt&＃61;HHwWgICjlZyiy5osAAAA

点击进入—> CV 微信技术交流群

CVPR/ECCV 2022论文和代码下载

后台回复&＃xff1a;CVPR2022&＃xff0c;即可下载CVPR 2022论文和代码开源的论文合集

后台回复&＃xff1a;ECCV2022&＃xff0c;即可下载CVPR 2022论文和代码开源的论文合集

后台回复&＃xff1a;Transformer综述&＃xff0c;即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码&＃xff0c;或者添加微信&＃xff1a;CVer222&＃xff0c;即可添加CVer小助手微信&＃xff0c;便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖&＃xff1a;目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注&＃xff1a;研究方向&＃43;地点&＃43;学校/公司&＃43;昵称&＃xff08;如目标检测或者Transformer&＃43;上海&＃43;上交&＃43;卡卡&＃xff09;&＃xff0c;根据格式备注&＃xff0c;可更快被通过且邀请进群▲扫码或加微信号: CVer222&＃xff0c;进交流群
CVer学术交流群&＃xff08;知识星球&＃xff09;来了&＃xff01;想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料&＃xff0c;欢迎扫描下方二维码&＃xff0c;加入CVer学术交流群&＃xff0c;已汇集数千人&＃xff01;▲扫码进群
▲点击上方卡片&＃xff0c;关注CVer公众号

整理不易&＃xff0c;请点赞和在看