AI大语言模型LLM引爆辛顿-乔姆斯基之争

最近心绪不宁,无法投入论文写作,只能摆弄公号以图摆脱危机。一篇讨论LLM的语言问题的论文,断断续续写了好几个月了,想把中国科大陈小平教授讨论LLM论文提出的“形式语义-实质语义”说理论化,使LLM黑盒不再那么“黑”,涉及形式语义学、索绪尔、维特根斯坦等,当然绕不开乔姆斯基。然后发现《当代语言学》中译了《杰弗里·辛顿接受尤利西斯奖章时发表的获奖感言》,立足LLM的突破性进展,激烈批评了乔姆斯基的语言观,几近酷评,而此前乔姆斯基对LLM也多有嘲讽性的酷评。辛顿-乔姆斯基之争,关乎对LLM特性的基本理解,乃至关乎对AGI的理解,值得理论研究高度关注。写几句短评,然后转入论文写作,但愿由此摆脱情绪危机,成功转入论文写作状态。

《语言战略研究》发了一组““辛顿·乔姆斯基·语言学发展”多人谈”,讨论两人的争论,其中袁毓林教授文章题目应最具概括性,较清晰揭示了两人在语言观上的分歧点:《这是语言统计技术的胜利,也是语言天生理论的失败》。转录其中的一段话,可见相关背景和争论焦点:

【从2022年底ChatGPT爆火带动人工智能进入大众视野以来,被誉为“深度学习之父”乃至“人工智能教父”的辛顿,已经多次在讲演中直言不讳地批评乔姆斯基的语言观。比如,他在《数字智能会取代生物智能吗?》(2024年2月19日,牛津大学)中说:“乔姆斯基曾说语言是天赋而非学会的,这很荒谬。……一个没有先天知识的大型神经网络仅仅通过观察数据就能实际学习语言的语法和语义,……”。的确,辛顿领导他的团队成功地把误差反向传播算法引入多层神经网络训练,开启了深度学习的爆发式进步,为大语言模型理解和生成自然语言奠定了坚实的基础。这次辛顿的获奖,表明了国际权威学术机构对他在人工智能领域的杰出贡献的认可。从自然语言处理的角度,也许可以说:这是基于大规模语料统计的语言技术的胜利,也是乔姆斯基语言天生理论的失败。因为,根据语言天赋论及与其相应的普遍语法理论,人类语言是受到十分繁复和抽象的规则(原则与参数)控制的,无法用马尔可夫过程模型来刻画,也是机器无法通过统计分析来学会的。但是,现代大型语言模型却以“再造人类语言”的方式,能够以接近于人类的水平来理解和生成自然语言。这种活生生的事实,使得辛顿有底气在尤利西斯奖章颁发仪式(2024年春,都柏林大学学院)上说,乔姆斯基误导了几代人。无独有偶,一位早年跟乔氏有过交集的国际知名语言学家,2023年末访问澳门大学,在谈到乔姆斯基语言学理论和大语言模型时,也语重心长地对我说:“他把语言学的方向带偏了。”话少意多,发人深省。

怀着对于学术研究的敬畏心(不误入歧途)和对于年轻学子的责任心(不误人子弟),趁着大语言模型成为诺奖主角的东风,认真思考和讨论下列问题不仅应景而且必要:

(1)基于统计的语言大模型的成功,能不能颠覆语言天生理论及普遍语法理论?(2)乔姆斯基生成语法理论及有关主张与研究范式,有没有把语言学的方向带偏?】

我的短评:今天的时代是个充斥纷争、撕裂的时代,我一直认为,无论争论人事,还是争论非人事,争论一方A雄辩地证明了B错了,但不足以证明A自己就是对的——以此来看,辛顿挟持LLM(或许还有诺奖?)之威说乔姆斯基错了,绝不表明辛顿本身的语言观没有问题,这是个“逻辑”问题。如果想使争论有意义的话,那么,再一关键是不能绕开“经验现实”。我在讨论LLM语言问题的文章中,多次提到两个“经验性”案例:(1)是“狼孩”现象:一个人类幼童如果在狼群中长大,再回到人群就很难再完全习得语言能力——辛顿可以此批驳乔姆斯基的“语言天生理论”,当然他没有;(2)是“大猩猩学人话”,动物学家在这方面费了很大功夫做实验,结果收效甚微,与此相关的是嘲讽LLM是“随机鹦鹉”——乔姆斯基可以此反驳辛顿,当然他也没有。当然,由此说语言能力是先天因素与后天因素的统一,错是不错,但也可能只是正确的废话,就像LLM通常说的话,关键是要研究、分析——

至此打住(已部分剧透了我正在反复修改的论文的剧情),开始进入写论文研究状态。是以为记。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享