如何测试ChatGPT的语义理解与常识推理水平？——兼谈大语言模型时代语言学的挑战与机会

doi:10.19689/j.cnki.cn10-1361/h.20240105

摘要
图/表
参考文献
相关文章 (1)

输出:BibTeX | EndNote (RIS)

文章导读 照理说，语言学家应该是欢迎语言技术的进步与飞跃发展的，但是当人工智能聊天机器人ChatGPT风靡全网、风光无限时，不少语言学家又感到危机空前，因为ChatGPT等大语言模型（large language model，LLM）在语言理解与生成方面功能强大，并且几乎绕开了当代主流的语言学理论与方法（详见Piantadosi 2023）。这于有形无形中都是在向语言学施压。对此，比较敏感的语言学者是心怀戒备与恐惧的。其实，十几年前，“没有语言学的计算语言学”就已成为许多语言学家的心头之痛；对此，国际自然语言处理学界也大声呼吁过：让语言学重新回到计算语言学中，并且成为自然语言处理的支撑性学科（详见Wintner 2009）。只是彼时的自然语言处理系统水平不太高，还不足以显示语言学对于语言处理技术几无用处。现在情况不一样了，能够聊天、答问、写作甚至解数学题、编程序、写代码的ChatGPT就摆在大家面前，没有办法视而不见！怎么办？一种乐观主义的想法是“天生我材必有用”，ChatGPT等大语言模型既然会给语言学造成危机，那么一定也会给语言学带来某种机会！是的，危中必有机，天无绝人之路；在大语言模型时代，语言学一定是挑战与机会并存的，一切端看我们怎么应对。

摘要 ChatGPT等大语言模型在语义理解和常识推理方面表现优秀，其技术奥秘在于模型开发者在对词语进行向量表示时，遵循分布式语义学原理，采用了“嵌入”这种代数方法。但是，经典的测试语言运用等智能水平的“图灵测试”，难以识别欺骗和回避等作弊手段，因此，计算机科学家设计了“新图灵测试”，其中的威诺格拉德模式挑战与语言学关系密切。这一模式以代词消歧为测试点设计句子对和问题，但是经过大规模语料训练的语言模型可以凭借词汇上的统计相关性，而不是靠真正理解句子的意义来给出正确答案。为克服这一缺陷，学者们又发展出WinoGrande数据集，提高了数据的规模和难度，确保它们无法通过网络搜索等手段来得到正确答案。我们用威诺格拉德模式设计了无偏向双重句子对测试ChatGPT，展示了大语言模型在语义理解和常识推理方面已达到接近人类的水平。当然，从具身模拟假说来看，大语言模型不可能像人一样富有体验性地理解人类自然语言。最后，我们呼吁：语言学家应该积极参与构建WinoGrade测试集之类的工作，在人工智能时代扩展自身的学术研究领域。

	服务

	把本文推荐给朋友
	加入我的书架
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	袁毓林

关键词 ： ChatGPT, 大语言模型, 新图灵测试, 威诺格拉德模式挑战, WinoGrande数据集

Abstract：This paper examines the approaches to test the performance of ChatGPT in semantic understanding and common-sense reasoning. It first reviews the remarkable performance of ChatGPT and other large language models (LLM) in semantic understanding and common-sense reasoning, and explains how they use distributional semantics and token vector representations to process language. Then, it critiques the classical “Turing Test” and introduces some alternative new tests such as Winograd Schema Challenge (WSC) and its upgraded version WinoGrande datasets, which are more relevant to linguistic studies. Next, it presents the results of applying ChatGPT to Winograd Schema sentences, showing that LLM have reached human-level performance in semantic understanding and common-sense reasoning. Finally, it argues that these language models can “understand” human natural languages, and the development of tests like the Winograd Schema is an opportunity for linguists to expand their academic field in the era of artificial intelligence.

Key words： ChatGPT large language models semantic understanding and common-sense reasoning (New) Turing Test Winograd Schema challenge WinoGrande dataset

基金资助:本课题的研究得到澳门大学讲座教授研究与发展基金（CPG2023–00004–FAH）和启动研究基金（SRG2022–00011–FAH）及国家社会科学基金专项项目“新时代中国特色语言学基本理论问题研究”（19VXK06）资助，谨此谢忱。

作者简介: 袁毓林，男，澳门大学教授，主要研究方向为理论语言学和汉语语言学。

引用本文:

袁毓林. 如何测试ChatGPT的语义理解与常识推理水平？——兼谈大语言模型时代语言学的挑战与机会[J]. 语言战略研究, 2024, 9(1): 49-63.
Yuan Yulin. How to Test ChatGPT’s Performance in Semantic Understanding and Common-Sense Reasoning: Challenges and Opportunities of Linguistics in the Era of Large Language Models. , 2024, 9(1): 49-63.