大语言模型的“语言”跟自然语言性质迥然不同
陆俭明
北京大学 中国语言学研究中心/中文系
The “Language” of Large Language Models Is Fundamentally Different from Natural Languages
Lu Jianming
文章导读 大语言模型的诞生“在人类历史上称得上史无前例的技术成就”(孙茂松),因为这使机器真正能跟人自由对话了。先前的自然语言处理——具体到汉语就是中文信息处理,其目的就是要让机器能理解我们人所说的话语,反过来又能生成让我们人能接受的话语,以实现“人机对话”。为达到此目的,上世纪70年代解决了“字处理”问题;80年代进一步解决了“词处理”问题,包括分词和词性标注;90年代逐步解决了“句处理”问题,包括句子的句法分析和语义分析。处理方法逐步由基于规则进而采取基于规则和统计相结合的手段。进入21世纪,进一步尝试研制并使用浅层神经网络模型,同时开始使用多层感知机(MLP)、卷积神经网络(CNN)和循环神经网络(RNN)等“数据驱动”来实施自然语言处理,实际上已综合使用词汇分析技术、语法分析技术、语义理解技术、上下文关联分析技术和深度学习算法,以提升中文信息处理的准确度。然而效果还不是十分理想。应该承认,大语言模型无疑大大超越了自然语言处理已有的成果。
引用本文:
陆俭明. 大语言模型的“语言”跟自然语言性质迥然不同[J]. 语言战略研究, 2025, 10(1): 1-1.
Lu Jianming. The “Language” of Large Language Models Is Fundamentally Different from Natural Languages. , 2025, 10(1): 1-1.
[1]
陈 平,周庆生,赵世举,赵守辉,刘海涛,方小兵,董 洁. “中国语言生活研究二十年”多人谈 [J]. 语言战略研究, 2025, 10(1): 5-11.
[2]
李宇明. 二十年来的中国语言生活研究 [J]. 语言战略研究, 2025, 10(1): 12-25.
[3]
袁毓林. 描写还是解释:由ChatGPT反思语言学的两种目标 [J]. 语言战略研究, 2025, 10(1): 62-74.
[4]
何俊芳,郭亚星. 当代俄罗斯的语言立法与语言关系发展 [J]. 语言战略研究, 2025, 10(1): 54-61.
[5]
张振达. 《国家通用语言文字法》研究的回顾与思考 [J]. 语言战略研究, 2025, 10(1): 36-43.
[6]
叶 强. 国家认同视域下的《国家通用语言文字法》修改 [J]. 语言战略研究, 2025, 10(1): 44-53.
[7]
张日培. 语言功能规划视角下的新时代语言立法 [J]. 语言战略研究, 2025, 10(1): 26-35.
[8]
时 仲,田英慧,司富珍. 国际学界关于ChatGPT语言能力的争论与思考 [J]. 语言战略研究, 2025, 10(1): 75-86.
[9]
石 锋. 大语言模型在哪里挑战了语言学? [J]. 语言战略研究, 2025, 10(1): 87-96.
[10]
殷志平. 宜兴水北村语言实践与社会资本构建 [J]. 语言战略研究, 2024, 9(6): 48-59.
[11]
冯志伟,陈国华,李宇明,陈保亚,袁毓林,孙茂松,徐 杰,司富珍,詹卫东,完 权,王 伟,刘 畅. “辛顿·乔姆斯基·语言学发展”多人谈 [J]. 语言战略研究, 2024, 9(6): 5-17.
[12]
付义荣. 从统计数据看中国农村语言生活的发展 [J]. 语言战略研究, 2024, 9(6): 24-35.
[13]
周洪波,赵春燕. 民间谱志修编助力乡村文化振兴:竹里村个案 [J]. 语言战略研究, 2024, 9(6): 36-47.
[14]
王 琳,陈 涛. 印尼三语学校可持续发展的问题及优化路径 [J]. 语言战略研究, 2024, 9(6): 85-96.
[15]
韦九报,王文豪. 影响日本华裔学生祖语水平的非教学因素 [J]. 语言战略研究, 2024, 9(6): 72-84.