【学报观点要览】
文章：《ChatGPT的工作原理、关键技能及将来发展趋势》
期刊：西安交通大学学报，2024年第1期
作者：秦涛、杜尚恒、常元元、王晨旭
评荐：管晓宏（中国科学院院士、西安交通大学电子与信息学部主任）
大数据期间，怎样有用发掘和使用海量数据中蕴含的知识，是昨们当前亟须办理的困难。天然语言处置惩罚技能作为毗连数据与知识之间的桥梁，是办理这一困难的紧张工具。比年来，天生式人工智能渐渐成为天然语言处置惩罚的利器。ChatGPT作为天生式人工智能的典范代表，极大地推动了天然语言处置惩罚技能的发展，引发了天然语言处置惩罚研究范式的变化，使天然语言处置惩罚技能可以或许更加高效、智能地顺应多样化的应用场景。
通过大规模的预练习，天生式人工智能具备了强盛的上下文明白与天然语言文本天生本领，可以完成对话问答、信息检索等使命，与人类交互更加天然和机动，成为当前天然语言处置惩罚范畴的紧张工具之一。
从团体架构来看，ChatGPT服从“底子语料+预练习+微调”的根本范式。海量高质量的底子语料是技能突破的关键，预练习是构建大规模语言模子的底子，微调是实现模子现实应用的保障。GPT-4在上述架构的底子上举行了多模态升级，多模态输入本领对语言模子至关紧张，使其可以得到除文本形貌外的知识性知识，为多模态感知与语义明白的联合提供了大概性。这一新范式可归纳为“预练习+提示+猜测”。
该文梳理了ChatGPT的模子架构和技能演进过程，重点讨论了提示学习、指令微调、头脑链、人类反馈强化学习等关键技能，并联合运行原理分析了其面对的缺陷与挑衅，探究了进一步改进的着力点，为天然语言处置惩罚范畴的深入研究提供有益参考。
该文提出，固然ChatGPT的性能良好，但它是完全基于数据的模子，具有一些不可制止的范围性。比方，对垂直范畴知识发掘不充实不深入而造成的天生内容不敷公道正确、练习数据毛病导致的天生内容存在潜伏私见、轻易受到对抗性攻击从而诱导模子产生偏离究竟的输出、无法高效在线更新近期知识等题目。
预测将来，ChatGPT另有很大的提拔和改进空间，包罗接纳迁徙学习、引入机理和范畴知识等方法提拔范畴顺应本领，加强多模态处置惩罚本领、筛选练习语料等方法提拔模子的泛化性。别的，在进一步加强模子人机交互协同本领、提拔模子可信度，构建新的可信测试基准等角度，都有提拔空间。
|
|
70
0
