图：理大人文学院院长李平表示，是次发现有助推动未来相关研究。

 

　　【大公报讯】记者郭如佳报道：运用深度学习演算法训练生成式人工智能（GenAI）的大语言模型近年备受关注。香港理工大学最近一项研究发现，如果以人类处理语言的类似方式进行训练，大语言模型理解语言的表现就更像人类脑部。领导该研究的理大人文学院院长李平表示，此项研究解释了如何利用大语言模型研究人类大脑加工语言的高级机制，还能促进人工智能和认知神经科学领域研究人员之间的互动与合作，推动未来相关研究。

　　现有的大语言模型主要依赖于上下文单词预测单一类型的训练。近期研究亦表明，大语言模型中的单词预测可以作为人类处理语言的认知模型。然而，人类平时理解语言时不仅只会预测下一个单词，还会整合自然语言理解中的高层次信息。

　　理大人文学院院长兼冼为坚基金人文与科技讲座教授李平领导的研究团队，将模拟人脑评估句子之连贯性的“下一句子预测”（Next Sentence Prediction，NSP）纳入模型预训练，并检验模型数据与脑活动的相关性。研究发现NSP能用来预测前后句子怎样互相关联，与人类语义理解的神经模型非常脗合，亦能强化大语言模型的能力。

　　与只学习单词预测的模型相比，NSP增强模型与脑数据在多个脑区显示出更一致。研究结果亦提供了新见解，了解人类大脑如何加工语义，包括右脑在理解语义中的重要作用。其他发现亦显示大语言模型纳入NSP的优势，即基于增强模型的“模型─脑对应”分数可以更好地预测人的阅读速度。

　　近期如ChatGPT的大语言模型主要通过无限扩充训练资料和模型规模以提升能力。李平表示，仅依靠这种极度扩展的方式存在很多局限，新的突破则有赖于我们将大模型变得更像人脑那样不需要海量数据，更高效益。他亦指出，像NSP这类多样化的学习任务可以改进大语言模型的人性化水准，使其更加接近人类智慧。

相关热词搜索：

上一篇：极端天气趋频繁 增塌泥预警
下一篇：最后一页