自然语言处理中的预训练模型

发布者:张程冬发布时间:2020-11-05浏览次数:53

报告简介:目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

 

 

报告人介绍:邱锡鹏,复旦大学计算机科学技术学院教授,博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究,发表CCF A/B类论文70余篇,获得ACL 2017杰出论文奖(CCF A类)、CCL 2019最佳论文奖。出版开源专著《神经网络与深度学习》,Github关注人数1.3万,豆瓣评分9.6分。曾获得国家优秀青年科学基金、首届中国科协青年人才托举工程项目、钱伟长中文信息处理科学技术奖青年创新一等奖、Aminer2020年度AI 2000人工智能全球最具影响力提名学者等。培养学生曾获中国中文信息学会优博、中国人工智能学会优博、微软学者、微软学者提名、百度奖学金、上海市优博提名等。