近日，华为云 AI 团队获得第 9 届国际自然语言处理与中文计算会议 NLPCC 2020 轻量级预训练中文语言模型测评第一名。
NLPCC 由中国计算机学会主办，是自然语言处理（NLP）和中文计算（CC）领域的顶级国际前沿会议，每年会议都秉承国际化和一流化的严格标准来进行自然语言处理任务的开放评测，推动相关任务的研究和发展。
NLPCC 2020 吸引了康奈尔大学、伦敦大学、普林斯顿大学等海内外近 600 位自然语言处理领域的专家及学者参加大会，其中 400 余位专家学者在现场共同见证开放评测任务第一名的诞生。
当下，预训练语言模型已经成为 NLP 的主流方法，在多项 NLP 任务上都取得了明显的效果提升。但是预训练语言模型往往比较大，限制了预训练语言模型的应用场景。因此，如何构建轻量级的预训练语言模型就成了一个关键问题。
预训练语言模型出现以来发展得非常迅速，目前已经演化形成了一个家族
中文轻量级预训练语言模型能力评测任务的目的在于让参赛团队减少语言模型大小的同时尽可能保证模型效果。本次比赛包含四个任务，分别是指代消解，关键词识别两个句子级别分类任务，实体识别序列标注任务，MRC 阅读理解任务，从不同角度评测模型的语义表达能力。
同时，比赛要求模型的参数量低于 bert-base 模型的 1/9，模型推理速度达到 bert-base 模型的 8 倍，这就要求模型运行快，体积小，效果好。
一般来说，可以通过量化、剪枝、蒸馏等方法来压缩大预训练语言模型来获得轻量级模型。华为云与诺亚方舟实验室联合团队基于自研的 NEZHA 中文预训练模型通过知识蒸馏得到 tiny-NEZHA 轻量级模型摘得桂冠。
相比其他模型，华为的模型在结构上找到了一个较好的平衡点，采用 TinyBERT 两步蒸馏的方式让模型更好地学到任务相关的知识，蒸馏过程中用语言模型预测并替换部分 token 的方式进行数据增强可以使小模型拥有更强泛化性。
TinyBERT 知识蒸馏的损失函数中一个重要环节是让中间层去学习隐藏状态和 attention 向量
同时，华为自研的 NEZHA 预训练语言模型采用相对位置编码替换 BERT 的参数化绝对位置编码，能更直接地建模 token 间的相对位置关系，从而提升语言模型的表达能力。
在即将过去的 2020 年里，华为云 AI 在人工智能领域的研发成绩斐然，斩获十二项包含 WSDM、WebVision、CCKS 篇章级事件抽取技术评测冠军、人工智能金炼奖、德国红点在内的国际国内榜单冠军和奖项。
面向未来，华为云 AI 希望可以继续保持技术优势，做智能世界的「黑土地」，持续践行普惠 AI，将 AI 服务触及更多开发者和企业，助力各行各业进入人工智能新时代。
展会预告
第七届中国国际物联网博览会
2021厦门国际人工智能博览会
2021年7月8-10日厦门国际会展中心
诚邀您莅临~
end
如果喜欢，快分享给你的朋友们吧
一起了解物联网新动态
好看的人才能点
