历经3个月的激烈角逐,2020语言与智能技术竞赛于近日正式发布竞赛结果。本次竞赛由中国中文信息学会(CIPS)和中国计算机学会(CCF)联合主办,百度公司、中国中文信息学会评测工作委员会和中国计算机学会中文信息技术专委会联合承办,设立机器阅读理解、面向推荐的对话、关系抽娶语义解析与事件抽取五大热门竞赛任务,并发布了大规模的、贴近实际应用的数据集。
参赛队伍阵容豪华 数千支队伍激烈角逐
据统计,今年的参赛规模创历年新高,5个任务累计报名参赛队伍超过5300支,参赛选手超6000人,累积收到有效提交结果近15000份,已经成为中文NLP领域参赛人数最多的比赛。
除整体参赛人数规模翻倍之外,在参赛队伍阵容方面,覆盖了国内外知名高校、科研机构以及多家知名企业。其中六成队伍来自国内三百多所高校,覆盖了国内大部分211高校;两成队伍来自400多家企业单位,其中不乏微软、腾讯、华为、阿里、中国移动、中国工商银行、联想、平安、格力、海信等多家知名企业;此外,个人开发者队伍同样多达近1000支。可以看到,越来越多来自不同地区、不同背景、不同行业的参赛队伍参与到该项大赛中,贡献了更多样化的思维和视角。
在官网最新公布的竞赛结果榜单中,"机器阅读理解"头名花落云知声智能科技股份有限公司,"面向推荐的对话"第一名被深思考人工智能机器人科技(北京)有限公司获得,国防科技大学摘得"语义解析"任务榜首,"关系抽取"的一等奖为深圳追一科技有限公司,"事件抽取"冠军为京东方智能物联首席技术官组织。通过本次比赛,有力地推动了技术的交流,促进智能搜索、智能推荐、智能交互等人工智能应用迈上新台阶。
五大任务提升效果显著 任务升级让竞赛更具有挑战
在本次竞赛中,五大任务的系统效果均取得显著提升,为解决真实应用的问题提供了更多样的技术思路和更强大的技术系统。
其中,机器阅读理解是问答系统的核心技术之一。本次任务重点考察了阅读理解在实际应用场景中经常遇到的模型鲁棒性问题,包括了模型的过敏感性、过稳定性以及泛化能力。通过本次竞赛,最好系统的F1较基线提升了26%,说明系统鲁棒性得到了大幅度提升,为该技术落地应用打下了基石。
对话式推荐任务,在智能音箱等实际应用场景中有很强的应用需求,通过基于个人兴趣的交互式推荐可以显著提升用户体验,并且可以主动捕捉用户兴趣。在本次竞赛中,多个团队通过引入预训练模型,增强了语言理解和生成能力,不但提升所有自动和人工评估指标,而且真正提高了实际对话质量,在评估指标上较基线提升了78.95%,为对话式推荐技术的后续实际应用推广奠定了坚实的技术基矗
同样的,在关系抽取任务中,也获得了较基线16.5%的提升,本次关系抽取增加了百度贴吧口语化表达语料,并将知识类型扩展到含有多要素的复杂知识,成绩的大幅提升,意味着关系抽取在口语化、复杂的真实环境中取得了更好的表现,为未来面向业务实战铺平了道路。
值得一提的是,作为今年新增的两项任务,语义解析与事件抽取的提升效果也十分明显。语义解析任务中,本次竞赛首次提供基于多表的Text-to-SQL数据集,并覆盖了实际应用中常见的排序、计算等复杂问题类型,对模型提出了更高的挑战,参赛系统较基线指标提升高达330%,意味着模型在复杂数据库理解、问题推理、领域泛化等能力上有了一定的提升。
而在事件抽取任务中,本次任务基于真实场景构建了业界规模最大的中文事件抽取数据集,并覆盖了多触发词、多值论元角色抽取等复杂问题的求解。竞赛系统的分数从78.9%提升到了85.9%,说明系统能够更好的抽取目标事件类型和角色类型所对应的论元,对于事件的判别、理解能力均有一定进步,在实际应用中能力得到了提升。
百度硬核AI能力全面支持 助力选手斩获优异成绩
如今,随着AI技术的不断发展,人们开始在更多的生活场景中感受到了人工智能所带来的便捷,而如何让机器像人一样具备语言能力,可以理解和运用自然语言,并基于知识学习持续进化,是人工智能目前需要解决的核心问题之一。
作为本次大赛承办方、国内人工智能领域的领军者,百度不仅在此次大赛上为参赛选手提供了全面的技术资源和平台支持,还为五大竞赛任务提供了基于百度开源深度学习平台飞桨的基线系统。同时,百度AI Studio人工智能学习与实训社区也为报名参加2020语言与智能技术比赛的参赛团队额外提供了免费GPU算力时长,彻底破除算力桎梏,助力选手们取得优异成绩。
一直以来,百度秉承着开放生态的理念,积极开放其核心能力,助力互联网、金融、医疗、零售、出行、服务等行业,推动中国产业智能化升级。此次,百度协同学界与业界一起举办语言与智能技术竞赛,不仅在挖掘人工智能方面人才方面做出了巨大贡献,更是加速了人工智能技术的落地应用,为我国人工智能学术和产业的发展添砖加瓦。