经济观察网 记者 周应梅4月25日,网易副总裁、网易数帆总经理汪源接受经济观察网在内的媒体采访时表示,网易杭州研究院2018年起步做预训练大模型,去年开始投入智能生成代码、文本理解、智能生成SQL等领域研究,之前大模型相关技术在内部支撑生产和使用,现在超过1000名工程师使用相关技术。
此前网易伏羲实验室推出了中文预训练大模型“玉言”,并拿下中文语言理解权威测评基准CLUE分类任务榜单冠军。公开资料显示,“玉言”大模型参数达到110亿,由浪潮信息提供AI算力支持。“玉言”大模型相关技术已用于网易集团内的文字游戏、智能 NPC、文本辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景。
结合AIGC应用,4月25日,网易数帆在低代码业务战略发布会上推出CodeWave智能开发平台。网易数帆强调,智能开发平台接入网易数帆自研智能大模型,以低代码为开发工具,开发者只需编写少量代码,通过自然语言描述和可视化拖拉拽便能快速开发应用。目前,网易数帆参与共建的AirCoder代码生成插件工具,提供上下文补全等多种代码生成模式,目前AI生成代码量达到15%。
网易数帆云原生及低代码产品线总经理陈谔表示,网易数帆的目标是降低开发者或者企业使用平台开发应用的门槛。通过设计一个全栈式不分前后端的编程语言,让它的表达能力跟专业的编程语言一样强。开发门槛要比用Java 、JavaScript低很多,但是相比零代码或无代码平台高。据介绍,未来智能开发平台将增加AIGC的应用,增加智能设计、智能D2C、智能业务分析BA、智能资产运营等功能,并计划发展100万开发者,助推低代码开发。
汪源表示,现在的大模型技术核心起源于2017年,当年谷歌发布的Transformer学习模型带来了新的方向。网易杭州研究院、伏羲实验室、互娱业务部以及从事AI研发的团队,都是在新技术架构基础上开展工作。2017年谷歌机器翻译团队发布了Transformer模型,这个模型,基于注意力(Attention)的网络架构,在机器翻译及语言理解任务上相较于现有算法有突出优势,与传统的RNN(循环神经网络)和CNN(卷积神经网络)呈现了较大区别。此后,2021年谷歌大脑团队又推出了1.6万参数的Switch Transformer大语言模型。
网易伏羲今年4月推出新一代Transformer推理引擎Easy and Efficient Transformer,提升了Transformed-based超大模型的推理效率。该功能也用于网易云音乐AI作词、AI作曲,将歌词创作时间缩短到3~4秒。