每个人都有一个童话梦,童话世界的主人公通常天真、烂漫,是美好形象的象征。假如有一天,可以穿越到童话世界中,你是否跃跃欲试?近期,腾讯光影研究室出品的“童话脸”特效玩法在网络上迅速走红,不仅有李雪琴亲传童话世界基本生存须知“公主并”,更是受到辣目洋子、刘晓庆、王大陆等众多明星青睐。作为业内首次将GAN技术与3D卡通风格相结合的应用特效,“童话脸”支持用户化身为人间芭比、在逃公主、童话王子等人物,分享在QQ小世界、微视APP、微博等社交平台,不少用户更是直接将变身后的童话脸设置为个人头像。
二次元当道,个性化“童话脸”特效应运而生
随着年轻用户在社交互动中的个性化表达需求持续增加,自带二次元、萌元素的虚拟形象成为了用户展示自我情绪、日常交流的新形式。基于在用户个性化形象创造上的长期积累,腾讯光影研究室上半年已推出2D日漫卡通画特效,并受到广大网友的一致好评。为了更好地还原用户的面部特征以及情绪张力的表达,团队将五官和神态捕捉都十分灵动的3D卡通风格作为研发方向之一,并在权衡卡通化的趣味性和真实摹写的用户体验后,最终打造了童话脸特效。
据团队介绍,童话脸风格属于卡通画风格中的一种。卡通画里有不同分类,如写实风,卡通风,日韩风,欧美风,中国风。但在技术实现层面,不同的风格意味着模型要学习纹理和形变的困难指数不一样。其中,写实风基本没有形变,实现较简单生成效果也最佳;卡通风形变较小且涉及纹理学习,存在一定的难度;Q版卡通风形变较大并涉及风格模型学习,难度最大。此次,“童话脸”特效便是将难度最大的Q版卡通风得以实现。目前,该特效技术已应用在QQ、微视APP等社交娱乐场景中,给用户提供最直观、新鲜的AI体验。
GAN技术与3D卡通风格首次结合,左右互搏训练生成完美图片
由于传统的CV算法基本不可能满足需求,此次童话脸特效是基于先进的生成对抗网络(GAN)算法研发而出,也是全球首家在手机上给用户提供的实时个性化童话脸特效。具体而言,针对卡通童话脸大形变、CG质感纹理等特点,团队在设计模型网络结构策略上,将形变和纹理区分后再进行解耦,从而达到稳定生成卡通童话脸的目的。同时,结合复杂的实际应用场景下,更是在拍摄环境及角度、脸型妆容及滤镜、机型性能差异等维度上持续打磨逼真效果,确保给用户带来愉悦、满意、惊喜的体验。
实际上,“童话脸”特效从启动到上线仅花费两周时间,并保持快速的模型迭代。高效率的研发升级得益于光影研究室在新技术上的提前积累、底层技术的深度优化和强大的工程能力支持。特效背后的GAN生成技术,在2020年上半年便已投入研发进行积累,通过对一定数量的图片进行训练,便能在一周内生成多版本模型进行上线。此前刷新微视视频特效制作量新纪录的王者脸,以及QQ上线的国内首创光头特效,均是腾讯光影研究室利用生成式对抗网络 GAN所制造的独特体验。
伴随新技术的不断发展和进步,AI在社交娱乐方面的应用也将变得更加丰富。作为腾讯旗下专注于探索前沿影像处理技术的团队,腾讯光影研究室通过酷炫的渲染能力与灵活便捷的特效玩法引擎,已赋能QQ、微视APP、全民K歌等多款产品。未来,团队也将持续探索更多场景的创意玩法,为用户提供充满趣味惊喜的社交新体验。