“ 感知技术 感触CG 感受艺术 感悟心灵 ”
中国很有影响力影视特效CG动画领域自媒体
本文转自公号：电影设计师
引言
前一段，Epic Game推出的MetaHuman再一次点燃了一波关于数字人的讨论。
▲ Epic Game发布的MetaHuman工程示例
随着计算机图形技术、AI技术、实时渲染等应用的成熟，如今数字人或称为虚拟人已经无处不在。它们已经成为了当下及未来几年的主要趋势之一，特别是在虚拟偶像、虚拟制作栏目的推动下，数字人及其人机交互将得到更多的变革与重塑。
▲ 美国虚拟网红 Lil Miquela (右)
▲ 美国次世文化打造的虚拟人翎Ling
▲ 国内虚拟网红阿喜
在开始聊今天的话题之前，我们不妨先来说说目前数字人领域的研究背景。
如果你经常关注Epic Game在虚幻引擎发布的数字人示例，你肯定知道Mike的高保真数字人类案例。
▲ 虚幻引擎的数字人类项目示例
那个项目其实是迈克西莫（Mike Seymour）的数字替身形象，迈克本人是数字人领域的长期研究专家和作家，他的工作履历包括：Sony Pictures Imageworks（索尼图像工作室)、好莱坞制作公司Skydance Media、专注于机器人&人工智能的Brud公司以及目前被Epic Game收购的数字人技术开发商3Lateral。
▲ 迈克西莫在TED上关于数字人的演讲
在2018年举行了一场TED Talk ，迈克设想了对话式互动数字人的技术核心及未来应用，它能解决人际交往社会中的老年人、残障人士或困难户的关怀与辅助问题。
“表情是情感的杰出传播者，并且情感的力量是十分强大的。我想通过给技术附上面孔来改善未来的世界。在这之前我们必须意识到表情的力量、影响力、情感力及其说服力。”迈克西摩
▲ 迈克西莫及其数字人替身生成及表情捕捉的过程
在TED上，迈克还展示了利用摄影机扫描脸部、AI面部视觉捕捉、实时引擎来生成数字人的全过程， 他认为数字人的应用领域非常广泛，包括：健康、教育、社交等，并有包括Epic Game、Pinscreen等公司致力于此。
这里提一下Pinscreen公司的CEO，人称“杀马特” 教授的黎颢（Hao Li），他也是一位数字人领域顶尖的大咖。他曾在好莱坞知名制片人乔治卢卡斯任影视特效技术制作专家，曾为《霍比特人：五军之战》、《速度与激情7》、《银翼杀手2049》等影片提供视觉特效技术支持。2014年夏加入南加州大学（USC）任计算机科学助理教授。
▲ 黎颢在世界经济论坛展示的PinScreen公司的AI换脸技术
此外，还有一家公司专注于数字人的面部捕捉技术解决方案，它就是DI4D。之前，他们发布了最新的可拓展的4D面部捕捉解决方案，结合DI4D PRO，通过头戴高清摄像头和新的机器学习技术，可以大规模提供高保真的实时面部动画。
▲ 图片为DI4D在GDC 2019大会上的技术演示
以上公司的技术成果都在不断推高数字人的讨论和创业投资热度，但在喧嚣之下，你是否清楚下面这些容易混淆的概念？什么是数字人、虚拟助理（virtual assistants）、虚拟网红（virtual influencers）、AI换脸（deepfakes）、机器人以及它们的区别是什么？
▲ 当今炙手可热的虚拟网红：Imma、绊爱、Lil Miquela
下面我们将从虚拟人、数字人、数字替身（digital doubles）三层面来聊聊它们的区别：
什么是数字人？
什么是数字人？
简而言之，数字人就是逼真的3D人体模型。如果你不熟悉CGI，则3D模型你可以理解为在游戏或电影中经常看到的数字木偶假人。更准确地说，数字人是一个复杂的3D人体模型，它利用最新开发的高端功能在外观（皮肤着色或毛发梳理上）和运动（准确的绑定和动画）方面产生逼真的效果。
▲ Scott Eaton 的肖像，由3D人像大师 Ian Spriggs制作
从定义上看，数字人是趋近于真实的，它跟我们在很多资产商城里可以便宜买到的角色模型不同，它需要尽可能的逼真。比如可以通过使用先进的渲染功能（例如高级着色器或SSS次表面散射材质来实现。要实现数字人惊人逼真的效果，离不开那些3D艺术家和技术指导（TD）行业先驱。
是不是所有3D人体模型都是“数字人”呢？
为什么我们不能随便将任何3D人类模型称为数字人呢？首先，“数字人”是一种新趋势，与照片写实技术的突破密切相关，而3D人类模型已经存在了很长时间。事实上，早在1976年的电影《未来世界》中就出现了3D的人脸，但数字人类真正受到关注则是在2015年，集结了数字人联盟下一群行业专家的努力。
▲ 电影《未来世界》中出现的三维人脸及物理特效
在2010年之前（尤其是在电影视效VFX之外的行业），无论是在设计还是其他行业层面来说，大多数3D人体模型都要求写实是不现实的。由于之前硬件限制，实时图形渲染必须使用低分辨率的资源，动画电影通常采用风格化的卡通形象。如果我们将这些都纳入进数字人的范畴，则它的涵义将仅限于“3D人形”的概念，而无法成为一种新的趋势和创新。
▲ Digital Emily 由数字人联盟为Wikihuman项目创建
数字人是艺术化与结构化的3D模型
另一个重要的区别是，数字人是结构化的3D模型，其中不包括AI换脸或初始三维扫描的成果。对于不熟悉3D管线的人来说，“结构化”意味着其数据已经组织好，并且已经经历了使其“可以投入生产”的某些步骤。相反，因为用户无法完全控制3D对象，AI换脸或初步的三维扫描是非结构化的。
▲ 快速创建工业级数字人的MetaHuman Creator
数字人的制作需要经历一些列生产管线（ProductionPipeline），期间3D艺术家会负责它的重新拓扑、纹理化和绑定，以确保可以在制作中使用。非结构化扫描除了按原样显示外观外不能直接拿来制作，尽管4D捕获可能会改变这一事实（比如上文提到的DI4D的4D面捕方案）。
什么是虚拟人？
虚拟人，数字人，区别是什么？
上面这两个术语通常可以互换使用。它们都是非常新的趋势概念，尽管数字人类的概念想法早在1980年代的科幻小说里就得到了普及，包括虚拟演员、合成人、数字克隆等词汇。
▲ 1979年电影《异形》中的合成人
概括地说，如果数字人是逼真的3D模型，则虚拟人将接近于人类自身。“虚拟”一词毕竟意味着这个人几乎和你我一样真实。它考虑了所说的人的职业、个性和故事。数字人是复杂高端昂贵的3D资产，而虚拟人可以是助手、演员、网红，简而言之就是有工作的数字人。当然有人可能会辩称，并非所有虚拟人都是数字人，有些人可能是风格化的人物或卡通人物形象。
▲ 左：日本彩虹社虚拟主播白雪巴
▲ 虚拟主播Codemiko和她背后的美女“技术员"
数字人和虚拟人的重要划分来自于虚拟人从3D资产转化成“活生生”的人类的层面。数字人更偏向于资产，而虚拟人还要考虑它的应用场景。此外，虚拟人常常集合在某个软件中，通过某一某块业务的熟练或敏锐度来完成特定的服务目的。
▲ 魔珐科技推出的虚拟人AI助理
虚拟人可以是虚拟助手服务人员或成为一名虚拟网红。他们的目的可能是充当你的IT中台工程师；你的第一个HR联系人或成为你在Instagram上的冒险伙伴。但最重要的是，它们是需要集成的，无论是在软件中、在社交媒体上还是在某个故事中。考虑到高端3D人体模型的复杂程度，集成是一件非常棘手的事情。
虚拟人和人工智能
显然，虚拟人与人工智能紧密相关，所有声称致力于虚拟人的公司也常常伴有不同程度的AI专业知识。一些公司甚至将AI视为其主要方向比如虚拟助手Amelia，为企业定制的人工智能平台。
▲ Amelia IPSoft的虚拟助理
另一方面，在像Brud或Diigitals这样的社交媒体上运作的虚拟助理，更多是在讲故事和交流，并未直接使用人工智能技术。
▲ Roman，Soul Machines的虚拟人
（请注意，公司将他称为数字人）
但是，即使是还没有人工智能需求的公司，将来也很有可能会使用它。人工智能是可扩展性的关键，而可扩展性可以将数字人趋势转变为蓬勃发展的行业。当然，还有很长的路要走，尤其是虚拟人的情感动作和反应。即使我们能够让虚拟人执行某些任务，他们仍然缺乏人类独特的情感表达能力。
数字替身
数字人或虚拟人通常具有自己的身份。相反，数字替身是真实人类的复制品，不只是名人。它不是要创建一个随机的Avatar木偶，也不是从头开始设计一个人，而是要尽可能忠实地还原公众人物的外观和表情。他们的背景和法律含义有所不同。
▲ 数字王国软件研发主管Doug Roble
及他的数字替身“ DigiDoug”
数字替身和数字群演的区别在于，它不是根据未知三维扫描对象且需要被修饰。它们的概念可能会混淆，因为许多已知角色背后的扫描对象都是不出名的普通人，他们有时甚至在不知不觉中出售了自己的肖像权。但是，我们不应该将这些情况视为数字替身，因为在此过程中原始“主人”的身份已被“清除”。
视觉特效和游戏中的数字替身
数字替身大部分出现在电影的视效部分中，通常他们的应用包括：面部替换，数字特技替身，生物类型变换或体征变换，例如电影《本杰明巴顿奇事》中本杰明巴顿的衰老特效和《爱尔兰人》的年轻版替身。
▲ 右图为在《本杰明巴顿奇事》中老去的布拉德皮特
特效公司MPC曾在《银翼杀手2049》中成功还原除了1984版本的女主瑞秋，当时的女演员肖恩杨（Sean Young）在拍摄第二部时已经50多岁了，特效团队扫描了她的头部模型，获得了准确的头骨，然后将建模人员根据当年瑞秋表演片段的参考，制作了一个真实的数字替身。
▲ 电影《银翼杀手2049》中
老版瑞秋（肖恩杨饰）的数字替身
视觉特效行业并不是唯一涉足数字替身的行业。随着视频游戏和实时技术逐渐变得足够强大，再现名人也变得不再遥不可及。之前的体育游戏虽然大量出现了数字替身，但由于硬件限制，真实感有限。但经过很长时间的行业更新换代后，诸如像基努里维斯（Keanu Reeves）出现在《赛博朋克2077》；诺曼里德斯（NormanReedus）成为《死亡搁浅》里的主角；马克哈米尔（Mark Hamill）、吉莉安安德森（Gillian Anderson）和亨利卡维尔（Henry Cavill）出现在游戏《星际公民》等数字替身案例变得越来越普遍。
▲ 《赛博朋克2077》中的基努里维斯数字化形象
▲ 《死亡搁浅》中的诺曼里德斯数字化形象
围绕数字替身的法律和道德问题
简单的数字人和数字替身之间的区别主要在法律含义。就数字人而言，其图像版权通常位于灰色地带，并可以随时通过建模软件进行改变。这可能会引起争议，因为3D模型与静态图片有很大不同，完整复制的可能性几乎没有。当公司从头开始创建数字人时，它可以规避任何棘手的法律问题，而数字替身不可避免地会面临这些问题。
其中，部分虚拟人也涉及到了同样的问题，比如明星个人的专属虚拟人形象，虽然不属于数字替身范畴，但同样会受到版权和法律的约束。
▲ 迪丽热巴及其虚拟形象“迪丽冷巴”
▲ 黄子韬的虚拟形象“韬斯曼”
说到法律的灰色地带，道德问题呢？数字替身在这方面引发了许多有趣的讨论。使演员复活并让其职业生涯永恒不是一件新鲜事，在电影《星球大战：盗贼1》中，彼得库兴（PeterCushing）扮演塔金总督再一次出现在了观众面前。想想詹姆斯迪恩（James Dean，已故经典“美式帅哥”形象演员）经过数字替身复活后抢走了瑞安高斯林（Ryan Gosling）的饭碗，也不是完全不可能。
▲ 彼得库兴（Peter Cushing）的数字替身
《星球大战：大盗一号》中的大莫夫塔金
AI换脸（Deepfakes）
AI换脸=数字人吗？
从词汇来看，那完全是两件不同的事情？但其经常被联系在一起，要归咎于以下层面：两者常被一起拿来炒作人工智能及一些相关领域，在某种程度上，它们都创造了可控制的“伪造人类”。
▲ 前一段在抖音大火的“蚂蚁呀嘿”换脸特效
但是，关键的区别在于，数字人是3D模型，这意味着它们是结构化数据包，而AI换脸是神经网络的结果，几乎无法控制结果。此外，AI换脸是图像，以2D格式生成，而数字人则能够放置于3D场景中并与该场景相关的各种软件和硬件相连。这意味着，数字人目前所能达到的运动范围和潜力远远超过了一次AI换脸。
▲ 婴儿版特斯拉创始人Elon Musk，由The Fakening提供
数字人和AI换脸孰优孰劣？
完全操纵的数字人是对人的表情、微表情和解剖学上正确运动的完整模拟。它并不是对2D产生的最终结果进行假拟合，它是一个完整的模拟，它可以复制头骨、肌肉特定皮肤区域脂肪垫和解剖学上正确的关节。这种准确性是捕捉人类表现精细细节的关键。一方面，AI换脸只能执行经过训练后才能执行的操作，并且通常只能提供“足够接近”的结果，只是在病毒般视频传播的背景下令人印象深刻，但在电影中无法使用；另一方面，数字人几乎可以做任何事情，它可以翻白眼、假笑、大笑、诅咒你、受到恐吓而转身逃跑。
▲ 动画工作室Snappers演示了先进的面部绑定
总而言之，数字人是可用于生产的资产，是使用最先进技术的人偶，可用于几乎任何领域，而AI换脸是算法的结果，该算法只会输出一帧一帧经过训练的内容。此外，数字人可以利用基于物理的渲染和技术，例如虚幻引擎的实时毛发模拟。
当然，前面说的那些并不意味着AI换脸一无是处，相反，它的核心技术远比我们到目前用到的有潜力。
▲《星球大战》中用老版莱娅公主的脸替换到年轻女演员上
AI换脸的潜在影响及潜力是巨大的，尤其是当有一天其真实性可以跟3D模型相匹配时。我们甚至可以想象，有一天类似的技术将取代3D建模。毕竟，计算机图形学世界中最重要的是结果，而不是如何实现。
不断变化中的技术和概念
数字人技术无疑会吸引越来越多的热度和目光。这是一个不断创新的领域，但同时在过程中无法避免一些误区和理解混乱。定义一个创新领域中的新概念是具有挑战性的，甚至可能是徒劳的尝试，因为这一切都在高速发展和变化之中。
▲ 韩国女团aespa的四位真人成员
及她们各自的虚拟角色形象
▲ R&B歌手Tinashe操纵自己的虚拟人
在Tiktok举办的虚拟演唱会
尽管如此，这项工作还是富有成果的，因为这些词汇本身并不像它们所代表的网络概念那么重要。这里唯一可以明确结论是，数字人并不是一个同质的大集合概念，在数字人领域内也会发展出截然不同的项目和挑战。
虚拟人类的历史仍在酝酿之中，很高兴我们能够一起见证它的发展。
参考来源：
VIRTUALS：《Digital humans, virtualhumans, digital doubles… what’s the difference?》
一条：《4亿人愿意买单，虚拟偶像时代来了７
- END -
