“吃肉的时候绝不吃主食,并且只吃七分饱。”4月16日,久未出现在公众视野的京东创始人刘强东以AI分身(以下简称“采销东哥AI数字人”)的形式出现在京东超市采销直播间,介绍着自己的生活饮食习惯,边说还边卖起了牛排、水果等产品。
与此同时,采销东哥AI数字人还同时在京东家电家居采销直播间进行直播,在该直播间采销东哥AI数字人主要带空调、电视等家电产品。
在直播间中,采销东哥AI数字人身穿蓝色西装外套和白色衬衫,在为观众讲解商品的同时,口型与手势均会做出相应的变化,表情、音色、神态与本人高度相似,并且可以完成讲解、简单的活动互动、上链接等指令。
截至发稿,两个直播间的观看量都超过1200万,多款采销东哥AI数字人推荐的产品也已售罄。采销东哥AI数字人未来或将继续出现在直播间,其直播时表示下次还会来直播。
据悉,刘强东的AI数字分身由京东云言犀打造。一般而言,数字人的还原度与AI训练与“投喂”的素材有关,为了高度还原刘强东本人,京东方面是如何做到形似又神似的?
据京东云方面介绍,形象训练时,大模型捕捉并呈现了刘强东的习惯性表情和动作,比如在讲话时偶尔搓动手指,强调某件事时会配合更大幅度的手部动作,以及时不时点头,等等。
京东云方面表示,“声音训练时,听过东哥讲话的人,对他的宿迁口音印象深刻,还会发现他语速比较快,吐字比较轻,有些词语会习惯连读,他对‘时间’‘正是’中的‘sh’发音带有重鼻音,还喜欢称呼‘兄弟们’鼓舞大家的士气……说好普通话并不难,但要让采销东哥AI数字人说好宿迁普通话,学习本人的发音习惯并不容易。比如要不要加鼻音,哪里要连读,就需要大模型给出准确判断。”
除此之外,数字人的声音还需要更适合直播带货,以及把“兄弟们”这样的口头禅用在合适的地方。
京东云言犀团队也对这些细节进行了模型调优。他们起初“喂”给大模型的演讲素材,虽然充满激情、爆发力强,但过于正式。为此,他们用最新录制的闲谈作为主要素材,其中有刘强东娓娓道来生动的旅行经历,再提取5分钟演讲的韵律特征灌给大模型,通过不断优化,最终塑造出AI数字人亲切自然、贴近用户的声音。