虚拟滑块实验室_不认真er的产品说|第三季：虚拟人，从云端到亲自实践——解密三星虚拟人...

作者在去年12月制作的唐代诗人bot

既有“自然交互”的理想&＃xff0c;又有“数字孪生”的梦幻&＃xff0c;虚拟人&＃xff0c;这是一个在科学和科幻的模糊交界处令人心醉的存在。

从二维的传统画像&＃xff0c;到立体的数字人类&＃xff0c;多种多样的虚拟人实践是不认真er在2019年里进行的一项十分有趣的工作。

作者在去年9月制作的老年人虚拟人bot

虚拟人承载着用户对拟人化的视觉追求&＃xff0c;以及直觉化的交互追求&＃xff0c;如果说前者是“皮相”和“骨相”&＃xff0c;那么后者则是“心相”和“动相”。

虚拟人总体架构设计

(作者在2018年底的研究)

那么&＃xff0c;目前虚拟人在视觉层面和交互层面上&＃xff0c;有哪些不同方案的制作路线呢&＃xff1f;不认真er结合自己的实践探索进行了一番总结和解密。

视觉层面

CG路线与对抗式神经网络路线

CG路线的虚拟人&＃xff0c;来自DEXTER

对抗式生成网络路线&＃xff1a;由作者利用StyleGAN及面部属性编辑器制作

交互层面

标记-驱动路线与帧序列-播放路线

①标记-驱动路线

采用标记-驱动路线的虚拟人NEON

三星虚拟人家族演示

虽然三星并未公开NEON的技术路线&＃xff0c;但不认真er经过仔细比对2019年CES展上虚拟人NEON的演示画面&＃xff0c;和近些年来自三星的论文&＃xff0c;从中找到了一些蛛丝马迹。

现场演示里红色区域

论文当中的红色区域

不认真er用红笔圈出了技术“暗示”&＃xff0c;演示现场和论文里都出现了这种十分相似的用来标记人脸的线条&＃xff0c;那么论文里作者向我们展示了一件什么工作呢&＃xff1f;

——只需一张人脸照片&＃xff0c;就能创造此角色新的动态头部/人脸表情。

论文解读地址&＃xff1a;

 https://blog.csdn.net/qq_34914551/article/details/90680883 

除了对人脸表情的学习&＃xff0c;更进一步&＃xff0c;三星在CES现场所演示的人脸表情控制&＃xff0c;则离不开一个参数化的编辑器。

主持人手持平板拖动滑块&＃xff0c;来控制虚拟人表情

那么&＃xff0c;这样的编辑器长什么样呢&＃xff1f;

正如上文那位帅哥的眨眼所用到的编辑器&＃xff0c;不认真er认为三星的虚拟人也应用了类似的人脸编辑器&＃xff0c;从而实现了不同人脸部位的实时参数化驱动。

在一张静态人脸图片上提取对应的关键点&＃xff0c;并把这些关键点连接成标记线&＃xff0c;然后最后由编辑器负责将这些标记线进行实时驱动&＃xff0c;最终逆向映射到人脸的整体运动(或者由编辑器直接大量生成表情帧&＃xff0c;实时合成为视频)&＃xff0c;这或许就是三星虚拟人的基本技术原理。

②帧序列-播放路线

即利用语音控制视频帧序列的播放

在unity中实现的苏东坡画像bot&＃xff0c;其交互路线和文章开始的诗人bot类似

以上大概就是虚拟人的”一般制作手册“啦。(部分虚拟人项目和技术由于保密等原因不公开&＃xff0c;敬请谅解)

正如三星虚拟人的设计者、Star labs战略负责人Bob Lian所说&＃xff1a;“我们希望创造一个有自己的表情、行为、情感、甚至感觉和记忆的新生命。“虚拟人的理想几近梦幻&＃xff0c;令人迷醉。

凯文·凯利曾经预测道&＃xff1a;“不久的将来&＃xff0c;现实世界中的每一个地方和事物 —— 每一条街道、每一个灯柱、每一栋建筑物和每一个房间 —— 都会在镜像世界中拥有它的全尺寸“数字孪生兄弟。”

虚拟人&＃xff0c;可以是助理/秘书/伴侣&＃xff0c;也可以是你在虚拟世界里的孪生复制品&＃xff0c;那么&＃xff0c;朋友们&＃xff0c;大家认为自己的虚拟人应该是什么样子&＃xff0c;有哪些功能呢&＃xff1f;

对虚拟人感兴趣的同学&＃xff0c;欢迎私信我聊天&＃xff0c;maybe我们可以尝试建立一个关于下一代虚拟人的研究实践型社群。

我是不认真er&＃xff0c;来我这&＃xff0c;看到新鲜。

鸣谢&＃xff1a;感谢自己在清华大学未来实验室实习期间的mentor、人工智能专家高峰博士&＃xff0c;感谢他给予我探索虚拟人的动力。