近两年,Cocos 将“触角”延伸到了虚拟角色领域。Cocos CEO 林顺十分看好元宇宙的发展,他认为元宇宙技术带来的颠覆性改革,或许可以媲美上一个软硬结合的划时代发明——互联网。林顺认为,元宇宙有三种呈现形态:虚拟空间、增强现实、平行世界。而不论是哪一种呈现形态,不管是哪一种虚拟世界,都需要一个强大的 3D 技术作支撑。
3D 技术正是 Cocos 的擅长领域,Cocos 在该领域已有数年技术积累,凭此入局元宇宙已是水到渠成,Cocos 更是直接成立了虚拟角色项目团队。
Cocos Avatar SDK 最核心的三个特点是高性能、可热更、易使用。它提供了 SaaS 化美术素材托管与热更服,通过对“指定素材的分发、热更 + SDK 展现 + 编辑器快速编辑”的逻辑,Cocos 形成了一个开箱即用的虚拟角色创建、展示能力工具集,不仅能够让传统的软件开发商无需追加 3D 开发人员即可立即拥有虚拟角色的加载、替换、捏脸、换装、插入视频播放、替换 2/3D 背景和场景、3D 空间音频等能力,而且内置动捕、面捕、WAV 口型播报等 AI 能力,能够接收本地/远程的结构化数据,驱动虚拟人进行表情、动作、口型、特效等表演。
Cocos 虚拟角色编辑器预览
Cocos Persona Editor 编辑器的逻辑是,从预制模型到直接输出,内部已预制了多种不同风格的虚拟角色的基础模型,提供了 200 多个参数,包括脸型、服装、道具、妆容、鞋子、配饰等,用户可以通过预设的参数创建虚拟角色。与创建游戏角色的逻辑类似,通过 Cocos Persona Editor 编辑器,用户选择想要的美术风格,选择想要的虚拟角色的类型,再进行捏脸,选择动作、表情等,就可以输出一个虚拟角色。
渲染、AI 接入五大关键技术
据悉,目前 Cocos 基于虚拟人已实现了建模、口型、动捕、渲染、AI 接入五大关键技术。
高度自定义角色编辑 & AI 建模
预置角色模型拥有多达 263 个脸部、身体调节系数,支持用户自主开发独一无二的虚拟形象。同时 AI 建模技术能让用户利用照片快捷生成真人数字化身。
实时渲染
渲染能力对虚拟角色来说非常重要,这也是 Cocos 引擎所提供的一项基础能力。
渲染分非实时渲染和实时渲染两种逻辑。以前影视剧、动画中逼真、漂亮的虚拟角色,大多是离线,非实时渲染出来的,先给虚拟角色做好 3D 模型,再在离线渲染器中渲染出来。这类虚拟角色的存储格式是视频,交互较困难,无法做到和人进行交互。
如果希望虚拟角色能够像真人一样说话,并展现相应的表情和体态动作,让人觉得是舒服、有温度的交流,这就需要有实时渲染的能力。现在大量数字人应用场景里的虚拟助手、身份 IP、偶像 IP 等,都要求虚拟角色被实时渲染出来,且能够被驱动起来,包括脸部驱动、身体、动作、手势驱动等。让虚拟角色在移动端能够跑起来且能够跟人做实时交互,这也需要用较小的算力把虚拟角色渲染出来。此外,在虚拟角色应用的场景里,如在虚拟角色在元宇宙里开会、办公、展览等,这些场景实现都依赖实时渲染能力。
与卡通、二次元类的虚拟角色相比,写实的虚拟角色对渲染管线的要求更高,且需要采用不同的渲染技术,如次表面反射、双向反射分布函数等。Creator 3.6 版本在 3D 画面渲染能力上,重点优化了对 3D 内容非常重要的材质导入功能与渲染算法,包括 Surface Shader 自定义材质、CSM 级联阴影、各向异性光照模型、GGX 环境反射卷积图等,以达到更好的渲染效果。