Omniverse ™ Audio2Face beta 是一个参考应用程序，它简化了 3D 角色的动画以匹配任何画外音轨道，无论您是为游戏、电影、实时数字助理制作角色动画，还是只是为了好玩。您可以将该应用程序用于交互式实时应用程序或用作传统的面部动画创作工具。实时运行结果或将它们烘烤出来，由您决定。
Omniverse Audio2Face 是一个参考应用程序，可简化 3D 角色的动画以匹配任何画外音轨道。它预装了一个 3D 角色模型，可以用画外音轨道进行动画处理，音频输入被馈送到预训练的深度神经网络，输出驱动角色网格的 3D 顶点以创建面部动画即时的。它还具有角色转移功能，允许用户重新定位到任何 3D 人或类人脸，并允许他们使用场景中的多个角色缩放输出并使用 AI 网络控制角色的情绪。它还具有允许混合形状转换和混合权重导出选项的数据转换功能，并支持使用 Blender 和 Epic Games Unreal Engine 的 Blendshapes 导出导入，为角色生成运动。
使用生成式 AI 轻松实现音频到动画
怎么运行的
Audio2Face 预装了“Digital Mark”——一个可以用你的音轨制作动画的 3D 角色模型，所以入门很简单——只需选择你的音频并上传。然后将音频输入送入预训练的深度神经网络，输出驱动角色网格的 3D 顶点以实时创建面部动画。您还可以选择编辑各种后处理参数来编辑角色的表现。您在此页面上看到的结果大部分是 Audio2Face 的原始输出，几乎没有或没有编辑后处理参数。
使用录音或动画直播
只需录制一段语音音轨，输入应用程序，即可看到您的 3D 面孔栩栩如生。您甚至可以使用麦克风实时生成面部动画。
Audio2Face 将能够轻松处理任何语言。我们会不断更新越来越多的语言。
字符传输
瞬间换脸
Audio2Face 可让您重新定位到任何 3D 人脸或类人脸，无论是真实的还是程式化的。这使得动态交换角色——无论是人类还是动物——只需点击几下。
规模输出
表达自己——或同时表达每个人
很容易在一个场景中运行多个 Audio2Face 实例，其中包含任意数量的角色 - 所有动画都来自相同或不同的音轨。为二重奏之间的对话、三重奏之间的合唱、同步四重奏等等注入生命和声音。此外，您可以调高或调低每张脸上的面部表情级别，并从多个音频源批量输出多个动画文件。
情绪控制
带来戏剧
Audio2Face 使您能够在眨眼之间选择和激活角色的情绪。AI 网络会自动操纵面部、眼睛、嘴巴、舌头和头部运动，以匹配您选择的情绪范围和自定义的强度水平，或者直接从音频剪辑中自动推断情绪。
数据转换
连接和转换
Omniverse Audio2Face 的最新更新现在支持blendshape 转换和 blendweight 导出选项。此外，该应用程序现在支持使用 Blender 和 Epic Games Unreal Engine 的 Blendshapes 进行导出导入，以使用各自的 Omniverse 连接器为角色生成动作。
数据统计
相关导航
