还记得NVIDIA ACE吗? NeMo SteerLM拥有可定制属性,AI驱动的NPC引擎现在变得更好

NVIDIA的ACE技术在AI的帮助下打造逼真的交互式NPC,现在借助新的NeMo SteerLM工具变得更加出色。
NVIDIA-ACE-NeMo-SteerLM-AI-NPC-_1-2.png

回到2023年Computex,NVIDIA推出了ACE(Avatar Cloud Engine),它使用AI驱动的框架打造NPC。 这些NPC可用于各种应用,例如游戏和Omniverse等。 主要目的是利用AI使NPC更加真实地行动并反应玩家的操作,而不是向他们提供预先配置的对话框。 这有点像NPC的程序打造,但需要人工智能的帮助。
NVIDIA-Gamescom-2023-Update-_-ACE-scaled.jpg
以下是 NVIDIA 如何分解该模型的基础:

  • NVIDIA NeMo —用于使用专有数据打造、定制和部署语言模型。 大型语言模型可以通过传说和角色背景故事进行定制,并通过NeMo Guardrails防止产生适得其反或不安全的对话。
  • NVIDIA Riva ——用于自动语音识别和文字转语音,以实现即时语音对话。
  • NVIDIA Omniverse Audio2Face —用于实时打造游戏角色富有表现力的面部动画,以对应任何语音轨道。 Audio2Face有适用于虚幻引擎 5的Omniverse连接器,因此开发人员可以直接向MetaHuman角色添加面部动画。

NVIDIA ACE的工作原理是接收玩家的语音输入,该语音输入首先使用Riva语音转文件模型转换为信息。 该文件被转发到NeMo,这是由一种人工智能驱动的大型语言模型 (LLM),它会生成对玩家的反应,并将其再次传递到Riva以将文件转换为语音。 然后数据由Omniverse Audio2Face引擎处理,该引擎为NPC即将讲话的文件生成可信的脸部动画,这就是ACE的工作原理。

但为了进一步增强ACE的功能,NVIDIA设计了一个名为NeMo SteerLM的新工具,它是一个额外的语言模型,为ACE引擎添加了可定制的参数和属性。 例如您可能希望某个NPC根据一组特征以特定方式做出反应,而不是让AI预先确定它们。 您希望NPC对玩家的反应是有趣的、讽刺的、愤怒的或您能想到的任何属性,这本质上就是NeMo SteerLM帮助开发人员实现的目标。
NVIDIA-ACE-NeMo-SteerLM-AI-NPCs-g-low_res-scale-4_00x-Custom.png
在所示的示例中,NVIDIA展示了使用和不使用NeMo SteerLM时ACE AI生成的以下反应:

玩家:嗨,Jin,你的拉面生意怎么样了?

Jin [ACE生成的NeMo]:这几天速度很慢。

玩家:你认为这是为什么? 你的拉面好吃吗?

互动#1 [AI-设置属性]-

Jin【ACE生成的NeMo】:我想是的,不知道为什么慢。

互动 #2 [创造力:3 / 乐于助人:9] –

Jin [ACE 生成的 NeMo SteerLM]:我认为我添加的新风味可能会导致该问题。 我不确定我是否可透过添加一些新鲜的韩国辣椒使其更辣。 这可能就是问题所在。

互动#3 [创造力:3 / 幽默感:9] –

Jin [ACE 生成的 NeMo SteerLM]:我不知道,我看不出现在的生意如此缓慢,我几乎要破产了。 感谢上帝我已经结婚了。

互动#2 [创造力:3 / 毒性:9 / 有用性:2] –

Jin【ACE生成的NeMo SteerLM】:你是在质疑我的厨艺吗? 我的店开张的唯一原因是我的拉面。

正如您所看到的,ACE NeMo SteerLM在每个属性下提供了不同的反应。 没有任何回应与之前的回应相同,或者像第一次互动那样平淡无奇。 再次强调此处使用的技术仍处于早期开发阶段,因此预计很快会有更多更新。 就采用率而言STALKER 2和Fort Solis据说将是第一批将ACE导入游戏领域的游戏。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表回复

登录后才能评论