审核实时视频数字人时,先测首句回应前的等待,再观察播放中有没有卡顿,最后核对口型是否跟上话音。把三类情况分开记录。回应很快,也可能出现画面冻结或声音先于口型的问题。
Runway 测量了什么
Runway 在 11 月 5 日的研究报告中记录了 12 场会话中的 51 个对话轮次。从用户说完到听见数字人发声,等待中位数为 2.13 秒。研究论文描述了按组生成四帧、以每秒 24 帧播放的方式。每组约覆盖六分之一秒,系统需要持续跟上节奏。把中位数放回其样本语境中理解,再按你的受众需求制定审核标准。
从观众一侧测量等待
设想一个虚构的创客展台,由实时角色介绍桌面收纳盒如何组装。准备一个关于单个零件的短问题,再准备一个关于组装顺序的长问题。在展台将使用的设备上重复提问,保持用词一致,以便比较。
在演示录像中标记参观者说完的位置,以及角色第一个可听见的词。记下等待时参观者能看到什么。可见的聆听或处理提示能让状态更清楚。分别记录等待和提示,便于团队独立处理。
看完整段回答并标出中断
一直看到最后一个词。遇到画面冻结或声音中断就做标记,并写明停下的是面部画面、声音还是两者。这样团队可以定位录像。较长的回答中,要区分问题发生在开头还是几句话之后。
每次尝试都记录设备和连接条件。如果换到展台实际网络后播放发生变化,记下差异并在该网络下重复相同的问题。依据这些观察决定接下来查哪里。
把话音和可见口型对在一起
回放一个嘴唇闭合明显的短段落,例如含有“拼”字的短句。边看边听,记下口型是领先还是落后于声音,以及差距在回答中是否变化。开头和结尾附近都要检查。
录像能帮助团队重新定位。保存片段、观察到的时间点和触发这段回答的问题。
留下一张可复查的记录表
为每个问题记录尝试次数、设备、等待、卡顿和口型观察。标出哪些表现适合展台,哪些需要再检查。关于对话设计,可参考 Tong 的实时语音体验需求指南。更多制作审核资源见 Tong Academy。
来源与延伸阅读
本文在 AI 辅助下创作,来源链接见上方。
