Runway Charactersの報告から考えるライブアバターの確認項目

ライブ動画アバターを確認するなら、最初の返答までの待ち時間を測り、再生中の停止を観察し、口の動きが音声と合うかを見ます。観察は別々に記録します。返答が速くても、映像が止まったり声が口より先に聞こえたりすることがあります。

Runwayが測ったもの

11月5日の研究報告では、12セッションの51ターンで、ユーザーが話し終えてからアバターの声が聞こえるまでの中央値が2.13秒でした。研究論文は毎秒24フレームの再生に向けて、4フレームずつ生成する仕組みを説明しています。一組が約6分の1秒を占め、そのペースを維持し続けます。中央値はその調査の目安として読み、確認基準は自分の観客に合わせて決めます。

観客側の待ち時間を測る

架空のメイカーイベントを考えます。ブースのライブキャラクターが卓上整理用品の組み立て方を説明します。一つの部品に関する短い質問と、組み立て順を尋ねる長い質問を用意します。本番で使う端末で、同じ言い回しのまま繰り返します。

デモ録画で、来場者が話し終えた箇所と、キャラクターの最初の言葉が聞こえた箇所に印を付けます。待つ間に何が見えるかも書きます。聞き取り中や処理中の表示があれば状態を伝えやすくなります。待ち時間と表示を別々に記録しておくと、それぞれを検討できます。

返答の最後まで停止を探す

最後の言葉まで追い、映像が止まったり音が途切れたりした位置を記録します。顔、声、両方のどれが止まったかを書けば、チームが録画から該当箇所を探せます。長い返答では、冒頭か数文の後かも記録します。

試行ごとに端末と接続環境を残します。実際のブースの回線で再生が変わる場合は、違いを記録して同じ質問を繰り返します。その観察を次の調査に使います。

発話と口の動きを照らし合わせる

「パーツ」など、唇の閉じ方が見やすい語を含む短い区間を再生します。声と口を同時に確認し、口が先か後か、返答の途中でずれが変わるかを書きます。冒頭だけでなく終盤の区間も確認します。

チームが見直せるよう、録画の該当部分、時刻、返答のきっかけになった質問を保存します。

繰り返せる確認表を残す

質問ごとに試行、端末、待ち時間、停止、口のタイミングを一行にまとめます。ブースで許容できる点と再確認が必要な点に印を付けます。対話の設計にはTongのライブ音声体験ガイドを参照できます。Tong Academyにも制作確認の資料があります。