ElevenLabsは2026年10月28日の研究記事で、文字起こしの各文字を音声の時間軸上に配置する強制アライメントモデルCueを紹介しました。同社によるとScribeの文字起こしに使われ、Forced Alignment APIからも利用できます。
動画制作者にとって、言葉がいつ話されたかを知ることと、それを画面でどう見せるかを決めることは別の作業です。アライメントは時間合わせの基礎になりますが、読みやすい字幕には文章、映像、観客への配慮が必要です。
文字起こしと時間合わせを分ける
文字起こしは言葉を用意し、強制アライメントは渡された文章を録音に対応させます。まず固有名詞、抜けた語、句読点を直し、公開する演技や発話に文章を合わせます。
文章が間違っていれば、タイムスタンプを細かくしても意味は直りません。不確かな箇所は聞き直し、整った文字起こしだけを正確さの証拠にしないでください。修正した文章を対応する音声ファイルと保存します。
最終版の音声で合わせる
編集に使うナレーションや台詞の版を使います。後から冒頭の間を削り、台詞を差し替え、再生速度を変えると、言葉と時刻の関係がずれる場合があります。
引き渡しには音声の版、対応する文章、アライメント結果、字幕の書き出しを含めると便利です。録音が変わったら、時刻データがまだ対応しているか確認します。小さな版管理で、古いずれが新しい編集へ残ることを防げます。
三つの短文で確認する
独自の練習文は「ここで待って。雨の音を聞いて。今、扉を開けて」です。意図的な間のある演技を録音または選択し、各文の始まりと終わりを音声に照らして確認します。
一度は音を聞きながら、もう一度は字幕に集中して見ます。発話前に次の動作を明かしていないか、ショットが変わった後も字幕が残っていないか確認しましょう。これは提案する編集練習で、Cueの実測結果ではありません。
読みやすい意味のまとまりに整える
文字単位の時刻があっても、一文字ずつ表示する必要はありません。意味のある単位にまとめ、自然な改行を選び、想定するプレーヤーの大きさで見ます。
W3Cの字幕案内は、場面の理解に必要な重要な非言語音も扱います。画面外の音や話者の変化が物語に関わる場合は考慮しましょう。同期だけでなく文章と見せ方も確認します。翻訳字幕には別途言語の確認が必要で、アライメントそのものは翻訳を作りません。
字幕を完成映像と結び付ける
本文で述べたCueの提供先はElevenLabsです。Tongで映像を計画する際は、映画的なAI動画のガイドが動作、光、カメラを整理し、モデル一覧が対応する制作手順を示します。
納品前に最終映像、音声、字幕ファイルを一緒に再生します。信頼できる仕上がりは、正しい言葉、適切な時刻、読みやすい表示の組み合わせです。精度の数値だけで決まるものではありません。
出典・参考資料
- ElevenLabs: Cue forced alignment announcement
- ElevenLabs: Forced Alignment documentation
- W3C WAI: Captions and subtitles
AIの支援を受けて作成しました。出典は上記のリンクをご覧ください。
