AI音声読み上げ・AIナレーション作成

声を選ぶ

• デザインした声より、ライブラリの声のほうが良かった。テキストの説明から作った声は芝居がかって聞こえました。プロが用意した既製の声は自然で映画的に聞こえ、そのうちの1つがミラの声になりました。このツールの声も既製の声です。
• 1人のキャラクターに1つの声。同じ顔を使い続けるのと同じように、どの動画でも同じ声を使います。

会話とリップシンク

• 短いセリフは動画モデルに任せられる。Seedanceは短いあいさつを一字一句そのとおりに話しました。2人が話す30秒のテイクではいくつかの単語が崩れたので、台本をEleven v4で録り直しました。
• 新しい声を単語のタイミングに合わせる。生成したテイクを文字起こしして単語ごとの時間を取り、新しい録音を音程を変えずに伸び縮みさせて合わせました。ずれは約20ミリ秒以内に収まりました。
• 伸ばすのは画面に映る人だけ、それも少しだけ。画面に映る話し手のセリフは速さを変えて何通りか録り、伸び縮みがいちばん少なくて済むテイクを使います。上限は25%です。カメラマンは画面に映らないので、そのセリフは自然な速さのままにしました。詰めると聞き取りにくくなったからです。

笑い声、その場の音、ミックス

• 動画モデルの笑い声を残す。このシーンでは[laughs]タグの笑い声が作り物に聞こえました。動画モデルが生成した笑い声は表情と合っていたので、クリップの音声から切り出して残しました。
• クリップ自体の背景音を使う。足音、ざわめき、鳥の声は、別に生成した効果音ではなく動画モデルの音を使いました。動画モデル自身の話し声は単語ごとに40dB下げ、新しい声だけが聞こえるようにしました。
• その背景音だけをラウドネス正規化しない。下げたトラックを正規化すると、残っていた話し声がまた大きくなります。代わりに固定のゲインをかけます。
• リバーブは軽く。直接音の10分の1程度までにし、強い初期反射は避けます。コムフィルターの原因になります。
• ミックスは耳だけでなく、測って確かめる。仕上がったミックスを文字起こしして全部のセリフを読み、話し声は背景より12dB以上大きく、メインの声はほかより少し大きくします。最初のミックスでは差が4dBでしたが、最終版では18.7dBでした。

このツールが用意するのは声で、編集機能はありません。セリフをここで生成し、CapCut、Premiere、DaVinci Resolveで並べてミックスしてください。カメラに向かって話すプレゼンターなら、写真リップシンクがリップシンクまで行います。顔から完成した動画までのキャラクター作りの流れは、AIインフルエンサーの作り方にまとめています。

会話

2人以上の話し手がいるシーンを1つのファイルにします。セリフごとに声を選び、セリフの間に[laughs]や[short pause]のようなタグを入れられます。ポッドキャスト、コント、広告の掛け合いに向いています。1つの会話で使える声は最大10種類、文字数は合計2,000文字までで、料金はナレーションと同じく文字数で決まります。

効果音

きしむドア、拍手、雨、場面転換のシュッという音など、説明した音を生成します。長さは3秒から30秒までで、料金は秒数で決まります。5秒の効果音は2クレジット、30秒なら12クレジットです。

音楽

AI作曲（Music Composer）が、説明したとおりの音楽を作ります。ボーカル入りの歌も、インストのBGMも作れます。ジャンル、雰囲気、楽器を書き、歌詞は引用符で囲みます。長さは15秒から3分までで、30秒の音楽は18クレジット、3分なら108クレジットです。音楽は商用利用できます。