動画生成AIでショートドラマを作ってみたけれど、これはもう、妥協との戦いである。

動画生成AIを中心に、AIだけでストーリーものが作れるのか、に挑戦してみました。

いきなりですが、完成動画はこちらです。

タイトルで全てを言い切ってしまってますが、この動画の制作過程で「どんな妥協があったのか」をご紹介したいと思います。

 目次
  • 動画生成AIの使い方
  • AIが生成する素材で妥協
  • ストーリーで妥協
  • ナレーション音声の妥協
  • 音楽で妥協
  • まとめ
  • 動画生成AIの使い方

    動画生成AIは、Runway Gen-3を利用しました。

    https://runwayml.com/

    生成方法は、一度使えばすぐ覚えられほどシンプル。

    ログイン後、「Text/Image to Video」をクリック。

    AIへの指示文=プロンプトを日本語で記入し、「Generate」をクリック。

    動画の生成が始まります。

    今回、「見たこともない未知の虫=黄金のカブトムシ」をテーマにしようと考えました。

    AIが生成する素材で妥協

    Runway Gen-3の「標準プラン:15ドル 625クレジット/月」を契約しています。

    「625クレジット」と言われてもピンとこないでしょう。
    しかし、この動画を作った今、僕なら堂々と言えます。

    「ぜんっぜん足らん!」と。

    具体例を挙げます。
    Runway Gen-3では、5秒間の動画を生成するのに、50クレジットを使います。

    次のようなカットを生成してみました。

    プロンプト記入欄に「少年が田舎の祖父母の家を訪れる。玄関で、祖父母が暖かく迎え入れてくれる」を入れます。
    すると、左手が3本ある少年が生成されました。

    慌てて、プロンプトを変えます。
    「少年が田舎の祖父母の家を訪れる」

    今度は、なぜか少年が二人に増えている!

    プロンプトを根本的に書き換えます。
    「田舎町。一軒の農家へ続く道を、一人の少年がトボトボ歩いている。少年の後ろ姿」

    このやりとりで、150クレジットも使ってしまった。

    実は、本稿を書き始めたのは先月のこと。

    サンプル動画を作る過程で、試しているうちにあっという間にクレジットを使い切り、翌月にクレジットが復活するのを待つ羽目になったのです。

    物語を作るには、一つ一つのカット(素材)に対し、いろんな要望があります。
    構図(カメラアングル)や人の配置、カメラワークなどなど。

    プロンプトを記入して生成して、またプロンプトを直して生成して・・を繰り返していきます。
    が、これも、クレジットの壁があり、いつまでもやってるわけにもいかない。

    例えば、主人公の少年は日本人にしたかったんですが、ヨシとしました。
    昆虫も本当は、「黄金のカブトムシ」とプロンプトに書いたものの、カナブンっぽく表現されました。

    もっとカットの数を増やし、思い通りの動きや構図にしようと考えると、ちょっとゾッとします。
    つまり、気に入らない素材でもどんどん妥協していかないと、なかなか先に進めない。

    ストーリーで妥協

    少年と黄金の虫(カナブン)。

    これを元に、ストーリーを考えることにしました。

    ChatGPTに、「黄金のカブトムシをテーマに、5カットで完結する短いショートドラマを考えてください。」と指示を出してみました。

    それっぽいストーリーが生成され、ChatGPTは、
    『このストーリーは、タケルが自然の美しさと生命の尊さを学び、感謝の心を持って大切なものを手放す勇気を持つ成長物語です。タケルと黄金のカブトムシとの絆は、見る者の心を温かく包み込みます。』
    などと自信満々。

    しかし、話があまりに複雑で長かったので、おもいっきりはしょることにしました。
    (長いストーリーを動画にするには、クレジットが足らない!)

    ナレーション音声の妥協

    セリフがないドラマなので、ナレーションを入れました。
    使用したのはこちら。

    音読さん
    https://ondoku3.com/ja/

    完成動画の音声は、デフォルトのもの。
    一通りの声を試しましたが、どれも気に入らず。

    本当は、もっと柔らかく包み込むような声で、ゆったりと語ってほしかった。

    音楽で妥協

    音楽は、こちらの記事を参考に用意しました。

    『AI作曲サービス「LoudMe」を使って曲を作ってみた』

    AI作曲サービス「LoudMe」を使って曲を作ってみた

    LoudMe
    https://loudme.ai/

    「Description」に曲の内容を記入し、「Lyrics」でInstrumental(演奏だけ)を選択し、最後に「Create」をクリック。

    2曲生成されますが、「Instrumental」を選択したのに、歌声が入っているのは、無料版ダウンロードだからでしょうか。
    また、都合いいところで音楽を盛り上げたい、といった使い方はまだ厳しそうです。

    まとめ

    画像生成AIはそこそこやり込んでる僕ですが、動画生成にはかなり難しさを感じます。

    プロンプトを使う動画生成は、
    <テキスト →イメージ化 →動きをつける>
    という2段階がある。

    画像生成AIが二人羽織なら、動画生成AIは二人羽織の背後の人に無線で指示を出してる感じ。

    よく、新しいAIの技術について、「こんなにすごい!」と素材が公開されてるのを見ます。
    そこに嘘はないのでしょうが、そのサンプルに行き着くまでに、裏側で結構な努力があるのではないか、と勘ぐります。

    動画生成AI。
    もう少し腰を据えてお付き合いをしてみたいと思います。

    【PR】


    さいたまのホームページ制作運用定額プラン2x2(ツーバイツー)のご案内


    長尺動画制作パッケージのご案内│新浦和映像