動画生成AIを中心に、AIだけでストーリーものが作れるのか、に挑戦してみました。
いきなりですが、完成動画はこちらです。
タイトルで全てを言い切ってしまってますが、この動画の制作過程で「どんな妥協があったのか」をご紹介したいと思います。
動画生成AIの使い方
動画生成AIは、Runway Gen-3を利用しました。
生成方法は、一度使えばすぐ覚えられほどシンプル。
ログイン後、「Text/Image to Video」をクリック。
AIへの指示文＝プロンプトを日本語で記入し、「Generate」をクリック。
動画の生成が始まります。
今回、「見たこともない未知の虫＝黄金のカブトムシ」をテーマにしようと考えました。
AIが生成する素材で妥協
Runway Gen-3の「標準プラン：15ドル 625クレジット/月」を契約しています。
「625クレジット」と言われてもピンとこないでしょう。
しかし、この動画を作った今、僕なら堂々と言えます。
「ぜんっぜん足らん！」と。
具体例を挙げます。
Runway Gen-3では、５秒間の動画を生成するのに、50クレジットを使います。
次のようなカットを生成してみました。
プロンプト記入欄に「少年が田舎の祖父母の家を訪れる。玄関で、祖父母が暖かく迎え入れてくれる」を入れます。
すると、左手が３本ある少年が生成されました。
慌てて、プロンプトを変えます。
「少年が田舎の祖父母の家を訪れる」
今度は、なぜか少年が二人に増えている！
プロンプトを根本的に書き換えます。
「田舎町。一軒の農家へ続く道を、一人の少年がトボトボ歩いている。少年の後ろ姿」
このやりとりで、150クレジットも使ってしまった。
実は、本稿を書き始めたのは先月のこと。
サンプル動画を作る過程で、試しているうちにあっという間にクレジットを使い切り、翌月にクレジットが復活するのを待つ羽目になったのです。
物語を作るには、一つ一つのカット（素材）に対し、いろんな要望があります。
構図（カメラアングル）や人の配置、カメラワークなどなど。
プロンプトを記入して生成して、またプロンプトを直して生成して・・を繰り返していきます。
が、これも、クレジットの壁があり、いつまでもやってるわけにもいかない。
例えば、主人公の少年は日本人にしたかったんですが、ヨシとしました。
昆虫も本当は、「黄金のカブトムシ」とプロンプトに書いたものの、カナブンっぽく表現されました。
もっとカットの数を増やし、思い通りの動きや構図にしようと考えると、ちょっとゾッとします。
つまり、気に入らない素材でもどんどん妥協していかないと、なかなか先に進めない。
ストーリーで妥協
少年と黄金の虫（カナブン）。
これを元に、ストーリーを考えることにしました。
ChatGPTに、「黄金のカブトムシをテーマに、５カットで完結する短いショートドラマを考えてください。」と指示を出してみました。
それっぽいストーリーが生成され、ChatGPTは、
『このストーリーは、タケルが自然の美しさと生命の尊さを学び、感謝の心を持って大切なものを手放す勇気を持つ成長物語です。タケルと黄金のカブトムシとの絆は、見る者の心を温かく包み込みます。』
などと自信満々。
しかし、話があまりに複雑で長かったので、おもいっきりはしょることにしました。
（長いストーリーを動画にするには、クレジットが足らない！）
ナレーション音声の妥協
セリフがないドラマなので、ナレーションを入れました。
使用したのはこちら。
完成動画の音声は、デフォルトのもの。
一通りの声を試しましたが、どれも気に入らず。
本当は、もっと柔らかく包み込むような声で、ゆったりと語ってほしかった。
音楽で妥協
音楽は、こちらの記事を参考に用意しました。
『AI作曲サービス「LoudMe」を使って曲を作ってみた』
LoudMe
https://loudme.ai/
「Description」に曲の内容を記入し、「Lyrics」でInstrumental（演奏だけ）を選択し、最後に「Create」をクリック。
２曲生成されますが、「Instrumental」を選択したのに、歌声が入っているのは、無料版ダウンロードだからでしょうか。
また、都合いいところで音楽を盛り上げたい、といった使い方はまだ厳しそうです。
まとめ
画像生成AIはそこそこやり込んでる僕ですが、動画生成にはかなり難しさを感じます。
プロンプトを使う動画生成は、
＜テキスト →イメージ化 →動きをつける＞
という２段階がある。
画像生成AIが二人羽織なら、動画生成AIは二人羽織の背後の人に無線で指示を出してる感じ。
よく、新しいAIの技術について、「こんなにすごい！」と素材が公開されてるのを見ます。
そこに嘘はないのでしょうが、そのサンプルに行き着くまでに、裏側で結構な努力があるのではないか、と勘ぐります。
動画生成AI。
もう少し腰を据えてお付き合いをしてみたいと思います。
