【徹底検証15選】Sora級の動画生成AI「Runway GEN-3」の実力を紹介します！

こんにちは！AIキャンプ®の中村です。今回は高精度な動画生成AI「Runway Gen-3」について紹介します。テキストから動画を作る手法だけでなく、画像から動画生成（Image to Video）やリップシンク、Gen-2のモーションブラシ、１年前に登場したGen-1との比較も紹介します。
OpenAI社のSora、RunwayのGen-3、Luma AIのDream Machineなど、動画生成AIは急速に進化しているため、今のうちから触って慣れておきましょう(^^

▼参考動画
【Luma AI】Sora級の動画生成AI「Dream Machine」の「キーフレーム機能」が面白い！
• 【Luma AI】Sora級の動画生成AI「Dream Machine」の…
超高画質の画像生成AI「Midjourney（ミッドジャーニー）」の最新版v6.1で遊んでみた！
• 超高画質の画像生成AI「Midjourney（ミッドジャーニー）」の最新版…

▼目次
0:00 はじめに
2:06 テキストから動画生成
5:31 画像から動画生成
10:50 リップシンク
12:02 おまけ：Gen-2 モーションブラシ
14:06 おまけ：Gen-1との比較

▼文字起こし

こんにちは、AIキャンプの中村です。今回のテーマはこちら、「動画生成AI Runway GEN-3の制作事例15選」を紹介させていただきます。今回は、今非常に話題になっている動画生成AI、RunwayのGEN-3というものを取り上げます。このRunwayのGEN-3はまだアルファ版、実験版のため、できることは限られていますが、非常に高画質な映像を簡単に作ることができるのが特徴です。テキストを入力するだけで、誰でも簡単に高精度な動画が作れるようになっています。また、最近は「画像から動画を作る」技術、つまり「イメージ・トゥ・ビデオ」も可能になってきており、クリエイティブの世界がさらに広がっています。ここ最近、動画生成AIの発展が急速で、左上がOpenAIが出している「Sora」という動画生成AI、右上が中国が出している「Qiling」、左下が今回紹介するRunwayのGEN-3、そして右下は前回の動画で紹介した「Luma AIのDream Machine」になります。動画生成AIは現在急速に進化しているため、もう数年もすれば、誰でも簡単に映画のようなハイクオリティな映像を作ることができるんじゃないかと思います。また、高額な制作費をかけなくても、テレビCMや広告、商品のPR動画なども作れるようになると思います。ですので、今後ますます注目の技術と言っていいかと思います。そこで今回は、このRunway GEN-3の魅力と、実際に私中村が制作した15の事例を紹介させていただきます。動画生成AIの魅力とその世界観をお楽しみいただければと思います。このチャンネルではChatGPTや生成AIに関する役立つ情報をお届けしますので、よければチャンネル登録もお願いします。それではまず、テキストから動画生成する方法を紹介させていただきます。実際にRunwayのホームページを見てみましょう。使い方はとても簡単です。こちらに「Get Started」ボタンがあるので、それを押したらテキスト入力をするか、あるいは上側に画像を入力するだけで簡単に動画を作ることができます。現在は5秒か10秒のどちらかの動画を作ることができるようです。それでは実際に作った動画をご覧ください。まず1本目がこちらです。クラゲが光っていて夜空に浮かび上がるような映像です。プロンプトは英語で入力しており、Google翻訳したものを参考にしています。こちらはRunwayのホームページに掲載されていたプロンプトをそのまま使っています。本当にテキストをポンと打つだけで、これだけクオリティの高い動画ができるのは衝撃的です。2本目は、中村という文字がカラフルなペンキで浮かび上がるタイトル画面のシーンです。プロンプトは「ダイナミックな動きのタイトル画面、カラフルなペンキで覆われた壁に青いペンキが降り注ぎ、中村という文字が浮かび上がる」といった内容で、非常に映画のような照明が施されています。ちなみに、このGEN-3の動画も先ほどのプロンプトとほとんど同じものを使っています。次はこちらの映像です。車が水中を高速で走るというシーンで、プロンプトは「連続したハイスピードFPV映像、水中カメラが海の中を高速で走る軽自動車を追いかける」といった感じです。途中で車が2台出てくるなどの違和感はありますが、水中を走る映像ができました。さらにこちらです。女性が歩いている映像で、少しAIっぽさが出ていますが、それでもかなりリアルです。こちらのプロンプトはOpenAIのSora用に作られたもので、Runwayには最適化されていない部分がありますが、どちらも非常に高精度な動画が作れることには変わりありません。テキストプロンプトを入力するだけでこれだけの映像が作れるのは驚きです。プロンプトの書き方次第で結果が大きく変わるので、Runwayの公式サイトや見本を参考にしながら試してみてください。続いて、画像から動画生成をしてみます。1つ目の動画は、猫が歯を磨いているような可愛い映像です。元画像はMidjourneyで生成したものを使っています。写真や画像から動画に変換できるのは素晴らしい技術ですね。次はこちらです。シルバニアファミリーのウサギが歩いている映像です。プロンプトを与えると、可愛くテコテコと歩く映像が作れました。足が3本になるなどの違和感はありますが、かなり可愛くできました。そしてもう1本おまけとして、ダンスするウサギの映像があります。元の画像に「ダンス」というプロンプトを与えた結果、ウサギたちが踊り出しました。ちょっとリアルになりすぎましたが、これも面白い映像です。次に紹介するのは、少女とロボットが森の中で出会うという、まるで映画のワンシーンのような映像です。元画像はMidjourneyで作成し、それをRunwayで動画化しています。さらに、流れ星が降り注ぐ映像や、コーヒーカップからハート型の煙が上がる映像なども作成しました。AIキャンプのロゴがペンキで描かれる映像なども作ってみましたが、テキストを使う場合はRunwayだけで処理した方が良いかもしれません。その他にも、幻想的なシーンやイルカに乗る女性の映像、水中のシーンなど、さまざまな映像を作成しました。特にイルカに乗る女性のシーンは非常にリアルで、驚きました。画像生成AIと動画生成AIを組み合わせることで、さらにクリエイティブな表現が可能になります。続いて、完成した動画にリップシンクを適用してみます。リップシンクは、人物が話しているように口を動かす技術で、音声ファイルをアップロードすると自動的にリップシンクが行われます。今回は音声生成AI「音読さん」で作成した音声を使用しました。画像はMidjourney、音声は音読さん、動画はRunway GEN-3で作成しています。リップシンクを適用すると、テキストに合わせて女性の口が動いているのがわかります。これで解説風の動画なども簡単に作れると思います。最後におまけとして、Runway GEN-2の「モーションブラシ」機能を紹介します。この機能では、動画内の一部だけを動かすことができます。例えば、ロボットの一部だけが動く映像や、光線だけが動いている映像などが作れます。GEN-3ではまだ実装されていない機能ですが、これからどんどん進化していくと思います。そして最後に、GEN-1との比較映像を見てみましょう。左側が1年前に作ったGEN-1の動画で、右側が最新のGEN-3で作った動画です。たった1年でこれほどの進化を遂げているのは驚きです。今後数年でさらに使いやすく、超ハイクオリティな動画が作れるようになると確信していますので、今のうちにこの進化を楽しんで触れてみてください。今回は以上です。ありがとうございました。