2022年11月にChatGPTが公開され、翌年3月にそのAPIがリリースされてからというもの、世の中に把握しきれないほどの数々のAIサービスが溢れる時代となりました。SELECK読者の皆さまも、すでに何かしらのAIサービスを体験したのではないでしょうか？

そして、2024年1月には、米Google Research（Googleの研究機関）が、新たな動画生成AIとして「Lumiere」を開発し、論文と多数のデモ動画を公開しました。

現時点では一般公開には至っていませんが、これが正式に全世界に公開され誰もが利用できるようになったら、多くの方がChatGPTが登場した時のような衝撃を受けることでしょう。

そこで今回は、この「Lumiere」について、どのような機能が搭載されているのかをご紹介しますので、近未来を覗き見るような感覚でお楽しみいただければと思います。

また、Lumiereの他にも、動画生成AIとして人気のあるRunwayやPikaについてもご紹介します。ぜひご覧ください！

＜目次＞

• 驚くほどリアルな映像を作れる動画生成AI「Lumiere」とは？
• 現在発表されている「Lumiere」の6つの機能
• あわせて注目したい！動画生成AI「Runway」と「Pika」をご紹介

※本記事に掲載している情報は、記事公開時点のものになります。サービスのアップデートにより情報が記事公開時と異なる可能性がございますので予めご了承ください。最新の情報については、各サービスの公式ページをご参照ください。また、記事の内容についてご意見や修正のご提案がございましたらこちらまでお願いします。

驚くほどリアルな映像を作れる動画生成AI「Lumiere」とは？

あらためて、「Lumiere（ルミエール、リュミエール）」とは、2024年1月23日（米国時間）にGoogle Researchが発表した新たな動画生成AIです。現時点では論文とデモ動画の公開ですが、そのクオリティの高さから一般公開を待ち遠しく思う世界中のユーザーの注目を集めています。

このLumiereは「リアルな動画生成のための時空拡散モデル」と称されていますが、その特徴として「テキストや画像からリアルな動画を生成する」という点が挙げられます。

例えば、従来の動画生成AIでは、動作がカクカクしたりフレーム同士の繋がりに違和感を感じたりすることが多かったと思います。それに対して、Lumiereでは動画全体を一度に生成するため、よりシームレスでリアルな映像が作成できるようになったそうです。

現在発表されている「Lumiere」の6つの機能

それでは早速、Lumiereに搭載されている6つの機能を見ていきましょう！
（以降の動画は、すべてLumiere公式サイトから引用したものです）

① テキストから動画を生成する「Text-to-Video​​」

この機能は動画のイメージをテキストで書き込むと、AIがそれに沿ったものを生成してくれるというもので、多くの動画生成AIにも搭載されています。

公式サイトにも豊富なサンプルムービーがありますが、テキストを書くだけでここまで自然な映像を作れるとは、クリエイターの業務効率UPにもつながる便利な世の中になったと感じますね。

② 静止画から動画を生成する「Image-to-Video​​」

名画やお気に入りの写真など、静止画に動きを伝えるプロンプトを入力すると動画を生成してくれる機能が「Image-to-Video​​」です。こちらのサンプルムービーを見ていただくと、どんな機能かが一発で伝わると思います。

私は「動くはずのない名画が動かせる」という現実にけっこう衝撃を受けたのですが、皆さまはいかがでしょうか？

③ 参照画像をもとに、プロンプトで指定したスタイルで動画を生成する「Stylized Generation」

「Stylized Generation」は、特定の画像と動画イメージを指示するプロンプトを参照して、同じようなスタイル（テイスト）の動画を生成してくれる機能です。サンプルムービーではお絵かき風、ステッカー風など、統一されたテイストで動画が生成される様子を見ることができます。

どんな場面でこの機能を使うかをイメージしてみたのですが、例えばサイト内で統一感のある動画を散りばめたい時や、自分のブランディングイメージに合うテイストの画像を指定して、SNS用の動画を作成する時などに活用できそうですね！

④ テキストでのスタイル指示に基づいて動画を修正する「Video Stylization」

サンプルムービーをもとに「Video Stylization」の機能を少し解説すると、左端にあるオリジナルの動画に対して、「Made of wooden blocks」「Origami folded paper art」のように、変化させたいテイストをテキストで指示しています。

すると、それぞれのオリジナル動画が、指示通りのテイストに変化している様子が見て取れます。このように、動画のテイストを変化させたい時に使用できる機能です。

⑤ 静止画の指定した範囲をアニメーション化する「Cinemagraphs」

この機能では、写真などの静止画の一部を動かしたい時に、範囲を指定してアニメーション化できます。サンプルムービーの蝶々の羽ばたきや、炎の描写の自然さに驚きました！

なお、本記事の後半で登場する別の動画生成AI「Runway」にも、静止画の中で動かしたい一部のエリアをなぞると、その範囲に動きをつけた動画を生成してくれる機能があります。

⑥ 動画の欠けている部分の補完や、装飾の追加ができる「Video Inpainting」

「Video Inpainting」機能では、サンプルムービーのように欠けてしまっている箇所をAIが自然に補完して、非常にリアルな動画を生成してくれています。

また、女性が来ている洋服を別のデザインに変更したり、メガネや帽子、マフラーなどのファッションアイテムを追加している様子も映っています。この機能はSNSユーザーの「簡単におしゃれな動画を作ってUPしたい」というニーズにも応えられそうですね！

以上が、現在発表されているLumiereの6つの機能のご紹介でした。

2024年2月時点ではLumiereはまだ一般公開されていないため、今回は今すぐ使える人気の動画生成AIとして、「Runway」と「Pika」についても触れていきましょう！

あわせて注目したい！動画生成AI「Runway」と「Pika」をご紹介

1.Runway

「Runway」も、Lumiereと同様にAIを活用した動画編集・生成ツールです。その最大の特徴は、動画編集に関する機能が豊富なだけでなく、テキストや画像、動画から簡単に動画を生成できるなど、その活用の幅広さにあります。

動画の編集機能としては、背景を削除したり、特定のオブジェクトを別のものに置き換えたり、字幕やモザイクを挿入したりなど、初心者から上級者まであらゆるレベルのユーザーが楽しめる機能が揃っています。

また、画像の編集機能も充実しており、一部を置き換えたり、白黒画像に色を追加したり、画像を拡張したり、動きを加えたりといったことも可能です。

Runwayは元々、2023年2月より「Gen-1」を公開していましたが、同年8月にマルチモーダルAIである「Gen-2」をリリースし、世間の注目を集めました。この、「マルチモーダルAI」とは、動画や画像、テキストなど異なる種類の情報を集約し、新しいコンテンツを生成するAIのことを指します。

よって、Runwayは現在、以下3つの機能を提供しています。

1. Gen-1…既存の動画から新たな動画を生成できる（Video to Video）
2. Gen-2…写真やテキストから動画を生成できる（Text/Image to Video）
3. Frame Interpolation…複数の画像から滑らかに変化する動画を生成できる

早速、Runwayに登録してみました！アカウントは、メールアドレスやGoogleアカウント、Apple IDなどで作成できます。

以下はダッシュボード画面です。左のメニューバーから動画や画像を生成・編集できます。

今回は、「Image to Video」で動画を生成してみます。

下図は、Gen-2での動画生成時の画面です。機能としては、シード番号の設定（Seed）、カメラの動きや強さの調整（Camera Motion）、モーションブラシ（Motion Brush）、無料プレビュー（Free Preview）などを利用できます。

▼動画生成時の画面（Gen-2）

補足として、「Text to Image」では動画サイズ（16:9、9:16、1:1、4:3、3:4、21:9）やスタイルを選択できます。このスタイルの種類の豊富さも、Runwayのすごいところ…！これだけの種類があれば、SNS用の広告画像からミュージックビデオまで多様なコンテンツに応用できそうです。

また、有料プランに課金すると、透かしの削除や高画質化などもこの画面から設定できます。

▼Text to Videoでは理想の動画スタイルを選択できる

試しに、今回は以下の画像を入力してみました。

そして、デフォルトの設定のまま生成した動画がこちらです。犬の顔が少し潰れてしまっているような気がします（笑）。

とはいえ、犬がこちら側に走ってくる動作を再現し、その際に砂埃が舞う様子なども自動で生成してくれています…！ここから細かい修正を行う場合は、メニューバーの「Image +Description」機能などで変更していきます。

生成後の動画は、そのままRunway上で編集することができます。動画の切り抜きやリサイズ、速度調整、字幕追加、エフェクトなどの基本的な機能に加えて、以下のような機能もあります。

• Remove Background：指定した部分のみを切り出し、他の部分を削除
• Inpainting：指定した部分のみを削除
• Color Grade（LUT）：色のトーンを変更
• Super-Slow Motion：スローモーションの作成
• Blur Faces：人の顔に自動でモザイク処理
• Depth of Field：動画全体にぼかしを追加
• Scene Detection：自動で動画を場面ごとに切り分け
• Extract Depth：深度マップ（カメラからの距離で色分けを行う）
• Motion Tracking：動いてるオブジェクトを自動追跡

2024年2月現在、Gen-2は無料で利用可能ですが、125クレジットのみ付与、プロジェクトは最大3つまで作成可能で、クレジットの追加購入ができない点に留意する必要があります。

そして、ここまで動画編集・生成をメインにご紹介してきましたが、Runwayのすごいところはこの点に留まりません…！

「AI Magic Tools」という機能を使えば、テキストを入力するだけで3Dをコンテンツを簡単に作成できてしまうんです。もはや、デジタルコンテンツを作成するにはRunwayで十分ではないか…と思うほどの充実度です。

最近では、iOSアプリ「RunwayML」も登場し、パソコンからだけでなくスマートフォンからも簡単に動画を生成できるようになりました。アプリもブラウザ版と同様に、一部の機能を無料で利用できます。

2.Pika

次にご紹介するのは、「Pika」です。Pikaもテキストや画像、動画から動画を生成できます。

2023年11月に「Pika 1.0」が発表され、X上で大きな話題を呼びました。すでに約5,500ドルの資金調達に成功しており、Runwayと同様に注目度が高い動画生成AIツールの一つです。

Pikaのβ版はコミュニケーションツール「Discord」上での操作に限られていましたが、Pika1.0はブラウザ上でも操作できるようになりました。アカウントは、既存のDiscordまたはGoogleアカウントを連携して作成できます。

試しに、アカウントを作成してみました！以下がホーム画面です。「Explore」では他のユーザーが生成した作品やそのプロンプトを閲覧したり、既存のコンテンツを編集して遊ぶことができます。動画の生成は「My library」から行います。

では早速、先ほどRunwayに入力したのと同様の画像を追加し、「dog running」とテキストを追加して生成してみました！

Runwayで生成した動画とは逆方向に犬が走り、また、砂埃ではなく別の犬が登場する形になりました。犬が手前側に走ってくる動画を作成したかったのですが、理想に辿り着くまでにはやはりある程度の調整が必要になりそうです。

動画生成時には、以下の機能も利用できます。

• Frames per second：動画のなめらかさを設定できる
• Negative prompt：動画に反映させたくない要素を入力できる
• Seed：シード番号の割り振りが可能
• Camera Control：カメラの水平・上下移動やズームイン・アウトなどができる
• Consistency with the text：プロンプトをどこまで忠実に反映させるかをパラメータで設定可能

生成後の動画は編集でき、例えば動画を4秒ずつ延長したり、高画質にするといった機能が利用できます。

他にも、動画の一部を置き換え・削除できる「Modify Region」機能や、画像比率を変更し不足している部分をAIが自動で補ってくれる「Expand canvas」機能などもあります。

▼Modify Region機能

▼Expand Canvas機能

Pikaは2024年2月時点で、3つの有料プランと、無料プランが展開されています。無料プランは毎日30クレジットずつ追加される仕様となっており、商用利用する場合は課金が必要ですが、動画を生成して遊ぶだけであれば無料でも十分かと思います。

今回ご紹介した、RunwayとPikaはどちらも英語以外の言語に対応していないため、生成の精度を上げるためにも、Google翻訳や「DeepL」などの翻訳ツールを活用しながら利用することをおすすめします。

おわりに