AI技術の発展に伴い、動画編集の手法も日々進化しています。そうした中、動画編集・生成の領域で注目されているAIツールが「Runway（ランウェイ）」です。

Runwayは2023年2月28日に、AIを駆使して動画を編集できる「Gen-1」へのアーリーアクセスを開始し、生成されるアウトプットのクオリティの高さが世間を大きく賑わせました。

さらに、同年6月には、テキストや画像から動画を簡単に生成できる「Gen-2」を公開。現在ではその機能の多様さから、単なる動画編集ツールの域を超えて、初心者〜上級者まで幅広いユーザーに利用されています。

さらに、Runwayは、UCLA（カリフォルニア大学ロサンゼルス校）やハーバード大学、MIT（マサチューセッツ工科大学）といった海外の一流大学のカリキュラムにも組み込まれており、教育分野でもその価値が認められています。

加えて、2023年には、GoogleやSalesforceなどの有名企業からも投資を受けており、昨今、最も期待値が高い動画生成AIツールといっても過言ではないでしょう。

実際に、どれだけ多くの機能が備わっているかをお伝えするために、その機能の一部をざっと並べてみました。

• 動画・テキスト・画像から動画コンテンツを生成
• ワークスペースの作成、リアルタイムでの共同編集
• テキストから画像や3Dテクスチャを生成
• 実空間にあるオブジェクトをカメラ撮影するだけで3Dデータ化
• 自分の声や顔をアップロードして喋るアバター動画を生成
• テキストから自動オーディオ生成
• 自動字幕生成
• 画像や動画の一部を削除、置き換え
• 白黒画像への自動色付け
• 画像の無限拡張（映っていない部分をAIが自動生成）

これでもまだ、すべての機能の一部でしかないと思うと、かなりワクワクしてきませんか…？しかも、これらの多くが「無料」で利用できるという優れもの…！

加えて、Runway公式が用意している動画チュートリアルも豊富で、かつ、直感的な操作で初心者にも使いやすいのが魅力の一つでもあります。これまで、「動画編集は難しそうだから…」と距離を置いていた人にも、これを機にぜひ動画編集の世界を体験していただけたら嬉しいです。

そこで今回は、この「Runway」について、搭載されている機能を実際に操作しながら順にご紹介していきます。Runwayをこれから使うという方はもちろん、一度触ったけど挫折した…という方まで参考になりましたら幸いです。

＜目次＞

• 次世代の動画編集AIツール「Runway」とは？
• 早速、Runwayを使ってみましょう！
  1. 新規アカウントの登録方法
  2. ダッシュボード画面の見方
  3. ワークスペースの基本設定
• 実際にRunwayを使って動画を制作してみよう！
• 新機能！「Lip Sync」機能で喋るアバター動画を制作しよう！
• テキストだけで3Dコンテンツが生成できる「3D Generations」

※本記事に掲載している情報は、記事公開時点のものになります。サービスのアップデートにより情報が記事公開時と異なる可能性がございますので予めご了承ください。最新の情報については、Runwayの公式ページをご参照ください。また、記事の内容についてご意見や修正のご提案がございましたらこちらまでお願いします。

次世代の動画編集AIツール「Runway」とは？

「Runway」は、AIを活用した動画編集・生成ツールです。2024年4月現在、スマートフォンとブラウザのどちらからでも利用できます。スマートフォンで利用する場合は、iOSアプリ「RunwayML」のダウンロードが必要です。

Runwayの最大の特徴は、動画編集に関する機能が豊富なだけでなく、テキストや画像から簡単に動画を生成できたり、生成した動画はもちろん、画像や音楽データも編集できるなど、その活用の幅広さにあります。

補足ですが、Runwayのようにテキストや画像、動画など多様な形式のデータを組み合わせて学習し、それらの中から2つ以上のデータを組み合わせてコンテンツを生成するAIのことを、「マルチモーダルAI」といいます。

従来のAI技術が単一のデータ形式に特化していたのに対し、マルチモーダルAIは複数のデータを統合させることで、より高度な情報処理を実現できるのが大きな強みです。

Runwayは元々、2023年2月より「Gen-1」を公開していましたが、同年6月にマルチモーダルAIである「Gen-2」をリリースし、現在は以下3つの機能を提供しています。それぞれの詳細は後述します。

1. Gen-1…既存の動画から新たな動画を生成（Video to Video）
2. Gen-2…写真やテキストから動画を生成（Text/Image to Video）
3. Frame Interpolation…複数の画像から滑らかに変化する動画を生成

基本的な動画編集の機能としては、背景を削除したり、特定のオブジェクトを別のものに置き換えたり、字幕やモザイクを挿入したりなど、初心者から上級者まであらゆるレベルのユーザーが楽しめる機能が揃っています。

また、画像の編集機能も充実しています。例えば、画像の一部を別のものに置き換えたり、白黒画像に色を追加したり、画像を拡張したり、動きを加えたりといったことが可能です。

そして、Runway上で作成したコンテンツは商用利用が可能とのこと。クリエイターとして活動されている方であれば、かなりの朗報ではないでしょうか…！ただし、規約が変更される可能性もあるので、必ず最新のRunway公式の利用規約を確認してから利用してくださいね。

2024年4月時点での料金プランは以下の5つ。個人利用の場合は、現在の為替レートで換算すると日本円で2,000円〜4,000円ほどでしょうか。

もちろん無料のフリープランでも多くの機能を利用できますが、以下のような制限があるのでその点はご注意ください。

• クレジットの追加購入が不可能
• Gen-1とGen-2で、コンテンツの解像度を上げたりウォーターマークを削除することができない
• Gen-1で生成できるビデオは最大4秒
• Gen-2で生成できるビデオの最大拡張時間は16秒
• 3つのビデオプロジェクトのみ作成可能
• 容量は5GBまで
• ビデオは720pで出力される
• 画像を出力する場合、形式が限られる

正直、試しに使ってみる分にはフリープランでも十分だと思います。もし本格的な利用を検討する場合は、一つ上の「Standard」を選択するだけでも、1ヶ月に使用できるレジットが5倍、さらに、アセットは100GBまで増量されるなど、大幅に制限が解除されるため、ご自身の活用度合いによって必要なプランを選んでみてくださいね。

早速、Runwayを使ってみましょう！

1.新規アカウントの登録方法

早速、Runwayに登録してみましょう！画面右上の「Sign up – it’s free」をクリック。画面真ん中の、「Try Runway for Free」の画面からも登録可能です。

アカウントは、メールアドレスやGoogleアカウント、Apple IDなどで作成できます。連携するだけなので、登録はたったの数秒で完了です！簡単ですね。

2.ダッシュボード画面の見方

以下はRunwayのダッシュボード画面です。左のメニューバーから動画や画像を生成・編集できます。

少しダッシュボード画面を探検してみましょう。まずは「Home」の画面です。

下にスクロールすると、Runway上でユーザー人気の高い機能を閲覧できる、「Popular AI Tools」が表示されます。さらに、画面右上の「view all tools」をクリックすると、Runwayで利用できるすべての機能を確認できます。

この項目を見るだけでも、Runwayの機能の幅広さが一目瞭然ですね…！

さらにスクロールすると、「Tutorials」が表示されます。ここでは、運営が公開している公式の動画からRunwayの使い方を学ぶことができます！ AIツールの利用や動画編集が初めての方にとっても嬉しいコンテンツですね。

次に、画面右上の「view all tutorials」をクリックしてみましょう。すると、「runway Academy」というサイトに移行します。ここのサイトで、Runwayの基礎的な使い方から応用編までさらに幅広く利用方法を学ぶことが可能です。

また、「mobile」「Gen-1」「Gen-2」「AI training」など、項目別でソートをかけることもでき、ご自身の利用用途に合わせた学習コンテンツを検索できます。どれも数分以内の簡単な動画で、かなり内容もわかりやすいので、ぜひ活用をおすすめします。

試しに、「Training Custom Style Generators」の動画を選択してみました。すると、サイトが遷移してYouTube動画を閲覧できるページに移動しました。画面左側にはテキストでの要約も表示され、とても便利です。

さらにページ下部に移動してみましょう。今度は「Discover and Remix」が表示されました。ここにはRunwayのユーザーが投稿したコンテンツが表示されており、これらをベースの素材として動画編集をスタートしたり、自分の作品に組み込んだりして楽しめる機能です。

試しに、一つコンテンツをクリックしてみると、下図のような画面に遷移しました。自分で素材を用意せずともすぐにRunwayの機能を試せるので、まずはここから触ってみても良いですね。

次に、左のメニューバーの「Runway Watch」をクリックしてみましょう。筆者個人としては、このページが一番ワクワクしました…！というのも、このページでは、Ruwnayユーザーが制作したショートフィルムやバンパー広告（短い動画広告）を閲覧できるんです。

Runwayは2023年3月に初のAI 映画祭「Runway AI FILM FESTIVAL」を開催するなど、アーティストやクリエイターのコミュニティを構築しながら、AIツールの民主化と、それらによって制作された作品の支援を続けています。このような活動の一環として、2023年8月に公開されたのが、この「Runway Watch」機能です。

現在、「GEN:48」「AI FILM FESTIVAL」「CREATIVE PARTNERS PROGRAM」など計13個のチャンネルが公開されており、それぞれで複数の作品が掲載されています。

なかでも、特に面白かったのはこの辺り…！これらの動画がすべて、Runwayを使って編集・制作されていると思うとすごすぎませんか…？　まさに文字通り、「誰でもクリエイターになれる時代」が目の前まで迫ってきているのかもしれませんね。

▼The Critic（GEN:48より）

▼Sunshine City（SCI-FIより）

▼EMotion Graphics — Robert Wilson, Aru Viral Films（MUSIC VIDEOSより）

ご自身で制作したコンテンツはGoogleフォームを通じて、Runwayに送ることも可能です。すべての動画が掲載されるわけではありませんが、もし作品が選ばれた場合には、Runwayの公式Discordのサーバー内で特別なロールが付与されるとのことです。

補足として、RunwayでのDiscordサーバーでは、使い方について質問し合ったり、プロンプトを共有したり、コミュニティメンバー内で作品を一緒に作るメンバーを募ったりといったことが行われています。

加えて、定期的にイベントも開催されているようで、ライブストリーミングの形式でRunwayの使い方がシェアされています。過去の配信もすべてアーカイブ動画として保管されており、後からコミュニティに参加した場合でも閲覧できます。

続いて、Runwayの画面左に表示されているメニューバーについて、他の項目もみていきましょう。

「All Assets」では、自分がアップロードした素材やGen-1またはGen-2 で制作した動画が保存されます。フォルダの作成もできるため、制作する動画ごとにアセットを分けるなど、簡単に整理できます。

各アセットの一番右に表示されている「・・・」をクリックするとメニューが表示され、ワークスペースへの共有やダウンロード、フォルダ移動や名前の変更、削除といった操作が可能です。

次に、「Favorite Assets」ではお気に入り登録したアセットのみを表示できます。ここでもフォルダごとの管理や、外部共有などの機能を利用できます。

そして、「Video Editor Projects」では、進行中の動画制作プロジェクトが一覧で表示されます。プロジェクトごとに、生成したコンテンツを切り貼りしたり、アスペクト比やサイズの編集を行ったり、字幕を入れたり、再生速度を変えたりといった、基本的な動画編集の操作がここでできます。

実際の編集画面はこのような感じ。一般的な動画編集ツールと大きく変わらないと思いますので、普段から動画編集に携わっている方は、簡単に利用をスタートできると思います。

そして、他のメニューは以下のように構成されています。

• Videos
  • Generate Videos：「Gen-1」や「Frame Interpolation」を利用できる
  • Edit Videos：背景の削除、顔のぼかし、モーショントラッキングなどの動画編集機能を利用できる
  • Generate Audio：オーディオの生成や編集、字幕生成などが可能
• Images
  • Generate Images：テキストや画像からの画像生成が可能
  • Edit Images：画像内コンテンツの削除や置換、背景の入れ替えといった画像編集機能を利用できる
• More
  • 3D：3D キャプチャや3D テクスチャの制作が可能
  • AI Training：独自のコンテンツを取り込み、カスタムトレーニングモデルを開発（※上級者向け機能）

3.ワークスペースの基本設定

最後に、動画編集を始める前に、ワークスペースの設定を行っておきましょう。Runwayでは、「ワークスペース」を作成し、他の人と共同編集することが可能です。

画面左上のアイコンをクリックすると表示されるメニューから、ワークスペースの各種設定や新しいワークスペースの作成、プランの変更ができます。そして、ロゴやワークスペース名は、「Workspace Setting」から変更できます。

メンバーをワークスペースに招待する場合は、「Members」画面を開き、右側にある「Invite Members」から可能です。無料プランでも招待を送れます。また、同じ画面上でメンバーの権限変更・削除も可能です。

招待はメールアドレス経由で可能で、「can view」「can edit」「admin」の3つから権限を選択できます。それぞれの役割に付与される権限は以下です。

• admin（管理者）…ワークスペースの管理（メンバーの招待やロゴ、利用プランの設定）が可能
• can edit（編集者）…アセットの編集が可能
• can view（閲覧者）…アセットとプロジェクトの閲覧が可能

招待時の注意点として、ワークスペースの所有者が有料プランに課金している場合、「admin」と「can edit」の権限で招待された人は、同じ有料プランの支払いが発生するとのことで、招待する人には事前に知らせておくと良いでしょう。下図が実際の招待画面です。

そして、「Plans & Billing」では現在契約しているプランと残りのクレジット数、そして直近30日で何にどのくらいのクレジットを使ったのかの履歴を確認できます。

新しいワークスペースを追加したい場合は以下のメニューから。無料プランでも新しく作成できます。

実際にRunwayを使って動画を制作してみよう！

では、実際にRunwayを使って動画を生成してみましょう！

左のメニューバーの「Generate Videos」をクリックすると、「Gen-1」「Gen-2」「Frame Interpolation」の3つのメニューが表示されます。今回は、Runwayの代名詞と言っても過言ではない、Text/Image to Videoが可能な「Gen-2」を使って、画像から動画を生成してみましょう。

Gen-2をクリックすると、下図のような画面に遷移します。

今回は、こちらの犬の画像を使って色々な機能を試してみます！

まず、写真をアップロードし、プロンプト入力欄に「dog running」と入力してみます。入力して、画面の中央下に表示されている「Generate 4s」をクリックすると、約1分ほどで動画を生成してくれました！その動画がこちら！

いかがでしょうか…？　なんとも言葉に表しづらい歪な形で犬の顔が潰れてしまっていますが、プロンプトに入力した通りちゃんと犬を走らせてくれました。また、走っている様子に合わせて、犬の足元からは砂埃も舞っています。この辺りはプロンプトには入力していませんでしたが、状況を把握して要素を付け足してくれるのはさすがAIですね。

この動画を生成した後の画面はこちら。ここからさらに、プロンプトを追加して動きを修正したり、動画の長さを長くしたりといった調整ができます。

他にも、左側に表示されているメニューバーから細かい設定も可能です。例えば、無料プランでは、シード番号の設定（Seed）、カメラの動きや強さの調整（Camera Motion）、モーションブラシ（Motion Brush）などの機能を利用できます。

次に、テキストから動画を生成してみましょう。

「Text to Image」の機能では、動画サイズ（16:9、9:16、1:1、4:3、3:4、21:9）やスタイルを選択できます。このスタイルの種類の豊富さも、Runwayのすごいところ…！これだけの種類があれば、SNS用の広告画像からミュージックビデオまで多様なコンテンツに応用できそうです。

▼Text to Videoでは理想の動画スタイルを選択できる

今回は、「dog(corgi) running on the grass」というプロンプトを入力し、「Anime」のスタイルを選択して作成してみました。

そして作成された動画がこちら！かなり短めのプロンプトを入力してみましたが、なかなか完成度は高いのではないでしょうか…！？

補足として、有料プランに課金すれば、透かしの削除や高画質化なども設定できるようになります。

さらに、生成した動画はそのままRunway上で後から編集することも可能です。動画の切り抜きやリサイズ、速度調整、字幕追加、エフェクトなどの基本的な機能に加えて、以下のような機能もあります。

• Remove Background：指定した部分のみを切り出し、他の部分を削除
• Inpainting：指定した部分のみを削除
• Color Grade（LUT）：色のトーンを変更
• Super-Slow Motion：スローモーションの作成
• Blur Faces：人の顔に自動でモザイク処理
• Depth of Field：動画全体にぼかしを追加
• Scene Detection：自動で動画を場面ごとに切り分け
• Extract Depth：深度マップ（カメラからの距離で色分けを行う）
• Motion Tracking：動いてるオブジェクトを自動追跡

試しに、先ほど生成した動画を使って「Remove Background」の機能を試してみます。

Home画面に戻り、メニューの「Edit Videos」から使いたい編集機能を選択し、編集画面に移行します。そして、動画コンテンツ中の、残したいオブジェクトを点で囲っていきます。

マスキングを完了させ、画面右上の「Done Masking」をクリックすると、犬の背景を削除した動画を数秒で生成してくれました。生成された動画がこちら。輪郭をなぞるだけでここまで綺麗に編集してくれるなんて超便利…！

最後に、Runwayを利用中に以下のような注意書きが表示されることがあります。簡単に日本語に要約すると、「多くのユーザーの利用が集中しているため、無料プランでは制限がかかります」とのこと。有料プランでは制限はかからないそうですが、無料で使う際には、利用するタイミングも考慮したほうが良いかもしれません。

筆者は普段、動画の編集を行わないので、動画生成に関しては若干の難しさを感じてしまいました。ただ、操作自体は簡単で、使い方や素材などが十分に用意されているため、多機能でありながら初心者でも使いやすいUIだと感じました。おそらく、「こういうものが作りたい」というイメージがあると、ある程度使いこなせるのかもしれません。

新機能！「Lip Sync」機能で喋るアバター動画を制作しよう！

最近では、「喋るアバター動画」を生成できる「Lip Sync」機能が追加されました。

同じような機能をもつAIツールはすでに存在していますが、Runwayのすごいところは自分の顔をアップロードできる点や、その場で録音できる機能などが搭載されているため、自分のアバターを簡単に作成できてしまう点にあります。

まず、Lip Syncで使える音声は以下の3タイプ。

• ローカルデバイスやRunwayのアセットに保存されている音声データ
• Runwayが用意している、様々な既存の音声データ
• ご自身の声（新規録音に加えて、クローン化も可能）

既存の音声データに関しては、様々なバリエーションの中からタイプを選択できます。例えば、「Video games」「News」「Meiditation」などの利用シーン別や、「Australisn」「British」など、英語の訛り別、さらには「Emotional」「Soft」「Casual」「Whisper」など、話し方別の声も用意されています。

アバターの顔に関しても、既存のものから選択できるのはもちろん、自分の顔をアップすることも可能です。自分の顔をアップする場合は「正面を向き」「肩から上がフレーム内に収まっている」「照明の変化が出来るだけ少ない」といったいくつかの条件やポイントがあるようです。データ形式は、画像と動画のどちらでも可能です。

今回はSELECKの記事の一部を英文に翻訳し、アバターに喋らせてみました。声は「News」の「Katie（女性）」を選択。そして、顔も既存のアセットから「Annna」を選んでみました。

そして、2、3分ほどで生成された動画がこちら！いかがでしょうか…？　表情はまだ少し不自然な気がしますが、だいぶ自然な喋り方で、口の動きも内容と一致している感じがしますね。

テキストだけで3Dコンテンツが生成できる「3D Generations」

ここまで動画編集・生成をメインにご紹介してきましたが、Runwayのすごいところはこの点に留まりません…！

なんと、テキストを入力するだけで3Dをコンテンツを簡単に作成できる機能や、動画を撮影するだけで目の前のオブジェクトを3Dデータ化してくれる機能まであるんです！しかも、これらもクレジットさえあれば無料で利用できます。

3Dコンテンツの生成は、左側のメニューバーに表示されている「More」の「3D」から可能です。メニューは「3D Capture」と「3D Texture」の2つ。どのような機能か、それぞれ動画でお伝えします。

▼「3D Capture」機能

▼「3D Texture」機能

「Text-to-3D Texture（テキストから3Dテクスチャを生成）」で遊んでみました。画面に表示されているテキスト入力バーに「futuristic green marble」と記入。すると15秒ほどで3Dテクスチャが生成されました…！

実際の画面ではこのテクスチャが回転して表示されています。もはや、デジタルコンテンツを作成するにはRunwayで十分ではないか…と思うほどの充実度ですね、すごいぞRunway…！

おわりに

いかがでしたでしょうか。今回は、動画編集・生成AIツール「Runway」の概要から具体的な機能、使い方までをまるっとお伝えしてきました。動画編集の細かい機能については触れられませんでしたが、一度触ってみると直感的にわかる機能ばかりですので、ぜひ一度試してみてはいかがでしょうか。（了）