AIが動画をマンガに変換、Webページからお試しも可能

AIが動画をマンガに変換、Webページからお試しも可能

  • Techable(テッカブル) -海外・国内のネットベンチャー系ニュースサイト
  • 更新日:2018/12/20
No image

ニューラルネットワークによって画像のスタイルを変換する研究分野では、敵対的生成ネットワーク(GAN:Generative Adversarial Network)を用いたアプローチが増えてきている。

GANは、ホンモノそっくりの猫の画像を生成するためのネットワークとホンモノの猫を識別するためのネットワークなど、2つの競合するネットワークがお互いをだまし合いながら賢くなったアプローチだ。

このGANを用いて、動画からマンガを生成した研究を紹介する。

・2段階で動画をマンガに変換

No image

この研究は、GANによる画像スタイル変換を動画に応用したものだ。

動画のマンガ変換は2段階でおこなわれる。第1段階では、強化学習をもとにしたキーフレーム抽出アルゴリズムによって、動画から文脈を最もよくいいあらわすフレームのサブセットを選択。画像審美エンジンのフィルターにかける。

第2段階では、選択したキーフレームのスタイルをコミックに変換。美的にクオリティの高いマンガを生成するため、最先端のスタイル変換アルゴリズムをもとに、独自のComixGANフレームワークを実装している。

・「Comixify」のWebページから試せる

動画をマンガ変換する「Comixify」は、Webページから、またはAPIを用いて試すことができる。

短めの動画ファイル(APIでは50MB以内)やYouTubeのURLを貼り付けて変換を実行すると、コマ割りされたマンガ調の画像が表示される。

3種類のなかからスタイルを選ぶこともできて、うち2種類には日本の名アニメ監督を連想させる命名(CartoonGAN-Hayao、CartoonGAN-Hosoda)になっている。ただ、生成されるのはいずれもアメコミ風だ。

近い将来は、コマ割りのレイアウトの洗練やセリフの表示も実装する予定とのことで、さらに実用的なソリューションとなるに違いない。

参照元:Neural Comic Style Transfer: Case Study/Arxiv
Comixify

この記事をお届けした
グノシーの最新ニュース情報を、

でも最新ニュース情報をお届けしています。

IT総合カテゴリの人気記事

グノシーで話題の記事を読もう!
知らないと恥!これからのビジネスに欠かせないキーワード「RPA」
Oppo、光学10倍ズームのスマホを1月16日に発表か
何もしなくてもスマホが充電される!? 真のワイヤレス充電スマホケース2020年までに登場か
1300曲以上の人気曲を分析して判明した「人気曲に共通するパターン」とは?
【本日のセール情報】Amazonタイムセールで80%以上オフも! 900円台の旅行用ラゲッジチェッカーやUSB加熱式の防寒電熱ベストがお買い得に
  • このエントリーをはてなブックマークに追加