AIを競わせることで独自のスキルを身につけさせる奇妙なムービー

AIを競わせることで独自のスキルを身につけさせる奇妙なムービー

  • GIGAZINE
  • 更新日:2017/10/12
No image

スキルを念頭に置いた環境を明示的に設計しなくても、人工知能(AI)は自己で物理的なスキルを身につけることができるということが発見されました。このAIが独自に生み出した「物理的なスキル」には、ボールに対してタックルしたりフェイクをかけたりキックしたりキャッチしたり飛び込んだりと、さまざまなアクションが含まれています。このようなAIによるセルフプレイは、AIを改良していくための環境が常に正しいことを保証するものであり、将来的には強力なAIシステムの中核になるとOpenAIは考えているそうです。

Competitive Self-Play

https://blog.openai.com/competitive-self-play/

AIをオープンソース化するための非営利の研究機関として設立されたOpenAIは、シミュレーターの中で2つの3Dロボットに対して簡単な競争を促し、AIがどのように競争内容を改善していくのかを解析しました。設定された競争は、「相撲」や「サッカーのPK」のようなもので、ひとつはリングの中から相手を押し出せば勝利、もうひとつはネットにボールが触れれば勝利というわかりやすいルールのものです。

エージェントは、「起立して前進」といった探査を支援する行動を行うと、それに対する報酬を得られます。そういった簡単な報酬を繰り返し受け取りながら競争を繰り返すことで、エージェントは「タックル」「ダッキング」「フェイク」「キック」「キャッチ」「ダイビング」といった動作を学習しました。なお、各エージェントのニューラルネットワークポリシーは、独立したポリシー最適化で個別に訓練されているそうです。

実際にAIが独自に編み出したスキルは以下のムービーで確認できます。

Competitive Self-Play - YouTube

ムービーがスタートしたと同時に画面上に謎の3Dモデルが登場

No image

これは相撲で、相手をリング上から落とした方が勝ちというルール

No image

メチャクチャ奇妙な動きで相手を押し出す緑色のモデル

No image

AIを競わせることでどんなスキルを取得していったのかというと、相手へのタックルや……

No image
No image

闘牛のように相手をひらりとかわしたり……

No image
No image

安定したスタンスをとったりと、さまざま。

No image

他にも、ボールを蹴って赤色のエリアに蹴り込めば勝ちとなるサッカーのPKのような対決。

No image
No image
No image

この対決では、足を使ってボールをブロックしたり……

No image

ボールを相手のいない方向にキックしたり……

No image
No image
No image

相手の動きに合わせて立ち位置を調整したり、といったスキルをAIが独自に習得しました。

No image
No image

相手をくぐり抜けて奥のラインに到達したら勝ち、という勝負では……

No image

ダッキングすることで相手をかいくぐるスキルをAIが編み出しました。

No image
No image

それぞれのスキルが必要とするタスクや環境を整備することは可能ですが、人間のデザイナーの努力と工夫が必要であり、AIがどのようなスキルを編み出すかはそれぞれの場合により異なります。しかし、何度も繰り返し反復試行することでAIのパフォーマンスを向上させることは可能であり、実際、Dota 2のプロジェクトではAIを競わせてセルフプレイさせることで人間のトップレベルのeスポーツ選手を打ち負かすことができるAIエージェントを作成することに成功しています。

この記事をお届けした
グノシーの最新ニュース情報を、

でも最新ニュース情報をお届けしています。

外部リンク

コラム総合カテゴリの人気記事

グノシーで話題の記事を読もう!
「ガソリン代を出さない友人」に不満 「儲けようとするのはセコい」と賛否両論の声
コンビニで早いレジに並ぶためには「アレ」が置いてある前がベスト!?
【お値段以上すぎ】1690円のニトリ抱き枕、中毒者が後を絶たないワケ
一卵性双子に関する15の事実
これは凄い「革命的」過ぎるソファが話題に!一人暮らしに欲しい
  • このエントリーをはてなブックマークに追加