rinna、日本語に特化したGPT-2の大規模言語モデルをオープンソース化

rinna、日本語に特化したGPT-2の大規模言語モデルをオープンソース化

  • ASCII.jp
  • 更新日:2021/04/07
No image

rinnaは4月7日、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開した。

同社はMicrosoftのAI&リサーチ部門でAIチャットボットの研究を行なっていたチームがスピンアウトして2020年6月に設立したAI開発企業。文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表。AIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボット「AIキャラクター」の開発に応用されている。

新たに製品開発のための自然言語処理(NLP)の実験過程で、日本語に特化したGPT-2の大規模言語モデル(機械学習をもとにした会話や文章の「人間が使う言葉らしさ」を確率としてモデル化したもの)を構築。日本語のNLP研究コミュニティーに貢献するために、開発した言語モデルと、研究者が自分のマシンで実験結果を再現するためのトレーニングコードを、GitHub、およびNLPモデルライブラリHuggingFaceで、オープンソースとして公開した。

No image

デモ:講演の感想のコンテキストで文章生成

No image

デモ:書籍の紹介のコンテキストで文章生成

日本語GPT-2モデルは、トレーニングデータとしてCC-100のオープンソースデータを使用。Tesla V100 GPUを用いて70GBの日本語テキストをおよそ1ヵ月にわたってトレーニングした結果、汎用性のあるデータを構築したという。公開したのはGPT2-mediumと定義される中規模サイズのモデル。今後、パフォーマンスとコストのトレードオフに基づいてユーザーや研究者が最善の選択をできるよう異なるサイズのモデルも公開する予定としている。

■関連サイト

HuggingFace

GitHub

rinna

ASCII

この記事をお届けした
グノシーの最新ニュース情報を、

でも最新ニュース情報をお届けしています。

外部リンク

  • このエントリーをはてなブックマークに追加