「AIりんな」などを手掛けるrinnaは5月31日、AIチャットボット「ChatGPT」の学習に利用されている、人間の評価を利用したGPT言語モデルの強化学習に成功したことを発表した。さらに、その強化学習済みの日本語に特化した対話GPT言語モデルをオープンソースで公開した。

2018年にOpenAIが提案したGPT（Generative Pre-trained Transformer）は、高速な学習が可能なTransformer構造と大量のテキストを学習データとして利用できる自己教師あり学習により、テキスト生成の大きな進歩に寄与した。

2022年に同社がサービスを開始したChatGPTは、汎用GPT-3言語モデルに対して対話形式でユーザーの指示を遂行できるようにファインチューニングしており、インタフェースとテキスト生成性能力が改善されている。

同サービスは、文章に対する人間の評価を再現する報酬モデルを導入し、その報酬モデルから出力されるスコアを利用した強化学習によって人間の価値観により合致したテキスト生成を可能としている。

一方、rinnaは5月17日に日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデルをオープンソースで公開した。しかし、このモデルはChatGPTの学習パートの一部にあたる対話形式でユーザーの指示を遂行できるようなファインチューニングにとどまっており、人間の評価を利用した強化学習は実現できていなかったようだ。

そこで今回は、ChatGPTに用いられている学習手法である、人間の評価を利用したGPT言語モデルの強化学習に成功したとのことだ。同社は強化学習済みの日本語に特化した36億パラメータを持つ対話GPT言語モデルをオープンソースで公開する。同社はこのモデルの公開により、日本語言語モデルを活用した研究開発の発展に寄与するとしている。