注目が集まる日本語学習AIモデルにLINEが見出す可能性とは

いわゆる“お絵描きAI”や言語処理系のAIが大きな話題となり、今AIに注目が集まっている。そんなAIを日本語ベースで活用している例の1つが、LINEとNAVERが共同開発したハイパースケールAI「HyperCLOVA」だ。

12月13日、14日に開催された「TECHフォーラムクラウドインフラ Day 2022 Dec.　変革を支えるニューノーマルのITインフラとは」に、LINE 執行役員でAIカンパニー CEOの砂金信一郎氏が登壇。「日本語でも実用段階に入ってきた大規模モデルによる生成系AIの実力と可能性」と題し、言語モデルを中心に同社のAI技術と、その可能性について語った。

“お絵描きAI”が与えたインパクト

2022年は、“お絵描きAI”に世界が驚いた年だ。検索キーワードのように、描いてほしい絵のヒントを与えると、AIが画像を生成してくれる。このキーワードを「プロンプト」と呼び、Web上では"呪文"とも言い表されている。この盛り上がりはAI業界のみに留まらず、世間一般にも広がりを見せた。砂金氏は特にインパクトが強かったものとして「Stable Diffusion」を挙げる。

「今日お話する大規模モデルというのは『事前に学習する』というのがミソです。Stable Diffusionは学習済みのモデルを含めて、世の中に公開されました。そのおかげでいろいろなお絵描きAIが世界中で量産されています」（砂金氏）

こうして「"呪文"を唱えればAIが絵を描いてくれる」という環境が作られ、日本では二次元アニメキャラのような作画に特化したお絵描きAIも誕生している。文章においても、「GPT-3」という自然言語処理モデルがムーブメントになったことがあり、生成系AIに対する期待度は高い。

そんな流れの中でLINEとNAVERが協同で研究・開発を行っているのが、2020年11月に発表されたハイパースケールAI「HyperCLOVA」だ。

「HyperCLOVAって何ですか?」

砂金氏は「『HyperCLOVAって何ですか』という問いに改めてお答えをすると、日本語ネイティブで学習をした、大規模な事前学習型モデル(pre-trained models)です」と前置きし、話を進める。

言語モデルの規模や性能を表す指標の1つにパラメータ数があるが、HyperCLOVAは今、その数が820億だという。「GPT-3」は1750億なのでその半分に満たないが、この規模で日本語を大量に学習させ、パラメータサイズを成長させたモデルは珍しい。現在は、AIデータセンター基盤「NVIDIA DGX SuperPOD」を使い、1024基の「NVIDIA A100 GPU」を軸に、Transformerをベースとする自然言語生成モデル「Megatron-LM」を用いて、言語モデル学習を進めている。

HyperCLOVAの基本スペック

だが、820億パラメータを実現するためには学習データにもそれなりの規模が求められる。さらにデータ量が多ければ良いというわけでもなく、日本語として整っていることも必要だ。LINEでは、新聞社などの外部機関からデータを購入したりしながら、「Corpus」 (自然言語の文章を構造化したデータベース)としている。

同氏は改めて「Recurrent Neural Network (RNN)」からの言語処理関連技術の進化について紹介。2017年に大きな技術革新を起こしたTransformer、チャットボットの流行に寄与したBERT、そして2020年のGPT-3登場に加え、2021年のMT-NLG (Megatron-Turing Natural Language Generation)誕生について解説した。

「GPUの性能を最大に活かすための仕掛けがTransformerによって実現されたと言えます。ある言葉の後に何という言葉が入ると言語としてスムーズになるのか、これをAIのモデルとして学習できるようなかたちになり、学習データを用意しやすくなりました」（砂金氏）

これまでは特定の用途に特化した学習モデルを作っていたが、現在は汎用的な事前学習モデルを作った上で、プロンプトによる"呪文"詠唱、プロンプティングによっていろいろなことを処理させるという流れが形成されている。