国内生成AIは、この先どうなる？ - 伊藤氏×松尾氏×元榮氏「Gen AI EXPO」で対談

• 

  左から弁護士ドットコム 代表取締役社長兼CEO 弁護士の元榮太一郎氏、日本ディープラーニング協会理事長 東京大学大学院工学系研究科 教授の松尾豊氏、デジタルガレージ共同創業者 取締役 Chief Architect 千葉工業大学 学長の伊藤穣一氏

ChatGPTはなぜ革命的なのか？

元榮氏(以下、敬称略)：生成AIの歴史と今後について伺えればと思います。まず、OpenAIの対話型AI「ChatGPT」の何が革命的だとお考えですか？

伊藤氏(同)：自然言語でコミュニケーションがとれる点です。これまで、プログラマーでなければアクセスできなかったような、さまざまな機能を一般の人でも利用できることが大きいかと思います。

元榮：高度な生成AIはなぜ生まれたのでしょうか？

松尾氏(同)：ChatGPTなどのLLM(大規模言語モデル)には、2017年にGoogleの研究者が提案した「Transformer」が使われています。自然言語処理において、非常に精度が高く、大規模に利用することが着々と進んでいました。そして、昨年にChatGPTが一般提供を開始しました。

• 

  LLM(大規模言語モデル)の開発状況

元榮：私は昨年にChatGPTのコードに触れた際、とんでもないものが出てきたなと感じて知ることになりました。実際、こうした波が来るといつごろから予想していましたか？

伊藤：数年前にOpenAIのCEOであるサム・アルトマン氏をはじめとしたメンバーと会い、デモを見せてもらいました。そのときは驚きましたが、周囲に話していい状況ではありませんでした。GPT-3は以前からあったものの、GPT-4で根が広がったと思います。

松尾：2020年にGPT-3が登場し、そのときアカデミア界隈は「すごい！」とザワつきました。ただ、そのころ私の講演では、よくGPT-3を説明していましたが、あまりウケは良くなかったです。

東京大学 松尾研究室では、1年以上前に「Let's think step by step(一歩ずつ考えよう)」に関する研究論文を出しました。プロンプトにLet's think step by stepを追加するだけで、精度が向上するというものです。すでに、700件以上の引用がある論文になっています。

これは衝撃的でした。“step by step”だけでモデルの精度が向上するということは、つまりLLMの名kで嗜好の様式に関しての何らかの概念があるということですから、かなりすごいことが起こっているのだと感じました。

元榮：そのような中で、昨年11月にOpenAIのChatGPTが出てきたときのインパクトは、世界中に波及しました。GPT-3と何が異なる点だったのでしょうか？

伊藤：アプリケーションにしたことが大きな契機です。その前に登場したAIもフレームワークを少しいじればコントロールできましたが、アプリケーション化したことで多くの人が触れられるようになりました。

テキストメッセージは誰でも慣れており、普遍的なものです。チャット形式で簡単に利用できるようになった点が衝撃的だったのだと思います。

松尾：あとは、かなり「言うことを聞く」ようになりました。さまざまなタスクとそれに対する出力の指示(インストラクション)のデータセットを学習させることで汎用的なタスクに対応できる、“インストラクションチューニング”というものがあります。

通常であれば、LLMをそのまま使うと同じ言葉を繰り返したりしますが、GPT-3.5は上手に訓練されており、ユーザーの意図を汲んで回答してくれるように作り込まれています。

元榮：GPT-3はインタラクティブ(双方的)ではなかったのでしょうか？

松尾：GPT-3はあくまで、単なる言語モデルでした。人間の会話は、言語外に「こういう風にしてほしい」という意図が、かなり隠されています。

例えば「その水を取ってもらえますか？」と言う場合、そして「その水、ちょっといいですか？」と言う場合、どちらも空いてからは水を取ってもらえますよね。対話システムの場合は高度に訓練しなければ意図通りに動いてくれないのですが、GPT-3.5以降はそうした部分を相当作り込んでいる感じがあります。

元榮：最近のGPTに関する技術的なアップデートは何かありますか？

伊藤：ChatGPTが音声と画像認識機能を加えましたね。安全性も懸念されている一方で、ファインチューニング(学習済みのモデルに層を追加し、モデルを再学習する手法)で少しずつ改善されてきています。

ある論文では安全性は確認されましたが、ハルシネーション(異なったり、無関係な回答)をはじめ、誤りが多くなっていることも指摘されています。ただ、最後の仕上げの部分でチューニングが適用されるようになってきているようです。

また、GPT-4のトークン数は8000超、Anthropicのテキスト生成AIは約9000とトークン数が向上はしていますが、このまま大きくしていってもどうなのだろう？という見解もあります。

松尾：Googleが開発しているテキスト生成と画像生成を組み合わせたAI「Gemini」の性能とパラメータ数に興味がありますね。

日本発のLLMが目指すべき場所

元榮：このような状況の中で日本も新しい成長産業としてAIを活用し、成長・再生していくことが望まれます。

日本のLLM開発が国際的な競争力を持つために必要なこと、また今後のグローバルにおける生成AIの方向性はどのようになるのでしょうか？例えばGoogleやAmazon、Microsoft、そしてOpenAIなどテックジャイアントだけが席巻してしまうのでしょうか？それとも群雄割拠の時代を迎えるのでしょうか？

伊藤：最近、AIを活用したスタートアップのサービスを見ていると、さまざまなモデルを組み合わせることができる設計になっています。また、モデルの入れ替えも可能で、どこのLLMベンダーを利用しても問題ない設計になりつつあります。

さらに、巨大なモデルは構築するのも利用するのもコストが高くつきます。コストが少なくて済む、分野に特化した特化型のモデルが出始めていることから、これらのモデルをつなぐ動きがみられます。日本は独自の文脈が多くあるため、こうしたものがどんどん作られていくと思います。

松尾：データ、計算資源、モデルと3つ重要な要素がありますが、データが一番ボトルネックになりやすいです。

LLMに英語以外の言語、また医療、製造、法律など、特定領域(バーティカルLLM)のデータを学習させれば制度も高まりますし、比較的軽量です。今後は、そのような進化を遂げるのではないでしょうか。

伊藤：Adobeの生成AI「Firefly」は、少ないデータ量でも質が高ければ良いものができます。ChatGPTなどの巨大なモデルはインターネット上のさまざまなデータを取り込みますが、特定の優良なデータだけで学習すれば少ないデータで質が高いものが出てくるのでは、という1つの仮説が立てられます。

元榮：国内でも各企業がLLMの開発を計画しています。

松尾：そうですね。松尾研究室も8月に100億パラメータのモデルを発表し、そのほかにもさまざまな企業・組織がLLMを発表しています。

概ね100億パラメータ前後のモデルが多いですが、世界基準だと2桁足りない状況です。ただ、軽量のモデルを作っていくことは良いことだとは思います。コストも安く、ノウハウを蓄積できます。

• 

  国内企業・組織におけるLLM開発の計画・実行状況

元榮：松尾研究室で100億パラメータのモデルを作成して、そこから得られた気づきはありましたか？

松尾：日本語に強いものを目指していますが、英語のデータを入れた方が日本語の精度も向上する、という側面がありました。

そのため、基本的には英語のデータで賢くして、+αでマイナー言語(日本語)を加えて作成することが主流のやり方になると思います。

元榮：例えば100億パラメータなら、どのくらい日本語の割合にすればいいのでしょうか？

松尾：英語も日本語も、加えれば加えるほど精度は向上するため、データ数は多ければ多いほどいいです。

伊藤：人間も同じで、英語と日本語両方の論文を読んだ方が、理解の深まりを助けてくれていることと似ています。

元榮：現在ではさまざまなLLMが国内でも登場し、それぞれに特色があるかと思いますが。

松尾：実際には、そこまで変わらないと思います。というのもオープンソースをベースにしていることが多く、それぞれのLLMは共通している部分が少なからずあります。ChatGPTが話題になる前から取り組んでいた組織については、これまでの蓄積があります。

元榮：各社もトライすることで新しい技術的な知見や気づきを得て、さらに技術の進歩につなげているのですね。弁護士ドットコムもバーティカルLLMの取り組みを進めています。

法律特化型のLLMとしてインターネット上にない法律のデータ、例えば裁判官の口コミデータや無料法律相談サービス「みんなの法律相談」に寄せられた125万件以上の相談データなどを活用しています。

クローズドなリーガル情報でLLMをファインチューニングしたり、データベースを参照させたりすることに取り組んでいます。こうした切り口はどのように思います？

松尾：講演の度に弁護士ドットコムさんのスライドを使用しています(笑)。法律などの分野は最先端の技術から遅れがちですが、真っ先に取り組んでいることは素晴らしいと思います。法律の分野は国内外で領域が広がると感じています。

伊藤：いいアプリケーションだと感じています。法律は他分野の文章よりも構造化されており、価値が高いため、こうした動きは重要です。私もWeb3に携わる中でスマートコントラクトのバグに対して、人間の曖昧さと法律のルールをAIに組み込めば、かなりスケーラブルになります。

株式会社は契約書の束ですが、それを弁護士主導や監査法人が手動で管理していることから、スケーラビリティと透明性がありません。ここにAIと弁護士ドットコムのサービス、web3が加わると、従来はなかった株式会社のあり方が生まれてくるのではないでしょうか。

生成AIに関する日本の国際的な立ち位置

元榮：一方で、GPT-4を使うとコストがかかります。コストの低減は皆さんも考えているかと思いますが、いかがですか？

伊藤：安くならないとおかしいですよね。コストが下がらないとアクセシビリティにもつながらないと感じています。効率的な運用など、さまざまな手段で安くはなるかと思いますが、そもそもLLMですべてやろうとすること自体が永続的なものではない可能性があります。

また、いまのLLMの構造は中央でデータの解析を行わなければならないですが、CPU効率を改善したAIと、それを提供するサービスが登場すればスマートフォンやエッジでできるようなるため、APIを使い費用を支払う必要がなくなる可能性があります。

元榮：LLMに関しては、そのとき一番使いやすいものを利活用するという時代になるのでしょうか？

松尾：LLMを利用して、アプリケーションを構築する側はLLMを切り替えて使えるようにしたいと考えていますが、LLMを構築する側は変えさせたくないという思惑が双方にあります。そのため、今後どのような方向性になるのか注視する必要があります。

LLMの能力とアプリケーションのタスクの性能がどのように紐づいているかは、あまり明らかではないことからサービスを作っていく中で分かってくるでしょう。

伊藤さんも話していましたが、LLM単体だけでなく、今後はさまざまなシステムを組み合わせてアプリケーションを構築していくことが想定されるため、接続の仕方はすごく重要になると考えています。

元榮：混沌としている中で注視しつつ、進めていく必要がありそうですね。松尾さんは政府のAI戦略会議で座長を務められいてますが、日本における現時点のルールメイキングについての論点や方向性を教えてください。

松尾：AI戦略会議で暫定的な論点整理として「リスクへの対応」「AIの利用」「AI開発力」の3つの側面から発表しています。

• 

  AI戦略会議におけるAIに関する暫定的な論点整理の概要

元榮：今年5月のG7広島サミットで生成AIについて議論するため「広島AIプロセス」を立ち上げています。日本のソフトロー中心で利活用を準備できるようにしようという取り組みは、反映される度合いとしてどの程度のものなのでしょうか？

松尾：欧州が強い規制案を提示しており、米国はイノベーション重視です。日本が完全に異なることをやるわけにもいかないため、ある程度は中間地点のようなものになるかと思います。透明性や説明性が必要とされると思いますが、具体的にどういったものになるかは、まだ分かりません。

元榮：世界各国の意見が集約できないと抽象的な着地をしそうですが。

伊藤：今後は、巨大なLLMを提供している米国を中心とした企業から自主規制の話が出てくると思います。実際、日本や米国などでLLMのビジネスが立ち上がる中で、米国中心の自主規制型のるるーはスピーディに決まっていくと思います。

日本は米国の自主規制型の方針に乗るのか、欧州のようにプライバシーを重視したルールにするのかを決めなくてはなりません。日本のこれからの競争力を考えると、ポリシーのチェックなどは慎重に進めつつ、自主規制型の方針に乗り、どんどんビジネスを推進するべきだと思います。