メタ認知プロンプティングを使ってChatGPTの出力品質を向上させる

スタンフォード大学のYuqing Wang氏とメタプラットフォームズのYun Zhao氏が発表した「Metacognitive Prompting Improves Understanding in Large Language Models(メタ認知プロンプティングによる大規模言語モデルの理解能力向上)」という論文では大規模言語モデル(LLM)の理解能力を向上させるための新しい手法が解説されています。論文は2023年8月に提出され、2024年3月20日に最新の改訂バージョンが提出されています。今回は、この論文を元に、メタ認知プロンプティングについて紹介します。→過去の「柳谷智宣のChatGPTプロンプトクリエイティブラボ」の回はこちらを参照。

• 先日改訂版が公開された論文「Metacognitive Prompting Improves Understanding in Large Language Models」

人のように内省させるメタ認知プロンプティング

メタ認知プロンプティングは人間の内省的推論プロセスを参考にして、自己評価するプロンプトを構築することで、ChatGPTが新たな洞察を引き出せるようにしています。

研究では、GPT-3.5やGPT-4、Llama2、PaLM2などの主要なLLMでさまざまなGLUE、SuperGLUE、BLUE、LexGLUEといったベンチマークを行いました。

その結果、一般的な言語理解タスクでも、専門分野に特化した言語理解タスクでも、メタ認知プロンプティングは人間の内省的推論プロセスを参考にして自己評価するプロンプトの方が一貫して優れた性能を出したそうです。まずは、論文内で例示されたプロンプトを紹介します。

• プロンプトと出力
  

• 論文内で例示されたプロンプトと出力

「What are the most beautiful beaches in the world?」と「What is the most beautiful beach?」の2つの質問がお互いの言い換えであるかどうかを判断せよ、というものです。

メタ認知プロンプティングはテキスト解釈、予備的判断、批判的評価、最終決定の確認、信頼度評価という5つのステップを踏みます。