立教大学大学院との共同研究により、大規模言語モデル(LLM)が、与えられた情報に存在しない誤った規則性を見出す傾向があることを発見した。
研究を行ったのは、同社のAIテクニカルセクターと、立教大学大学院人工知能科学研究科による研究グループ。
研究では、LLMは与えられた情報に存在しない誤った規則性を見出す傾向があることがわかったが、その誤った規則性を検証させると、「存在しない」と正しく判断できるケースが少なくないことも明らかになった。これは、LLMが自ら誤りと認識できる規則性を、あえて「存在する」と主張するという、LLM活用の社会的なリスクとなり得る挙動を示すものであるという。
この成果をまとめた論文は、自然言語処理分野の国際会議「EMNLP 2025」に採択され、11月5日に中国・蘇州で発表された。
LLMの活用が広がる中、LLMに論理的思考力、すなわち情報に基づき論理的に判断を下す能力が求められる。従来のLLMの思考力評価は演繹能力に焦点が当てられてきたが、豆蔵の研究グループは、より現実的なタスクに対応するために必要な帰納的な論理的思考力を評価した。
具体的には、事前知識の影響を受けない「数列から規則性を導く」タスクを設定。実験の結果、評価した全てのLLM(OpenAI、Meta、Googleの計5モデル)において、存在しない規則性を主張する現象が確認された。この事実は、LLM活用における大きなリスク要因であり、適切なリスク評価と低減策の検討が不可欠となる。
豆蔵は、この研究知見を活かし、AIエージェントやRAG(検索拡張生成)システムの構築支援など、生成AI活用支援サービスを提供している。
