AIツールは優秀な人が使うことで機能する、curlコマンド開発者が指摘

The Registerはこのほど、「Curl project, swamped with AI slop, finds not all AI is bad • The Register」において、AIツールを用いた無価値な不具合報告の問題は人間に原因があると伝えた。

これはソフトウェアの不具合の発見にAIツールを用い、その生成されたレポートを検証せずに開発者に報告する問題を指す。AIは不具合のパターンを検出できるが理解しているわけではなく、無価値なレポートを生成することがある。そのような無価値かつ大量生成されたレポートに接する開発者は、報告の正しさを検証するだけで時間を奪われることになる。

The Registerは能力のある研究者が使用した場合の有効性を伝え、問題の本質がレポートの正しさを検証しないツール利用者にあると指摘している(参考：「curlコマンド開発者、生成AIを用いた意味のないセキュリティレポートに苦言 | TECH+（テックプラス）」)。

能力の高いセキュリティ研究者とAIツールの組み合わせは有効

先月、ポーランドに拠点を置くセキュリティ研究者のJoshua Rogers氏は、AIツールを用いることで特定した数十件の不具合をcURLプロジェクトに報告したとされる。これら報告の多くは細かなミスの指摘で脆弱性ではなかったが、報告に基づいて約50件の修正が認められたという。

無価値なレポートに悩まされていたcURL開発者のDaniel Stenberg氏は、今回のケースについて次のように述べている。

「私の見解では、AIツールの助けを借りて達成されたこれらの課題はAIが善のために活用できることを示しています。賢い人間の手に強力なツールが渡れば、間違いなく素晴らしい組み合わせになります」

また、続けて「無知なユーザーから今でも寄せられる報告がいかに馬鹿げているかを強調しているだけかもしれない」と述べ、AIツールに非はなく、報告前に内容を検証しない人間に問題があると指摘している。

Daniel Stenberg氏は自身のブログでcurlプロジェクトに送られてくる不適切なレポートについて伝えている

埋もれたAI脆弱性スキャンツール

Joshua Rogers氏の取り組みは不具合の発見が目的ではなく、埋もれたAI脆弱性スキャンツールを発見することにあったという。今回はその過程にて発見された不具合が報告され、その内容の有効性が高く評価されている(参考：「Hacking with AI SASTs: An overview of 'AI Security Engineers' / 'LLM Security Scanners' for Penetration Testers and Security Teams | Joshua.Hu | Joshua Rogers' Scribbles」)。

同氏が調査中に試用した製品は次のとおり。