MIT Technology Reviewは12月15日(米国時間)、「AI coding is now everywhere. But not everyone is convinced. | MIT Technology Review」において、AIを用いたコード生成の普及状況および開発者に与える影響に関する調査の結果を報告した。

LLM（Large Language Model：大規模言語モデル）の進展はMicrosoftやGoogleなど主要企業に業務の効率化というメリットをもたらしている。コード生成の約25%はAIにより自動化され、近い将来90%に達すると予測する企業幹部もいる。このようにAIを高く評価した経営陣は業務のボトルネックを解消できると考え、現場にさらなるAI導入を促している。

同レポートでは、このようにメリットの先行するAIツールの真実の姿、成功の秘訣などを伝えている。

  • AI coding is now everywhere. But not everyone is convinced.｜MIT Technology Review

    AI coding is now everywhere. But not everyone is convinced. ｜ MIT Technology Review

AIツールの普及がもたらす成果の低下

Stack Overflowの調査によると、AIツールを週に一度以上利用する開発者は約65%に達したとされる。AIツールの初期は自動補完を提供する程度だったが、現在では複数ファイルの編集、バグ修正、コード解析など幅広い作業をサポートする。自律的に計画を立ててコードを構築するエージェント型の技術も登場し、ベンチマークテストでは成功率70%以上のスコアを獲得している。

しかし同レポートからは、これらツールを利用した実際の成果が均一ではないことが示された。非営利の研究機関「Model Evaluation & Threat Research(METR)」の調査によると、熟練者は20%の業務効率の向上を実感しているが、実際には約19%の低下を観測したという。AIツールによって25%の効率化が望めると期待していた開発者からも、平均21%の速度低下を確認したとする実験結果が報告されている。

MIT Technology Reviewのインタビューに応じた開発者たちは、大規模言語モデルの問題点として「近視眼的アプローチ」を挙げ、AIの記憶力の乏しさに問題の本質があると指摘した。複数のタスクで構成される指示を実行する場合、AIはいくつかのタスクを忘れる傾向があり、洗練された誤ったコードを生成するという。さらにプロジェクトのコーディング規約も無視しがちで、問題の把握やメンテナンスを難しくする傾向も報告された。

すべてがうまく行った場合、最大で数十倍の効率化をもたらすと評価されるAIツールだが、欠点が集約されると全体の効率を大幅に低下させる。これら成功および失敗体験が、実感としての20%の効率化、実測としての19%の低下という結果をもたらしたと分析されている。

失敗軽減には対話が重要な要素

AIツールは導入企業全体に開発効率の低下をもたらしているが、一方で成功例も伝えられている。詳細な計画をモデルと共有し、段階的に作業を進めることで、従来より高品質なコードを得られるという。適切な設計指針を与えれば、モデルは安定した成果を出すとの見解もある。

ただし、組織全体で安定した効果を得るのは容易ではない。成功に導いた開発者はモデルとの長時間の対話が必要と述べ、フラストレーションを感じる困難な作業を克服した先に真の成功があることを伝えている。この作業をチーム全体で共有することは難しく、組織的な知識の体系化が今後の課題とみられている。

開発プロセス以外にも視野を広げ、全体の成功に導く

開発プロセスにおける成功の秘訣は、従来の開発姿勢からの脱却と言えるだろう。デバッグに必要な知識を温存しつつ、結果に導く上手なAIの使い方を学習および確立する必要がある。

ただし、現場を無視したAI依存は緩やかな衰退につながるリスクがある。AI導入は開発プロセス以外にも影響があり、基礎的な技能の習得機会の減少、若年層の雇用減少、熟練者の能力およびモチベーションの低下などをもたらす。機械に作業を奪われることで職業的な満足感が薄れると述べる開発者もおり、経営陣にはAI技術と職能の関係について考慮したAI戦略を策定することが求められている。