コーディングエージェントにはモデル構築とは全く異なるスキルセットが必要

コーディング用AIを使ってもまったく動作しない場合もあれば、一発でほぼ思う通りの動作ができる場合もある。求める規模や環境、プロンプトなどで大きく左右してしまう。

企業向けに自律的にコードを生成するエージェントを提供する米スタートアップFactoryのCTO Eno Reyes氏は、高品質なコーディングエージェントにはモデル構築とは全く異なるスキルセットが必要だとStack Overflow Blogで指摘する。過去にLLMやエージェント開発を行うような研究者が集うFactory社だが、特定のOSやLLM、IDE等に依存しない優れたエージェント構築のためには、ハーネスエンジニアリング(harness engineering)が必要だと説いている。

これは、LLMのコンテキストの管理や必要となる環境情報の注入、ツールの呼び出しなど小さな最適化を細かく積み重ねる作業で、研究者たちが従来携わっていたLLMの開発とは全く異なるものだ。

このプロセスが他社との差別化できる点であり、同社の品質の評判を高めている点だとEno Reyes氏は述べる。何も特別な秘密は無く、細部への注意の総結集("The sum of all of these things requires attention to detail. There really is no individual secret.")だと述べる。汎用的な良し悪しとは別に、個別環境による良し悪しの部分に大きな差別化のポイントがあることを示唆している。

世の中には多様な会社があり、その下には多くの部署があり、そのもとには多くの個人が存在する。管理のしやすさに長ける"画一性"であるが、PC単位で考えるとその下には多様な環境がある。ハーネスエンジニアリングからは、粗っぽく画一的にものを運ぶのではなく、個別な利点を生かす細心の注意を払う姿勢が大事なのであろうと思った次第だ。