• ファインディが取り組む、AI導入・活用の効果をFindy Team+で最大化するデータ活用戦略

サマリ

AI時代の開発生産性について ・日々精度が向上する生成AIを開発現場に導入し、開発生産性を向上させ、企業競争力を高めること。
・米国の開発者の92%がAIコーディングツールを利用するなど、開発現場における生成AIの活用は避けられない潮流となっているため、これに対応すること。
Findy Team+による検証 利用率の可視化と活用促進:GitHub Copilotの利用率やAIによるPR作成率を可視化し、データに基づいた利用促進策(ナレッジ共有、サポート等)を実施。
生産性変化の多角的な分析:リードタイム、レビュー負荷、手戻り率、開発者体験(”AI疲れ”など)を定量・定性の両面から分析し、生産性への影響を正確に把握する。
活用基盤の構築支援:Google提唱の「Dora Core Model」などの指標を計測し、CI/CDの自動化といった、AIが活用されやすい開発基盤の構築を支援する。
定量的成果 ・テックリードのプルリクエスト作成数がDevin導入前後で1.3倍に増加した(4.9件/日 → 6.5件/日)
・AI活用メンバーのアウトプット量が1.5倍に増加した。
・チーム全体のDevinを活用したPR数が、ノウハウ共有により4倍に急増した(5件/日 → 20件/日)
・利用率の可視化と利用促進の結果、生成AIの利用率が2週間で20%から30%に上昇した。
定性的な変化 ・生成AIの活用事例コンテストや社内報での効果共有により、ポジティブな動機付けがなされた。
可視化しなかったことで顕在化してしまう課題について ・単にAIツールを導入しただけでは、期待通りに利用されなかったり、効果が出なかったりする。
・アウトプット量の急上昇などによる”AI疲れ”といった、開発者の定性的な変化(開発者体験の低下)が起こる可能性がある。
・感覚的な判断では生産性の変化を誤認する可能性がある(例:アウトプット量は増えたが手戻りも多い、レビュー負荷が増大し開発者体験が低下するなど)
AI時代における定量化の重要性 ・AIを前提とした開発体制への変革が求められる。
・AIツールの導入効果を最大化するためには、その活用状況や組織への影響を数値で可視化し、定量的に評価し続けることが重要になる。
・定量的な測定結果は、社内におけるAI関連投資の効果を示す重要な根拠となる。

はじめに「AI時代の開発生産性向上」

近年、生成AIの精度が日々向上しており開発現場に大きな変革をもたらす可能性を秘めています。
次のような調査結果や仮説もあり、開発現場における生成AIの活用は避けては通れません。

  • 2023年現在、米国の開発者の92%はAIコーディングツールを利用。
OGP画像

米国調査:AIが開発者体験(DevEx)に与える影響

GitHubが従業員数1,000名以上の企業に勤務する米国在住のソフトウェア開発者500名を対象とした調査を実施し、 開発者の生産性、コラボレーション、AIコーディングツールについて、マネージャーが考慮すべき点を尋ねました。

GitHubブログ

しかし、ただ単にツールを導入するだけでは、その真価を最大限に引き出すことはできません。

Findy Team+は、「挑戦するエンジニアのプラットフォームをつくる」というビジョンのもと、エンジニアリング組織のパフォーマンスを最大化するための戦略支援SaaSを提供しています。
このプラットフォームでは、プルリクエストやイシュー、ミーティングなどの開発活動データを自動で解析し、可視化・AI分析・改善のサイクルを通じて、開発生産性の向上と開発投資のROI最大化を支援します。

本記事では、Findy Team+での定量的なデータに基づいたAI活用がいかに開発生産性を向上させ、企業競争力を高める鍵となるかをご紹介します。

1. 生成AIの利用率可視化と活用促進

生成AIを導入しただけでは、その効果を最大限に引き出すことはできません。
導入後、期待通りに利用されなかったり、利用されていても効果が出ていないケースが多く見られます。
次の3つのステップで生成AIの利用促進に繋げましょう。

① 現状把握・分析

利用率の可視化と分析を行い、優れたナレッジを発見し、困っているメンバーをサポートすることを目的とします。

  • 生成AIの管理画面などでの確認:生成AIを導入するだけで利用できるため簡単に利用有無は把握できますが、何に使われたか判断できないため、詳細な分析は困難です。また、ツールによっては確認できないものもあります。
  • (グラフ)Claude(Anthropic)の利用量

    例) Claude(Anthropic)の利用量

  • アンケートによる調査:手軽に収集でき、ざっくりとした全体感を把握するのに役立ちます。ただし、回答者の感覚に依存します。
  • (図)アンケートの回答
  • Findy Team+による可視化:開発に関連するデータを基に、様々な切り口で分析することができます。
    • GitHub Copilotのチームごとの利用率を可視化し、利用率が高いチームのノウハウ共有や、低いチームの原因分析に活用できます。
  • (図)GitHub Copilotの利用状況レポート
  • 生成AIを活用して作成されたプルリクエスト数を可視化し、生成AIが作成しているプルリクエストの割合を把握することが可能です。
  • (図)プルリクエスト数の可視化グラフ

② 個別アプローチ

  • ハイパフォーマーへのアプローチ:ノウハウをヒアリングし、形式知化して横展開します。
  • ローパフォーマーへのアプローチ:原因分析と丁寧なサポートを行います。時間がない、アイデアが湧かない、スキル不足などの課題に対し、取り組みやすい活用事例の共有や相談会などを実施します。

③ 全社的アプローチ

  • 成功体験の共有とポジティブな動機付け:ノウハウをヒアリングし、形式知化して横展開します。
  • 学習機会の提供とスキルの底上げ:ワークショップ開催(職種別・活用レベル別など)を通じてスキルアップを促進します。
  • 利用の仕組み化と継続的な推進:チームや個人の目標に組み込み、定量データに基づいて継続して推進されるようにします。

2. 生成AIの利用による開発生産性の変化

生成AI導入後、開発生産性の変化を正しく把握することが重要です。感覚だけで判断すると誤認する可能性があります。

  • アウトプット量が増えていると感じていたが、実際に計測したら同程度、または減少していた。
  • アウトプット量は増えたが手戻りが多かった。
  • アウトプット量増加により、レビュー負荷などが高まり開発者体験が低下した。

Findy Team+を活用することで、以下のような分析が可能です。

  • 詳細比較
    • オープンからマージまでのリードタイムなど、様々なリードタイム指標を比較し、生成AIによるリードタイムの変化を比較できます。
    • コメント数、AIが作成したPRのレビュー状況、平均変更行数など、様々な切り口の変化をチェックします。
  • (図)詳細比較
  • レビュー分析
    • レビュー数やレビューの相関、リードタイムを可視化し、生成AI利用によるアウトプット量増加に伴うレビューの偏りや負荷を分析します。
  • (図)レビューコンディション
  • サイクルタイム分析
    • プルリクエストのリードタイムを4つの区間に分割して可視化し、生成AI利用によるパフォーマンス向上やボトルネックの変化を分析します。
  • (図)サイクルタイム平均値
  • チームサーベイ分析
    • SPACEフレームワーク(※)に準拠した設問設計により、開発者体験を「満足度・活動量・パフォーマンス・効率・協働」の5視点で可視化します。
      ※SPACEフレームワークとは、開発者やチームの「生産性」を、多角的な視点からバランスよく把握するための考え方。Googleの研究チーム「DORA」などが提唱
    • 生成AI利用によるエンジニアの役割転換やアウトプットの急上昇などによる”AI疲れ”のような定性的な開発者の変化を分析します。
  • (図)チームサーベイサマリ
  • チームにおける、開発者体験に満足している。
  • コーディングタスク分析
    • コードの変更履歴から、新規/手戻り/メンテナンスを判定することで、生成AI利用により手戻りの増加など品質の変化を分析します。
  • (図)コード変更サマリー

3. 生成AIが活用できる基盤

生成AIを効果的に利用するためには、適切な基盤の構築が不可欠です。
生成AI活用に必要な基盤としては、以下のようなものが挙げられます。

  • バージョン管理システムの導入
  • 開発環境の統一
  • 自動テストの整備
  • CI/CDの自動化
  • 小さいバッチ単位の反映
  • 疎結合なアーキテクチャ

これらは生成AIを活用するために新たに生まれた概念ではなく、今まで開発生産性の文脈で語られてきたプラクティスと同じため、開発生産性(デリバリー能力)を高めていくためのプラクティスを活用することができます。

開発生産性(デリバリー能力)の1つ”Dora Core Model”について紹介します。
Dora Core Modelは、強いソフトウェア開発チームの作り方を科学的に示したもので、Googleの研究チーム「DORA」が長年の調査に基づいて提唱しています。Dora Core Modelでは、以下の3つの要素を重視します。

  • Capabilities
    • デリバリー能力の高い組織が備えている能力
    • 定量的な計測が難しい
  • Performance
    • Capabilitiesと相関がある定量的に把握可能な指標
  • Outcomes
    • デリバリーにより得られるアウトカム
    • Performanceだけを高めるのではなく、アウトカムが向上することが目的

Findy Team+では、PerformanceのSoftware DeliveryとWell-beingを計測することができます。

  • Software DeliveryのFour Keysを計測
  • (図)DevOps分析
  • Well-beingを計測
  • チームにおける、開発者体験に満足している。

4. ファインディでの生成AI活用事例

ファインディでは、生成AIを積極的に活用し、開発生産性の向上を実現しています。
生成AIを活用による開発生産性の変化を可視化している事例を紹介します。

  • テックリードのプルリクエスト作成数:Devin導入前後で比較すると、テックリードのアウトプット量が1.3倍に増加しました。
  • (図)テックリードのプルリクエスト作成数
  • 生成AI活用メンバーのプルリクエスト数:DevinやClaude Codeを活用したメンバーのプルリクエスト数は、活用前と比較してアウトプット量が1.5倍に増加しました。
  • (図)生成AI活用メンバーのプルリクエスト数
  • チーム全体のプルリクエスト数:Devinを活用したチーム全体のプルリクエスト数の推移を可視化したところ、3月にDevinの活用ノウハウ共有により利用率が4倍に急増しました。
  • (図)チーム全体のプルリクエスト数
  • 生成AI利用率の上昇:生成AIを利用したプルリクエスト数の可視化を開始して利用促進したところ、生成AIの利用率が20%から30%に上昇しました。
  • (図)生成AI利用率の上昇

最後に

生成AIの登場により、開発現場は大きな変化が求められています。
AIを前提とした開発体制への変革は、単にAIツールを導入するだけでは不十分です。

導入後、ツールがどのように活用され、開発組織にどのような影響を及ぼしたかを数値で可視化し、定量的に評価することが重要です。
さらに、こうした測定結果は、社内でのAI投資の効果を示す重要な根拠となります。

あなたの組織では、AI導入・活用に対して定量的に測ることができていますか?
Findy Team+では3分でデータ連携して可視化を始めることができます。無料デモ体験も受け付けておりますので、お気軽にお問い合わせください。

関連リンク

[PR]提供:ファインディ