NECは12月10日、AI(機械学習)を活用したシステムの品質を担保するための「NEC AI品質ガイドライン」を策定したと発表した。同ガイドラインは、同社がこれまで手がけたAI案件で適用してきたルールをまとめ、社内におけるプロジェクトでの実証をもとに策定した。同社グループの5300人が情報交換・共有を行う「NEC Data Analyst Community」で共有し、2020年4月以降のAI案件に適用していく考えだ。
ガイドラインは、従来型のソフトウェア品質保証だけでは対応できない、AIシステムの品質を担保することを目的としている。AIシステムの構築・開発では、演繹的ではなく帰納的な手法で進める必要があり、開発の際に試行錯誤を伴うが、テストやレビューなど、品質の十分性を測定する技法がなく、AIエンジンの仕様や分析結果を出すまでの過程について、人間による解釈が困難な場合もあり、従来のソフトウェア品質保証に関するガイドラインだけでは対応が困難だったという。
同社は、これらの対応に必要なAI応用システムの開発経験と、従来のソフトウェア品質保証のスキルを両立できる高度なスキルセットを有しており、今回その両方の観点から同社のノウハウをガイドラインにまとめ、今後のAIシステム開発を下支えできるようにした。
特徴として「早期のリスク防止のため、AIシステムのフェーズごとにチェック項目を設定」「AI開発の経験から、機械学習モデルに関する定量値を含むチェック項目を設定」の2点を挙げている。
AIシステムのフェーズごとにチェック項目の設定に関しては、AIを用いた開発では通常のソフトウェア開発フェーズに加え、システムの企画(PoC)や、データの収集/加工、モデルの作成/評価/テスト、システム運用が重要となるため、ガイドラインではこの特徴的な4つのフェーズに対して具体的基準を策定。各フェーズ間を移行する際にガイドラインに従ってチェックすることで、次フェーズで発生する恐れのあるリスクを早い段階で防止できるという。
-
AIシステムのフェーズごとにチェック項目を設定
機械学習モデルに関する定量値を含むチェック項目の設定については、同社がこれまで培ってきたAIシステム開発における経験を元に、機械学習のモデル作成用データの量や外れ値・欠損値など、いくつかの項目に定量的基準を定めており、基準を明確化することで第三者による判断を可能としている。
