機械学習システムの品質評価テストベッドα版をNEDOが公開

NEDOと産業技術総合研究所(産総研)は11月18日、AIシステムについて品質の指標や測定プロセスを提供する「機械学習システムの品質評価テストベッドα版(機能限定)」を開発し、企業・大学などの開発者向けにオープンソースソフトウェアとして公開した。

実社会でAIシステムを広く活用するためには、安心して利用可能とする品質マネジメントが不可欠であり、NEDOの「人と共に進化する次世代人工知能に関する技術開発事業」において、産総研は2020年6月に「機械学習品質マネジメントガイドライン」を公開し、AIシステムのサービスに求められる品質マネジメントに関する取り組みや検査項目を網羅的にまとめた。

同ガイドラインに示した品質マネジメントを実施していくためには、個別の品質評価項目に対して具体的な品質指標の測定・検査・改善を支援するツール群と、作業全体を統括管理できる作業環境が必要となる。すでに、機械学習モデルの管理とともに、AIシステムの品質要件定義から運用までのライフサイクルを支援する複数のツールが存在するが、次々に開発される新しい機械学習モデルや品質測定技術などを柔軟に取り入れられる共通基盤はこれまで存在しなかったという。

このような状況を踏まえ、両者は同事業で機械学習システムの品質評価テストベッドα版(機能限定)の開発を進め、11月18日からWeb上で公開した。開発の仕様検討においては、機械学習品質マネジメント検討委員の協力を得ている。

同テストベッドは、ガイドラインに沿った品質指標の測定・検査・改善を支援するツール群と、作業全体を統括管理できる作業環境を提供するオープンソースソフトウェアで構成されている。

また、新しく開発された機械学習モデルや品質測定技術などを柔軟に取り入れる仕組みを構築したことで、AIシステム開発者とAIシステム品質評価者に品質指標などの定量的評価を提供し、一元的な品質管理プロセス環境を構築することで開発プロセスや評価記録・検証などを包括的に支援する。

同テストベッドを公開し、広く企業や大学などのAIシステム開発者・評価手法開発者などに利用されることで、品質に関する不透明性が解消され、AIシステムのビジネス活用を加速させることが期待できるという。

同テストベッドは、AIシステム開発者・AIシステム品質評価者・評価手法開発者が共同で参加し、AIシステム開発時に品質管理で用いる学習・検査などのツールを組み込み、開発プロセス支援と評価記録・検証とを両立させる作業環境を提供するソフトウェア群となり、公開されたテストベッドは「AIシステム評価パッケージ(AIT、AIシステム開発に必要なデータセットや機械学習モデルなど、機械学習要素についての具体的な品質尺度を測定するソフトウェアプログラム)作成ツール」「品質アセスメントWebサーバ」「評価レポート作成アプリケーション」の3つの要素から構成されている。

AIT作成ツールは、評価手法開発者がガイドラインにもとづく評価指標を用い、評価測定方法を開発するためのツール。新たなAIT開発を容易にするエディターと実行エンジンを提供する。

品質アセスメントWebサーバは、評価手法開発者が開発したAITを取り込んで品質評価を行うWebサーバ。評価技術がAITとして当該サーバに内包されており、評価結果を管理する共通基盤上でAPI経由でAITを利用することを可能としている。

評価レポート作成アプリケーションは、品質評価者とAIシステム開発者のコミュニケーションを向上させるためのアプリケーション。AIシステム開発者が持つデータセットや機械学習モデルを総合的に管理する作業環境のもと、品質評価に関するレポートをグラフィカルなユーザーインターフェースで簡単に作成できるという。