AIの通常の性能評価と網羅検証の比較

三菱電機株式会社は、決定木アンサンブルモデル※1を対象とした「AIの動作を短時間で漏れなく検証する技術」を開発しました。本技術は当社AI技術「Maisart®(マイサート)※2」の開発成果で、AIが期待に反する動作(誤動作)を行うリスクを低減し、安心してAIを利用できる社会の実現に貢献します。

AIが急速に発展して世界的に普及が進む中、AIに関する世界初の包括的な法的枠組みを定めた「欧州AI規制法」が2024年8月1日に発効されました。また各国でも同様に、AIのリスクに対処するための法令やガイドラインの整備が進められており、AIを開発・提供する事業者には、リスクを適切に管理することが求められています。特に、機器の自律制御システム、電力・社会インフラシステム、サイバーセキュリティーシステムなどの安全性が重視されるシステムにおいては、誤動作時に発生する損害の大きさからAIの信頼性が重要となっています。通常、AIの信頼性評価は、AIモデルの学習に用いていない有限個のテストデータで正解率などの指標を評価しますが、AIの動作は非常に複雑で、仮にテストを実施した際の正解率が100%であっても、テストしていないデータでの誤動作リスクを排除できないという問題がありました。この問題に対して、AIに期待する動作をあらかじめ設定し、期待どおりに動作しているかを厳密に漏れなく検証する網羅検証の手法が提案されています。ただし、AIモデルのサイズが大きいと検証に膨大な時間がかかることや、誤動作リスクの大きさが不明で対処の優先度を判断しづらいことなどを理由に、網羅検証を実施するケースは限定的となっていました。

当社は今回、網羅検証における問題を解決する技術として、数値データの予測などに広く用いられる決定木アンサンブルモデルに対して効率的に網羅検証を行う新たなアルゴリズムと、これを用いた対話的な検証ツールを開発しました。本技術を活用することで、AI開発者は網羅検証のサイクルを高速で循環させることができるため、AIの誤動作リスクを低減することが可能となります。これにより、AIの信頼性を向上し、安心してAIを利用できる社会の実現に貢献します。



  • ※1

    データを条件に基づいて分割して予測を行うモデルである決定木を複数組み合わせて予測精度を向上させるAI手法

  • ※2

お客様からのお問い合わせ先

三菱電機株式会社 情報技術総合研究所
〒247-8501 神奈川県鎌倉市大船五丁目1番1号
https://www.MitsubishiElectric.co.jp/corporate/randd/inquiry/index_it.html