三菱電機株式会社は、ウエアラブル端末を活用し、AR(拡張現実)表示による点検手順の確認とハンズフリーでの点検結果の音声入力ができる「3次元モデルARを用いた保守点検作業支援技術」を開発しました。「高騒音下音声認識技術」により騒音が大きい作業現場でも高精度に音声での点検結果の記録ができるため、水処理プラントやビルの電気設備など、さまざまな現場での作業員の負荷軽減や点検ミスの抑制に貢献します。
開発の特長
- AR表示により、点検手順が直感的に理解できるので、作業負荷を軽減
- ・作業者(カメラ)と点検対象の距離に応じて、複数機器の点検順序と各機器の点検項目のAR表示を自動で切り替え、直感的な点検作業を実現
- ・3次元モデルを活用して位置と方向を算出することで、点検対象の位置にかかわらず正確にARを表示
- ・3次元センサー搭載のタブレットPCによる撮影だけで点検対象の3次元モデルを構築でき、点検手順との関連付けも一括で実行
- AR表示と連動した音声対話で点検結果を正確に入力し、点検ミスを抑制
- ・3次元モデルと関連付けた点検手順データベースから音声対話手順を自動生成することでAR表示と連動した音声対話が可能となり、正確な点検結果の入力を実現
- ・不明確な入力や点検漏れに対してシステムが再入力を促すことで、点検ミスを抑制
- ・「高騒音下音声認識技術」により、騒音が大きい作業現場でも高い認識精度を確保
開発の概要
機 能 | 性 能 | |
今回 | 3次元モデルをもとにAR表示 | 60cm先での表示誤差1.2cm以内 |
音響辞書学習にディープラーニングを使用 | 85dbAの騒音下で認識率95% | |
従来 | 2次元画像をもとにAR表示 | 60cm先での表示誤差4.0cm以内 |
音響辞書学習に単純な確率モデル (隠れマルコフモデル)を使用 |
85dbAの騒音下で認識率90% |