このページの本文へ

ここから本文

スマートフォンのセンサーを生かして3次元計測を手軽に。
手のひらから広がるイノベーション「Rulerless(ルーラレス)

シナジーコラム 3Dモデル生成技術×課題抽出力 スマートフォンのセンサーを生かして3次元計測を手軽に。手のひらから広がるイノベーション「Rulerless(ルーラレス)」 ライター
斉藤 俊明×三菱電機インフォメーションシステムズ株式会社 金融第二事業部 金融システム営業第一部 第一課 甲斐 博将(かい ひろまさ) 三菱電機株式会社 情報技術総合研究所 知識情報処理技術部 知識ベース基盤技術グループ 太田 貴士(おおた たかし) 三菱電機インフォメーションシステムズ株式会社 金融第二事業部 システム第一部 第二課 上野 靖(うえの やすし)シナジーコラム 3Dモデル生成技術×課題抽出力 スマートフォンのセンサーを生かして3次元計測を手軽に。手のひらから広がるイノベーション「Rulerless(ルーラレス)」 ライター
斉藤 俊明×三菱電機インフォメーションシステムズ株式会社 金融第二事業部 金融システム営業第一部 第一課 甲斐 博将(かい ひろまさ) 三菱電機株式会社 情報技術総合研究所 知識情報処理技術部 知識ベース基盤技術グループ 太田 貴士(おおた たかし) 三菱電機インフォメーションシステムズ株式会社 金融第二事業部 システム第一部 第二課 上野 靖(うえの やすし)

三菱電機はグループ会社一丸となって多種多様な技術を製品・サービスに生かし、世の中の至るところでさまざまな社会課題の解決に挑戦している。自然災害が多発する中、被災状況を迅速・的確・効率的に把握したいというニーズに応えるのもその一つ。スマートフォン搭載のセンサーで取得した3次元(3D)点群データとカメラで撮影した画像から生成した3Dモデル上で、水害時の浸水を手軽に計測できるアプリ「Rulerless」。その開発背景と、携わったメンバーたちの思いを聞いた。

被災調査の現場で求められるスピードと効率

目の前にあるモノの高さを測るには、定規や巻き尺を当てればいい。しかしながら各所で人手不足や業務効率化が叫ばれる現在、シーンによっては異なる方法でより簡単に、よりスピーディーに計測したいというニーズもあるだろう。例えば自然災害の現場において建物の被害状況を調査する場面では、人の手が届きにくい、足で踏み込めないといった箇所があり、メジャーを直接当てて測れない事態も考えられる。

ではどうするか。そんなときこそデジタルの出番ということで、今回のテーマである「Rulerless」の活躍が期待できる。

最初に、「Rulerless」とはどのような製品なのか、アプリを開発した三菱電機インフォメーションシステムズ(以下、MDIS)で損害保険会社向けシステムの営業を担当する金融第二事業部の甲斐博将さんに話を聞いた。

甲斐博将さんの写真
三菱電機インフォメーションシステムズ株式会社
金融第二事業部 金融システム営業第一部 第一課
甲斐 博将(かい ひろまさ)

甲斐:「Rulerless」は、一部のiPhoneやiPad※1に搭載されたLiDAR(ライダー)スキャナー(モノの外形を点の集合で表す点群データを取得するセンサー)を活用して誰でも簡単・高速に3Dモデルを生成し、その3Dモデル内の箇所を誤差1cm程度※2の高い精度で自由自在に計測できるアプリです。アプリ画面上で3Dモデルの一点、例えば浸水被害を受けた家屋の水に浸かった位置(浸水線)をタップすると、地面からそこまでの距離を瞬時に計測できます。また、任意の2点間の距離も計測可能となっています。

※1:対応機種はiPad Pro 12.9インチ( 第4 世代)、iPad Pro 11インチ(第2世代)、iPhone 12 Pro/Pro Max、iPhone 13 Pro/Pro Max、iPhone 14 Pro/Pro Max、iPhone 15 Pro/Pro Max(2023年11月時点)

※2:自社調査のため、1cm程度の誤差を保証するものではございません。

記事内の「iPhone」及び「iPad」は、米国および他の国々で登録されたApple Inc.の商標です。「iPhone」の商標は、アイホン(株)のライセンスに基づき使用されています。

浸水高計測のイメージ
浸水高計測のイメージ

甲斐さんの説明は、浸水被害が発生した際、水が建物のどの高さまで上がってきたか計測するユースケースを想定した活用方法だ。実は「Rulerless」は、甲斐さんが営業活動の中で、損保会社の現地被害調査に関するニーズを耳にしたのが始まりである。

甲斐:水害の際、損保会社では調査員が実際に赴き、建物がどこまで浸水したかメジャーで測定して保険金額を決定します。その作業は手間がかかりますし、調査員の数が限られる中で多くの調査を行うため、いつでもすぐ訪問できるわけではありません。タイミングによっては保険契約者の相談を受けてから数週間後ということもあり、保険金支払いはさらに遅くなってしまいます。そこで、調査員の業務効率化という視点はもちろんのこと、ゆくゆくは契約者自身で浸水を測定して保険金を申請できるようになれば、支払い期間の大幅短縮に貢献できると考えました。

CES 2024イノベーション・アワード受賞者ロゴ
CES 2024イノベーション・アワード受賞者ロゴ

2023年9月にApp Storeで試用版提供が開始された「Rulerless」は、文字通り“ルーラー=定規”なしでの手軽な測定を実現。その使いやすさや被災者の復興支援の迅速化という社会貢献性の高さを評価され、「CES2024 イノベーション・アワード」を受賞した。

2024年1月に開催されたCES(米ラスベガス)でも、訪れた多くの企業が関心を寄せていたと甲斐さんは振り返る。

3次元計測アプリ「Rulerless」が、「CES 2024 イノベーション・アワード」を受賞 新しいウィンドウが開きます

世界最大級のテクノロジー展示会CES2024「Rulerless」展示ブース
世界最大級のテクノロジー展示会CES2024「Rulerless」展示ブース

世界最大級のテクノロジー展示会CES2024「Rulerless」展示ブース

CES 2024イノベーション・アワードを受賞しました。
CES 2024イノベーション・アワードを受賞しました。

CES 2024イノベーション・アワードを受賞しました。

身近なスマートフォンで、誰もが使える高精度計測を実現

甲斐:開発につながるそもそものスタート地点は、三菱電機の情報技術総合研究所(以下、情報総研)が持つ「3次元形状再構築技術」を損保会社に説明した際、「3Dモデル上で距離を計測できるなら水災調査に使えるのでは」という声を聞いたことでした。

3次元再構築技術とは、LiDARスキャナーで取得した点群データを基に3Dモデルを作り上げるものである。従来、LiDAR機器は概して高価で、気軽に導入するのは現実的ではなかった。ところが一部のiPhoneやiPadにLiDARスキャナーが装備されたことで、状況が変わった。身近なスマートフォンやタブレットでLiDARを用いた計測を実現できれば、損保会社の調査員がこれまでより手軽に、かつ迅速に計測を行うことが可能になる。そこでMDISは、同技術を有する三菱電機の情報技術総合研究所(以下、情報総研)に相談を持ちかけ、「Rulerless」の共同研究開発が動き出した。

情報総研で「Rulerless」への技術提供に携わった知識情報処理技術部の太田貴士さんは、MDISから相談を受けた当初、こう感じたという。

太田貴士さんの写真
三菱電機株式会社 情報技術総合研究所
知識情報処理技術部 知識ベース基盤技術グループ
太田 貴士(おおた たかし)

太田:もともと情報総研では、自動車など大きなモノに搭載されるLiDARを用いた3次元再構築技術を開発してきました。そのため「はたして今まで培った技術を、性能が限られたスマホのLiDARスキャナーでもそのまま使えるだろうか」と不安が先に立ったのです。

しかもMDISからの要求は、厳しい精度を要求された。損保会社向けシステム開発を担う金融第二事業部の上野靖さんが証言する。

上野靖さんの写真
三菱電機インフォメーションシステムズ株式会社
金融第二事業部 システム第一部 第二課
上野 靖(うえの やすし)

上野:浸水被害の度合いが保険金額に直結するので、損保会社からは高い精度で計測できることが求められます。そこで情報総研には「誤差1cm前後」で相談しました。

太田さんはその要求をどう受け止めたのか。こう振り返る。

太田:自動車の場合は数cmの誤差が許容されていたのですが、1cmとなると難易度が一気に高まったと実感したことを覚えています。

精度の問題に加えて、点群データにカメラで撮影した画像を貼り付けるという改善も必要になった。点群データだけではまさに点で構成されたモノの無機質な外形しか表現されず、ユーザーには単なるブロックのようにしか見えないため、浸水線を画面上でタップすることができないからだ。

「Rulerless」では対象物の点群データを取得する際、先に取り込んだデータと次に取り込んだデータで共通する点を見つけ出し、SLAM技術(自己位置推定と周辺環境認識によるマップ作成を同時に行う技術)で結合して一つのデータに調整。それを繰り返して全体の大きな点群データを形作る。
さらに、点と点の間に生まれる面の部分にカメラ画像をマッチングさせ、うまく配置していくところに苦労したと太田さん。

太田:とくにブレイクスルーのようなものはありません。いくつもの方法を試し、うまくいったものを繰り返して成果を確認するという地道なトライ・アンド・エラーの結果、最終的に画像をきれいに貼り付ける手法へとたどり着きました。

こうした技術的な部分は情報総研が手掛け、実際のアプリ上で操作する画面はMDISが開発。それぞれの得意とするワザが、「Rulerless」で結実した。

パノラマ撮影感覚でOK。データ共有で再計測も可能に

筆者も実際に、3Dモデル生成と高さ測定にチャレンジしてみた。浸水した壁の3Dモデルを生成する作業自体は、ちょうどカメラでパノラマ撮影する感覚でiPhoneをゆっくり横方向に動かしていくだけ。壁などだけでなく対象物の360度モデルも作れるが、その場合もiPhoneを手に対象物の周囲をグルっと回り込めばOKだ。

高さの計測も、画面内に生成された3Dモデルで測定したいポイントをワンタップするだけ。これで地面部分は自動判定され、タップした点の高さが測定・表示される。これなら保険会社の調査員はもちろん、契約者自ら計測するのも簡単だろう。

テクスチャ付き3Dオブジェクト生成イメージ
カメラとLiDARが1つのデバイスに統合されており、互いのセンサ位置関係が既知のため復元したメッシュ(オブジェクト)に対してどのような向きから撮影した画像か推定可能
⇒メッシュの面に対し対応する画像を貼り付けることで視認性の高いメッシュを生成

「Rulerless」には、3Dモデルと計測データをクラウドにアップロードし共有できる機能も備えられている。この機能は、被害調査を契約者自身で行うようになった場合、その計測結果を損保会社側で事後に遠隔から確認したり、再計測したりといった用途を想定して実装したものだという。

アプリとしては、性能・機能だけでなく操作性も重要であることは言うまでもない。

3Dモデル生成計測 クラウドアップロード 業務に活用 システム連携
iPhoneで撮影し生成した3Dモデルと計測データをクラウドに共有して活用

上野:最初のプロトタイプができて以降、MDIS内でUX/UIやデザインを専門にする部門や、「Rulerless」開発に関わらないメンバーにも使ってもらい、意見を聞いてユーザビリティをじっくり改善していきました。

「Rulerless」のどこが“スゴイ”のか。上野さんは次のように語る。

上野:3Dモデルを構築するアプリは世の中にありますが、それを水災時の被害調査業務という特定の目的に適用するためカスタマイズを施したところが、他社にないユニークな点です。MDISは損保会社向けシステム開発をお客様のシステム部門と一緒に取り組んでいるため、お客様との距離が近く業務知識やフローも熟知しており、日々のヒアリングから課題を引き出す力を持っていると自負しています。そうした力が生き、今回のアイデアにたどり着きました。そこに情報総研の技術力が組み合わさり、独自の価値につながっていったのです。

一方、技術の実装で力を発揮した太田さんはこう話す。

太田:情報総研は、技術に注目して工夫を施し、発展させることは得意です。ただ、実際にユーザーが使うアプリとしての完成度は、お客様をよく知るMDISだからこそ高められる。今回の取り組みを経て、これこそがまさにシナジーだと実感しました。

課題抽出力とテクノロジーのマッチング。
可能性が広がる「Rulerless」の“これから”

Rulerlessは2点間の距離を測れるので、災害とは別の用途でも活用の可能性が広がる。

LiDARの照射距離はiPhoneに依存し、現状では5m以内しか点群データを取得できない。ただし5m以内であれば、前述のように対象物をグルリひと回りして3Dモデルを作ることはできる。そこで展示会では、工場における機器レイアウト時のサポートツールとして、あるいは設備管理業者がメンテナンス時に傷の大きさを測るツールとしての要望も出たそうだ。

さらに、照射距離の限界を超えれば、土木・建設での活用や大規模な都市モデル作成など、可能性は無限に膨らむ。損保会社だけでなく自治体向けの災害調査効率化で活用するアイデアも出ており、すでに「防災コンソーシアムCORE」という団体で自治体の協力を得た実証にも取り組んでいる。

甲斐:被害調査業務効率化が、ひいては災害時の復興支援の迅速化という社会課題の解決につながると思っています。MDISの立場としては「Rulerless」で成果を出し、それを情報総研への研究開発依頼という形で還元して、これからもより多くの社会課題解決に貢献していきたいですね。

どんな現場でも、最前線には悩みが存在する。ただ、それを具体的に言語化するのは決して簡単ではなく、だからこそ課題を課題として抽出する力が重要になる。加えて、課題が明確になった暁には、それを解決するソリューションを背後から支える技術力が求められる。この2つの力の掛け合わせが、これからも三菱電機の社会貢献を力強く後押ししていくだろう。

※本記事内の製品やサービス、所属などの情報は取材時(2024年1月)時点のものです。

取材・文/斉藤俊明(サイトウ トシアキ)
取材・文/斉藤俊明(サイトウ トシアキ)
毎日新聞社を経て独立し、当初は旅行・世界遺産やデジタル・IT関連記事を雑誌、書籍、Webメディアなどで執筆。現在はさまざまな分野のビジネスや環境・SDGs等に関して企業取材を中心に行う。
ページトップへ戻る