触れずに触れる？
謎技術「空中タッチディスプレイ」の実力とは

コロナ禍で加速した開発プロジェクト

──空中タッチディスプレイという新領域に挑戦したのには、どのような狙いがあったのでしょうか。

澤井（三菱電機エンジニアリング）：弊社では、これまでも主に産業用のタッチパネルモニターを手がけてきましたが、新たな市場として空中タッチディスプレイに着目し、4年ほど前から研究を進めていました。

空中ディスプレイの技術については、もともと三菱電機先端技術総合研究所で研究・開発を進めておられ、研究所にも協力を仰ぎながら空中タッチディスプレイの製品化を前提とした要素開発を進めてきました。

そんな折、コロナ禍に見舞われることになり、「非接触」を可能にする空中タッチディスプレイの開発はもはや責務と考えてプロジェクトを加速させたのです。このプロジェクトには、長崎事業所の私たちだけでなく、社内の各部門から得意技術を持った多数のエンジニアにも加わってもらいました。

──「空中に画面を表示してそれに触れて認識する」ために、どんな技術が必要なのでしょうか。

坂井（三菱電機エンジニアリング）：空中タッチディスプレイ技術は、光源（ディスプレイ）と再帰反射材、ビームスプリッターからなる光学系を用いて、ディスプレイの光を空中に再結像することで、目前の空中に映像を浮かび上がらせる技術です。

坂井：筐体に空間タッチセンサーとして赤外線インラインセンサーを搭載し、空中映像面を常時センシングすることで、空中映像に触れる（映像が表示されている面に指が到達した）ときにだけその位置を検出します。この方式を用いて空中映像の操作を実現しています。

──開発は順調に進みましたか。どのような困難があったのか教えてください。

坂井：20年以上にわたって培ってきたディスプレイ関連の技術を有していたこともあり、プロジェクトを本格化させると決まった時点で、すでに空中映像に関する技術についてはおおむね確立できていました。

また、商用化に向けては、核となる部品の精度をどれだけ向上できるかにかかっていたのですが、高精度なものが手に入るようになったところだったのです。さらに、コロナ禍で非接触デバイスが注目されたことで需要も見込め、ビジネスとして成り立つめども立ちました。

とはいえ、市販に向けてプロジェクトを本格化させると新たな課題にも直面しました。細かな課題を挙げればきりがありませんが、表示性能の点で悩んだのは「虚像」です。

これは、空中映像として結像される光路とは別の光路を経た光によって光源の映像が見える現象で、本来見せたい空中映像が見づらくなり映像の品質が下がってしまいます。空中映像と違い、虚像は見る場所によって出方が変わるため、その位置を制御するのには苦労しました。

牧野：私は他の空中ディスプレイをいくつか見てきましたが、今回このディスプレイを見てみていちばん印象的だったのは、虚像がないことです。また、この製品のように複数の反射材を使うタイプだと映像が暗くなりがちなのですが、全然気になりませんでした。

── 一般的に映像が暗くなるのは、どうしてなのですか。

牧野：内部のミラーに何度も反射させるので、反射率が悪いと鮮明さが失われていくからです。その結果、最終的に映し出される映像がぼんやりしてしまうだろうと思っていたのですが、このディスプレイではそれを感じません。

坂井：おっしゃるとおりで弊社のプロダクトでは、ビームスプリッターで反射と透過をする際に、光の持つ偏光という性質を利用し反射率と透過率を高めているので、映像を明るくクリアに表現できています。

空中タッチパネルディスプレイを試す牧野さん。

横からでは映像は表示されていないが、空中に映像が表示され、指でタッチ操作している。

利用者（牧野さん）からはこのように画面が表示されている。
写真ではディスプレイ内に表示されているように見えるが実際には空中に表示されている。

触覚インターフェースに欠かせない映像技術の発展

──牧野先生が研究しているハプティクスは、映像関連の技術と結びつきが強いかと思います。

牧野：そのとおりで、触覚だけでできることは限られていて、映像と組み合わせることで体験価値が向上します。

我々の研究室で研究しているのは、超音波の振動子を使って何もない空間に触覚を出すというものなのですが、それ単体での用途はなかなかないのが実情です。

それが2013年ごろから空中映像技術に進展が見られるようになり、映像に触覚という付加価値を与える役割が見出されるようになりました。映像だけでもタッチはできますが、奥行きを認識することが難しいことも多く、「押した」実感も乏しい。そこで超音波を使えば、例えば擬似的なボタンを押した感覚を指に与えることができるのです。

──触った感覚を出す技術について、簡単に教えてもらえませんか。

牧野：触覚の再現には超音波を使用します。超音波は音なのですが、1秒間に何回振動するかを表す周波数が高すぎて人間には聞こえない音です。音は波なので、周期的に圧力が変わります。

スピーカーをたくさん並べておいて、それぞれ超音波を出すタイミングを変えていくと、あるところで、波の圧力をものすごく高くできる点を作れる。そうすると、そこに触れるようになるという技術です。

ただし、小さな点を作ろうとすると装置も大型化してしまいます。レンズに置き換えて考えるとわかりやすいかもしれません。焦点を小さくしようとすると、レンズを大きくしないといけない。

天文台のレンズが大きいのは、とても小さい光も見えるようにするために開口を大きくしているからです。これとまったく同じことが起こってしまうので、現在の周波数を利用する限り、どうしても物理的なサイズは小さくなりません。

それからもう一つ、消費電力が電子デバイスとしては比較的大きい。世の中に浸透していくためには、サイズと消費電力の2つが大きな課題です。

坂井：たしかに装置が大きくなるのは技術的な課題ですね。私たちも空中タッチディスプレイに触覚インターフェースを搭載したいとは思うのですが、大型化してしまうことと、コストも増えるので、なかなか踏み切れません。すぐに製品へ投入することは難しいと思いますが、基礎的な研究は継続しています。

非接触で安心と安全を効率よく実現

──この空中タッチディスプレイは、どのような利用用途を想定していますか。

坂井：「画面に直接触れる」タッチパネルディスプレイは広く普及していますが、「誰が触ったのかわからない」ため嫌悪感や不安感を抱く方が、コロナ禍で一層増えているようです。そのため、まずは受付端末やATM、図書館の検索システムといった不特定多数が触る端末での利用を見込んでいます。また、医療関係での利用も考えられます。

牧野：手術室だと手袋をしていますし、触れるたびに消毒を気にする必要のない空中タッチディスプレイは役立ちそうですね。

加えて触覚があれば、操作が完了したことがわかりやすくなります。空中タッチディスプレイは、人によっては結構奥まで指を突っ込んでしまうのですが、触覚があると行き止まりの「面」を伝えることができる。クリティカルな操作のときには、触ったのかどうか肌で知りたいというニーズがありそうです。

坂井：エンターテインメントでも利用できそうです。空中に映像が出ていること自体がユニークですからね。

弊社の空中タッチパネルディスプレイは30インチを超えるサイズの製造も可能ですので、例えばショッピングモールで地図を空中に大きく表示するなどといった活用方法もできます。

牧野：そうですね、それと私は耐久性でも注目しています。例えば触覚型のインターフェースは基本的に触るものなので、展示会などでデモを実施すると壊れてしまうことがあります。ところが空中タッチだと物理的に触らないので、壊れにくいのではないでしょうか。

──少し話が飛躍するかもしれませんが、今注目されているメタバースにおいて、空中タッチディスプレイの技術を応用することで体験価値が変わらないでしょうか。

牧野：それは非常に重要な指摘ですね。バーチャル空間内のオブジェクトに触れられないと、結局のぞき穴の中を見ているのと変わらない。自分の手を伸ばしたらアバターの手がニョキニョキと出てきて、中のものに触れられたとしたら、途端にリアルな空間になる。人は目の前のものが本物かどうか確かめたいとき、どうしても触りたくなるものです。

そのためには、触覚インターフェースの研究もまだ足りていません。特に、手を出しているつもりの位置での体験をバーチャル空間上で正確に再現するためには、まだ研究が必要だと思っています。

──空中タッチディスプレイとしては、最初の機種が発売されたばかりです。今後の機能拡張や理想形について教えてください。

坂井：今の方式ではセンシングできる範囲がディスプレイ部分だけなので、指が中に入った瞬間にしかリアクションできません。現在開発中のものでは、ディスプレイの手前から3次元的に指を検知しているので、指の動きをより立体的に捉えたリアクションが可能になります。

澤井： 3次元的に指を認識するタイプについては基礎的な機能部分は実現できていますが、製品化するためには、もう少し開発を続ける必要があります。また、今回発売した赤外線インラインセンサータイプの製品については、小型化と高輝度化に向けた研究と開発を進めていきます。

坂井： 理想としては、触覚インターフェースも組み込みたいという思いはあります。また、平面だけでなく立体にできると面白そうですね。例えば、商業施設で液晶ディスプレイを使った案内表示がありますが、それに替わってアバターが立って案内してくれたらいいなと。技術的には不可能ではないと考えています。

──最後に、ビジネスとしての空中ディスプレイに対する期待、中長期で三菱電機グループとしてどんなふうに育てていきたいかをお聞かせください。

澤井： 冒頭でもお話しましたが、コロナ禍の新しい社会において求められる非接触デバイスの一つとして注目していただいています。しかし、10年後、20年後にどうなっているかは、正直なところ想像がつきません。

先ほど坂井からもあったようにいろいろな場面で立体のアバターが案内をしたり、自動運転で空中映像のエージェントと音声やジェスチャーで対話ができるようになるなど、未来を見据えながら新たな活用シーンを考えて開発を続けていき、マーケットを大きく成長させたいですね。