タッチインターフェイスはスマートフォンにおいて親和性の高い技術だ。操作の自由度が高く、機能との意味付けも直観的にしやすい。しかし最大の欠点は、画面を注視していいなと使えないこと。
ナビや車両のコンソールパネルもフラットディスプレイ化が進み、入力インターフェイスもタッチ式が一般化しているが、運転中の操作を考えると、タッチパネルは最悪のデバイスといってもよい。タッチする場所を見定めるには視点を画面に移す必要があるし、走行中は画面も動くし、腕や手のひらも空中にあり、確実な操作が困難なばかりか、危険でもある。
そのため欧州車では、タッチパネルをセンターコンソールの下、シフトレバーあたりに水平に配置していることが多いが、これもカーソル位置は画面を見る必要があり、指先へのフィードバックが微妙で、フォーカスしているポイントがわかりづらい。ダイムラーがジョイスティックをタッチパネルに変更したときは、あきらかに操作性が落ちたと感じた。
この問題の解決アプローチは3つある。
ひとつはAIエージェントによる音声認識と操作をいまより高度にすること。いまの車載エージェントはナビ操作くらいしかできないが、これを究極的にはライト、ワイパー、走行モード設定、表示切替、ブレーキやシフト操作まで広げる。そのためには、現状の単語・文章認識ではなく文脈認識を完璧にし、AIエージェントと普通に会話ができなければならない。「止めて」といったとき、ラジオを止めるのか車を停止させるのか、それまでの対話と周辺状況などから正しく判断できるAIが必要だ。
もうひとつは、テスラのようにオートライト、オートワイパー、オートミラー、シート調整、自動運転などを高度に進めて、運転中の操作を排除する方向だ。制御方法・制御方針は、事前に設定しておく必要はあるが、音声認識操作と組み合わせれば運転中、ハンドルとアクセル・ブレーキ以外、操作の必要性を下げることができる。
最後は、ジェスチャーインターフェイスだ。腕や指の操作を読み取って画面タッチや物理的なスイッチ操作を空間中で実現させる。3Dスキャナやカメラによるセンシングで可能になるが、コンソール画面の細かい操作については、操作位置や方向がわかるようにしてやる必要がある。
コーンズテクノロジーが展示していたのは、Ultraleapが開発した空中ハプティクス技術を利用したコンソールパネルのコンセプト。超音波のトランスジューサーアレイ（16×
16）の出力を細かく制御することで、空中に指先が振動するポイントを構成する。感覚としては指にピンポイントで風が当たるような部分が出現する。そこでつまんだり指を動かす動作をすると、画面上のスライダーやダイヤル、メニューを操作することができる。
フィードバックするポイントを画面上ではなく空中にもってこれるので、ジェスチャーインターフェイスに仮想的なボタンやつまみを再現できる。フィードバックは超音波による振動なので、トランスジューサーアレイの前をパネルで覆っても問題ない。
Ultraleapは、トランスジューサーアレイ、モーションカメラ、SDKを含む開発ツールなどを用意している。用途は、車載オーディオや空調のコントロールを考えているという。他にも一般的な家電の操作パネル、AR/VRへの応用が可能とする。
