セレンスは、米国ラスベガスで開催された世界最大のIT家電ショー「CES 2020」に出展し、フロントガラスをディスプレイ化してタッチすることなく操作できるHMI（ヒューマンマシンインターフェース）の他、音声AIによって車両と乗客が双方向に対話可能な自動運転EVバス「e.GO Mover」を披露した。
フロントガラスをディスプレイ化してタッチすることなく操作できるHMI。音声認識入力に加えて視線入力を追加した昨年のデモに加え、ドライバーのジェスチャーによって、タッチすることなく操作できる新たなHMIを紹介した。
デモカーには視線入力を実現するシステムとして、フロントウインドウにタイル状のメニューを表示するプロジェクターと、ドライバーの視線を読み取るための赤外線カメラを設置。それに加えてマップランプ付近にジェスチャーを検知するカメラを組み合わせた。これにより、目や手の動きを検知してシステムを動作させるのだ。この中には昨年も披露された、視線と音声コマンドの組み合わせでドアや窓を開ける動作も含まれる。
操作の流れは、フロントガラスに地図情報やナビ情報が表示されているときに、ドライバーが視線でメニューを選択し、フロントガラスのタブレット端末の前で手でジェスチャー操作することで実行される。「グー」から「パー」に変えるとフロントガラスに表示させる情報が変化し、1本～2本の指さしするとメニューの選択などが行える。昨年同様、電話をかけたり、興味ある場所へ視線を送って施設名や解説を得ることも可能となっていた。
新たにジェスチャーコマンドに対応したHMIを披露このHMIで重要なのは、ドライバーの目線が前方にある状態でフロントから情報を得ることができると同時に、操作パネルに視線を移さなくても大まかな手の動きで操作が完了できることにある。これにより前方不注意などによる事故の発生を未然に防止できるメリットがある。担当者によれば、この技術は運転に人間が介入することを前提とした「自動運転レベル3(条件付き運転自動化)を想定している」とのことだが、現状の運転支援としても十分対応できる技術と感じた。
もう一つの自動運転EVバス「e.GO Mover」は、音声AIによって車両と乗客が双方向に対話できるというもので、最大のポイントはEVバス側のシステムが乗客の言語を自動で判別して応対できるという点にある。
ジェスチャーコマンドでは、1本～2本の指さしするとメニューの選択などが行える注目すべきはシステム側からの発話を情報の内容や状況に応じて発話のスタイルを変更できること。乗客に対する重要な連絡であれば切迫した声のトーンで伝えたり、遅延を知らせる際にはおわびするような声のトーンに切り替えることができる。システムが乗客の音声を拾うときは様々なノイズが混じりがちだが、こうしたノイズはセレンスの技術によってを除去した上で対象の乗客のみの声を抽出できるという。
また、車内と車外の双方に情報を投影する「透明スクリーン技術」にも対応している。バスの中ではバスの運転ルート情報を車内の複数の場所に表示したり、座席の付近ではバスとの間でパーソナルなやり取りを可能とするが、“透明化”によってこれらが表示されていても車窓の風景を見ることができるわけだ。
フロントガラスには、操作したいメニューが表示されているため、前方を見ながら操作できる自動運転時代を迎えると、人が運転に関与しなくても良くなるため、車内での自由度はさらに高まるが、逆に言えばシステム側が次に発生する事象を乗客に伝えることも重要なサービスとなっていく。今後はこのような自動車と乗客が音声で交流する技術が発展していくことは間違いないだろう。
