凌感科技は、シリコンバレーで2014年に設立し北京と杭州に支社がある。創設者である筆者は10年間マンマシンインタラクションとコンピュータービジョンに携わってきた。ここでは、最先端の3Dマンマシンインタラクションソリューションの自動車領域での応用について紹介する。
凌感科技CTOの費越氏が、8月28日開催の日中オンラインセミナー「中国IVIの最新動向と車内UI/UX最前線」に登壇し、動画を交えながら詳細を語ります。
会社概要
凌感科技はスタートアップ企業で、設立から今まで注力して取り組んできたことは、最も自然で最先端の3Dマンマシンインタラクションソリューションだ。我々はコンピューター業界全体の発展、変化、革新などはすべて人とマシンのインタラクションによってもたらされた結果であると気がついた。例えばマウスやキーボードからPCが誕生し、ダッチスクリーンからスマホが誕生した。今は新しい革命が始まろうとしている。自動運転機能を備えたスマートカーの登場により、操作インターフェースはよりリアルで情報もより豊かになった。音声とその他のテクノロジーだけでは不十分で、より自然な方法でコミュニケーションを取る必要があるため、主に次世代の機器や設備に提供するインタラクティブ技術に力を入れて取り組んでいる。
これは学術界で言われる内容だが、人間は言葉という相互交流するツールを持っており、誰でも使い、車内でも普通に使われている。しかし人の55％以上のコミュニケーションは事実上非言語で、ジェスチャー、手足、顔面などを通じて行われている。そのため我々が取り組んでいることは、インテリジェントな感知インタラクティブプラットフォームで、音声以外55％のコミュニケーション内容をキャッチし、人と車のインタラクションがより自然で効率的なものにすることである。
２つの主な技術と３つの特徴
弊社の主な技術は二つある。人を観察することと、世界を観察すること。人を観察するというのは人の三次元ジェスチャーの識別、三次元顔認識、ボディ認識などを実現すること。その他の設備やセンサーなど使わず、カメラと人工知能のアルゴリズムだけで人の全身トラッキングができる。６DoFヘッドトラッキング、位置トラッキング、SLAM技術。
そして特徴は３つ。＜１．レスポンス＞我々が実現したいことで、人が何らかのアクションを起こした際その動きに対し識別度は高く、素早く、的確に反応。＜２．正確さ＞簡単なジェスチャーだけでなく、全身の三次元骨格をキャッチし、三次元骨格ポイントを高精度に反映。＜３．効率＞移動端末などオーダーメイドされたデバイスで効率良く実行可能。
ジェスチャー・SLAM識別技術の現状
ジェスチャーの識別はすでに最高の識別能力をもっており、完全なる人間生理学的正しい骨格、26DoF、そして世界初ディープラーニングでジェスチャー識別が可能で、非常に高いロバスト性と高い識別能力を実現し、様々な動きを識別することができる。また、赤外線カメラ、RGB-Dカメラ、CCDカメラ、SLAMカメラなどもサポートすることで非常に高い三次元感度を得られており、商品化レベルにまで達している。SLAM技術については、室内のナビゲーションや正確なナビゲーションとしてARやVRのヘッドセット、スマホのアプリケーションなどに利用することができる。もちろんこの技術を応用し、自動運転などに関わることも可能である。
車内でのジェスチャーインタラクションとインターフェース
ジェスチャーを利用したインタラクションは様々なシーンで使うことができる。運転席のフロントエンドディスプレイは、大型化によりドライバーとの距離が遠くなりがちで、画面をタッチする変わりにジェスチャー操作が必要となってくる。AR、HUDなども普及しているため、最も自然で便利なインタラクション方式である。後部座席でも同じくタッチスクリーンがあっても、ジェスチャー操作なら簡単にインタラクションができる。さらに、車内すべての電化製品をコントロールできたり、ジェスチャーと音声を組み合わせて使うことでよりインタラクティブ体験が実現可能となる。
ジェスチャーインターフェースは車の種類によっていくつかのタイプに分類されている。既存の車は大きいディスプレイはなく、シンプルなシステムであってもジェスチャー操作が利用できる。この場合はOKや親指などのジェスチャーを事前定義するシンプルなコマンド操作方法だ。手を左右に動かして前後曲を選んだり、手のひらを上下すると音量調整ができる。ドライバーはスクリーンを見る必要がなく、視線を正面にしたまま事前定義したジェスチャーさえ覚えておけば、手を動かすだけで操作できるようになる。
今年から来年に発表される車のインターフェースは、ワイドスクリーンに様々なアプリケーションも入っている。このような車の場合、より自然的な角度から静的インプットだけではなく、動的インプットをお薦めしている。異なるアプリを持って移動したり、アプリ内でドラックなど面白い三次元操作ができたり、より、リアルにアプリの操作ができる。
3~4年後に発表される車は、レベル４もしくはレベル５の自動運転車両になるかと思う。このような車の傾向はスクリーンがより没入型になっており、フロントガラスは車両全体を覆うかもしれない。自動運転により人は正面を見る必要がなくなり、もっと娯楽システムとインタラクションすることが可能となり、お薦めとなるのはAR、VRなどフル３Dのようなジェスチャーインタラクションだ。複数のアプリケーション間でインタラクションを行い、より多くの機能をコントロールすることもできる。例えば、エアコンの温度もアップダウンスイングでコントロールできる。より自然的な三次元動作で直接大画面のテレビをタッチするかのように空中でクリックしたり、ドラッグしたりして、物体を掴むことも可能だ。
最後にもう一つのジェスチャーの応用として、手が汚いなどの理由で直接スクリーンにタッチするのが難しい場合に、リモートコントロールできるようにした。カメラを下に置くことで人の指がスクリーンから2～20センチ離れても遠隔操作が可能となった。
多くの自動車メーカーの車内の他にスマート生産などにも使われている。Xiaopeng Automotive Technology、Byton、Daimler、BAIC BluePark New Energy、FAW Car、SAIC Motor Corporation、DFSKなど。
８月28日開催、日中オンラインセミナー「中国IVIの最新動向と車内UI/UX最前線」に凌感科技CTOの費越氏が登壇し解説。質疑応答も実施する。