三菱電機は7月22日、AI技術「マイサート」を使って世界で初めて車載機器やロボットなどが複数のセンサーを用いて収集した情報から周囲の状況を理解し、人と自然な言葉で円滑な意思疎通ができる「シーン・アウェア・インタラクション技術」を開発したと発表した。
開発技術は入出力のサンプルだけで学習できるエンドツーエンド深層学習を採用、カメラで撮影した画像情報、マイクロフォンで集音した音響情報、ライダーやレーダーで取得した位置情報などのセンシング情報から、周囲で起きている状況を機器が理解する。センシング情報の中で重要度の高い情報に自動で重み付け、独自のマルチモーダル・アテンション法を用いて、機器が理解した内容に対して自然な言葉を用いて詳細に表現する学習モデルを構築した。
機器が理解した状況や人の発話の履歴から、自然な言葉を生成することで、人と機器との円滑な意思疎通を実現するとしている。
同社では、今回開発した技術の適用に向けたアプリケーションの一つとして、人と車載機器が自然な言葉で対話する経路案内システムを構築した。
開発した技術の概要（経路案内システムへの適用例）