タイトーでON!AIR事業部に席を置く藤井栄治氏は「認識技術の簡易化と活用」と題したセッションをCEDEC 2012初日に実施しました。
藤井氏は以前はスクウェア・エニックスで「ファイナルファンタジー」シリーズのムービーディレクターを担当。その後、タイトーに転籍し、本業はアートディレクターながら、自身でプログラムも書くというハイブリッドな業務をこなしています。今回の発表は直接業務に紐付くものではなく、自身のライフワークとしての取り組みという側面が強いようでした。
しかし表情認識はソーシャルゲームを手がけるON!AIR事業部にとっても意味があるものになりそうです。藤井氏が指摘したのは、元来は効率化・省力化の為に生まれたコンピューターが、今やコミュニケーションの手段として存在感を増しているということです。このコミュニケーションの世界で、表情というのは言語以上に効果的で、世界共通で通用する手段です。プレイヤーの表情の認識と、その表現によって、例えば仮想空間でも今以上のコミュニケーションを実現できるのではないかと考えられます。
藤井氏の用いる表情認識では、まず顔認識を行い、それ以外の部分をマスクし、顔の中から特徴点を抽出。基本形状からの歪みを認識、予め用意されたパターンに当てはめ、それがどのような感情を示しているか数値化するというものです。従来の表情認識ではモーションキャプチャーデータのような特徴点のトラッキングデータを受渡していましたが、それでは転送と処理に大きなコストが必要です。今回のように歪みから感情(笑、怒、平坦)をパーセンテージで数値化して受け渡しを行えば、オンラインゲームや仮想空間のようなネットワーク越しでもやり取りが容易です。
処理負荷は数世代前のPCでも十分にリアルタイム処理できる範囲に収まっていました。顔認識は画像の解像度に依存して負荷が大きくなりますが、表情認識は顔認識をして抽出範囲を狭めるので解像度に依存せずに認識が可能という特徴があります。
デモで藤井氏は表情を認識、それを数値データへと置き換えて、さらにその数値データを元にペンギンのキャラクターに表情付けを行う様子を見せてくれました。ペンギンのモデルは笑、怒といったパターンが用意されていて、数値データの比率によってブレンドして生成しているそうです。人の表情を見事にキャラクターに置き換えることができていて、そのままの技術で、仮想空間のキャラクターの表情を実際にプレイしているプレイヤーの表情と同期させるような事が可能になりそうです。
藤井氏は更に表情認識に音声入力を組み合わせることによって、リップシンクを正確に行い、リアルさを増す手法も考えられると紹介。また、感情を抽出することは、音声合成での声色の表現、感情に合わせたモーション表現、言葉やセリフ、あるいは条件分岐などに活用できるのではないかと指摘しました。コンピューティングパワーの増大やカメラの普及で表情認識にかかるコストは低下していて、それを活かしたゲームというのも絵空事では無さそうです。
