これからがステレオカメラの本領発揮…SUBARU技術本部 ADAS開発部 部長 柴田英司氏［インタビュー］

2030年の死亡交通事故ゼロを掲げるSUBARU。世界に先駆けて運転支援システム「ADA」を市場投入し、以降20年以上にわたってステレオカメラを軸としたADAS「アイサイト」を進化させてきた。

長年にわたりアイサイトの開発を率いてきた株式会社SUBARU 技術本部 ADAS開発部 部長 兼 自動運転PGM 兼 SUBARU Lab 所長の柴田英司氏に、これからのアイサイトについて聞いた。

「安心と愉しさ」を支える運転支援システム

---：SUBARUのクルマづくりは「安心と愉しさ」をキーワードとしていますが、この「安心と愉しさ」とは、具体的にはどういうことでしょうか。

柴田：クルマを使っていただく上で「安心」は必要不可欠であり、弊社ではそこに徹底的にこだわったクルマづくりをしています。そのうえで「愉しさ」とは、クルマという機械を自分の手足のように操り、人間の機能を拡張するという意味で、人間が思うように機械を操ることができる楽しみです。

それは単純にスピードを出すということではなく、40キロ、50キロの速度域でも、思いのままにクルマが動くという意味での愉しさ。そこから生活を豊かにしていただきたいという思いが込められています。

---：なるほど。それでは、そのようなお考えに対して、今回のセミナーのテーマである運転支援技術がどのように関係しているのかをお聞きしていきたいと思います。

御社で最初の運転支援技術といえば「ランカスターADA」（1999年発売）ですよね。これは当時から自動運転の未来を意識していたのでしょうか。

柴田：将来を見据えて自動運転の構想もしていましたが、それよりもまず、事故を減らすための運転支援システムという意味合いの方が強かったです。当時の開発メンバーによるコンセプトシートからも、そのようなイメージで開発を進めていたことが見てとれます。

「やめたほうが良いのでは」という声もあった

---：なるほど。そして、そののちにADAからアイサイトというブランドとして再登場し、一気に市場に浸透しました。

柴田：実は、ADAからアイサイトに至るまでにはかなりの紆余曲折があったんです。一時期はステレオカメラの活用方法をクルマ以外にも模索していて、リソースを分散して各方面で技術的なトライを行っていました。たとえば航空宇宙での活用、鉄道の踏切監視やホームからの転落の監視、あるいはヘリコプターに搭載して高度計のように使うなどです。

しかし、アイサイトの開発を手掛けることになり、それらのアプローチをすべて取りやめ、自動車に特化したことが転機となりました。

---：いったん車両に集中したことで、アイサイトのコンセプトが固まったのですね。

柴田：そうです。それまでは10年以上、ステレオカメラの活かし方を決めあぐねていました。ひとつのアウトプットとしてADAを出したものの、ステレオカメラにはもっと有用な道があるのではないかと悩みに悩んでいたんです。

ランカスターADAも月2～3台しか売れず、ビジネスとして成立していない状態だったので、社内から「やめた方がいいんじゃないか」という声も上がっていました。

---：そんな時期があったのですか。

柴田：開発予算が20分の1になってしまい、何もできなくなってしまった時期もありました。そんな中、マネージャーになった私にステレオカメラの進退が託されたわけです。クルマの事業部のマネージャーですから当然運転支援に特化するという判断をして、政府補助金を貰って何とかやっていきました。

---：選択と集中をして、そこにリソースを投下したということでしょうか。

柴田：お金がないので選択せざるを得なかった、というのが実情です。部品を増やして機能を増やそうとすると、原価が上がってビジネスとして成立しなくなってしまいます。つまりアイサイトは、部品を増やさずにステレオカメラをいかに磨くかというところで勝負するしかありませんでした。

そこで、手持ちの財産でできることを絞り込むために開発のアプローチをすべて見直しました。その結果、ステレオカメラの強みは、近い距離を正確に見て衝突回避させることではないかという結論に至ったんです。

「衝突回避」に集中し、トップを取る

---：あえて一点特化型の開発に舵を切ったのですね。

柴田：そうです。われわれは、お客さまが一番お困りであろう衝突回避で勝負することにしました。その代わり遠くまでは見えないセンサーになってしまいますが、衝突回避でトップを取ることで商品全体のバランスを保とうと判断したんです。

ステレオカメラに特化するために、余計な部品もできる限り外していきました。ですのでコンセプトを絞り込んでアイサイトを生み出したというよりは、そう選択せざるを得なかったというのが正しいです。

---：結果を見れば、先見の明があったということだと思います。個人的にはアイサイトver.2で一気にブレイクした印象があるのですが、当時はどういった思いでしたか？

柴田：正直、アイサイトver.1の時点でやりたいことはやり尽くした感がありました。あまり日の目を見ないステレオカメラで、衝突回避系では世界トップクラスのものができて、技術屋としてはそれで十分だったんです。

私が技術運転支援システムの開発に絡んだのが1998年で、アイサイトver.1まで何とか持っていったのが2008年でしたから、「10年やると、一区切りになるようなことができるんだな」と感慨深かったです。

---：アイサイトver.1で、柴田さんの思いはいったん形になったのですね。

柴田：アイサイトver.1を出したときは本当にホッとしました。アイサイトver.2はアイサイトver.1のマイナーチェンジのような感じで、もちろん性能としてはいいものでしたが、売れたのは営業の力だと思っています。

システムにはいいところもあれば、どうしても限界もあります。日本全国の営業スタッフがそこをしっかり勉強し、お客さまに誤解を与えないようにわかりやすく説明して売ってくれました。そのおかげでお客様から高い評価を頂き、販売にも大きく寄与できたので、本当にありがたかったです。

アイサイトの軸は「徹底的に事故を減らす」

---：SUBARUは「2030年までに死亡交通事故ゼロを目指す」という目標を掲げています。先ほど「事故をなくす」というお話がありましたが、やはりアイサイトの開発でもこの目標を意識されていますか？

柴田：もちろん、アイサイトの使命は事故をなくすことです。おかげさまで、車載のステレオカメラは衝突回避のために作られていることがお客さまに認知され、買っていただき、評価もいただけるようになりました。今後もお客さまの手が届く価格帯を維持しながら、性能を進化させていくのがわれわれのミッションだと考えています。

自動運転というトレンドも取り入れつつ、社会課題を解決しながらみなさまの生活の質を上げ、徹底的に事故を減らすというのがアイサイトの変わらないコンセプトです。

---：衝突回避を軸に、さまざまな周辺機能が拡張されつつあるということですね。

柴田：そうですね。注意力の散漫によって事故が起きてしまうことがあるので、そこは絶対に防がなくてはいけません。一方で、単調な運転のシーンはハンズオフ機能でカバーするなど、人間ありきでクルマの運転をいかに支援するかというコンセプトはずっと変わりません。

---：フォレスターに搭載された室内カメラによるドライバーモニタリングシステム（2018年に設定）は、他メーカーではいまでも一部の高級車にしか装備されない限られた装備ですが、普及価格帯のモデルに設定されたのはどういった経緯だったのでしょうか。

柴田：SUBARUが掲げる「安心」のために、アイサイトとは別にドライバー起因の事故を防ぐシステムが必要ということで、ドライバーモニタリングシステムの設定を進めたという経緯です。

フォレスターの時点では、ドライバーモニタリングシステム単独の機能として導入したのですが、将来的にはアイサイト側とも連携しようという話は当時からしていて、それを実現できたのが今回の新世代アイサイト・アイサイトXです。

---：新世代アイサイト・アイサイトXから統合監視ができるようになったのですね。

柴田：そうです。ドライバーの状態を推定し、その結果に応じて運転支援システムの動きを変えることが可能になりました。アイサイトXには、ドライバーの状態が芳しくない場合などには警告を出しながら徐々にスピードを落としていき、見通しのいい直線で停止するという機能を入れています。途中でドライバーが復帰してアクセルを踏めば、また普通に走ることができます。

---：すでにそういった機能が実装されているのですね。そのほかにもアイサイトXでは性能や機能が大幅に進化しましたが、どのような技術的なトピックがあって実現したのでしょうか。

柴田：従来のアイサイトは、ステレオカメラのセンサヘッドの中に車両制御のマイコンも全部入っている構成になっていました。2014年時点ではエンジン、トランスミッション、VDC、横滑り防止装置、電動パワーステアリングと連携アイテムはそれほど多くありませんでした。

一方で2020年以降は、レーダー、ヘッドライト、ブレーキブースター、ドライバーモニタリングシステム、ロケータ、ステアリングタッチセンサ、フル液晶メーター、センターディスプレイなど、制御機能の高度化に伴い必要なものがかなり増えてきています。要は、車両の中でより統合制御が進んできているということです。

---：ここ数年で統合制御がかなりレベルアップしているのですね。

柴田：統合制御を支えるプラットフォームについては、従来はステレオカメラの中に車両制御マイコン、画像処理マイコン、あとはASICという部分がありました。このASICの中でCMOSのセンサーから来た情報を処理して、人間が両目で立体視をするように奥行きを測っています。われわれはこれを距離画像と呼んでいます。

2020年には、これらの半導体の構成を、ザイリンクス社のMPSOCという最新のチップを使って統合化しました。処理パワーも相当上がったので、データのやりとりをより密にして性能を上げています。

---：MPSOCの導入はスムーズに進みましたか？

柴田：われわれとしてはここで初めて、車載としてマルチコアの半導体を使ったんです。MPSOC内蔵のマルチコアを使ってどういう構成のアイサイトができるのかというのは量産に持っていくまでかなり時間をかけて練りましたし、半導体を支えるソフトウェアも相当入れ替えました。

ザイリンクス社を選んだ理由

---：ザイリンクス社のチップを選んだ経緯を伺ってもよろしいでしょうか。

柴田：ザイリンクス社はアメリカ・シリコンバレーにある会社で、2010年代中頃から現地でエンジニアと協議をしていました。最新チップのロードマップを聞きつつ、われわれとしては2020年にどういうことをやりたいのか、このチップにどういう機能を期待しているのかを伝えてディスカッションをしてきたんです。最新の半導体の性能とコストのトレンドを把握しながら、2020年にどの程度の画像処理ができるかを予測しながら作っていきました。

---：チップベンダーとかなり深い議論をしてきたのですね。

柴田：あとはマルチコアなので、かなり早い段階から設計情報を開示していただきました。このマルチコアを支えるソフトウェアをまずわれわれが内製してすべて動かし、性能的に問題がないと判断した上でサプライヤーさんにお願いするというやり方です。

新世代アイサイト・アイサイトXのコアは、このMPSOCの性能をいかに使いこなすかでした。シンプルでありながら難しいシステムなので、実現できたのはザイリンクス社と初期の段階から密に連携を取ったからこそだと考えています。

FPGAなのか、GPUなのか

---：先日のCESでは、ヴェオニア（アイサイトXのステレオカメラモジュールを供給する部品メーカー）を買収したクアルコムのカンファレンスがあり、Snapdragonで車載ビジネスを広げていくという内容の講演を聞きました。SnapdragonはGPUを採用していますが、FPGAとの違いが今後どのように影響してくるのでしょうか。

柴田：クアルコム社のチップとザイリンクス社のチップの大きな違いは、中にFPGAが入っているかどうかです。ステレオ処理のためにザイリンクス社のチップを選んでいるのは、FPGAでステレオの距離画像を作る処理をしたいからです。これはSUBARU独自の一番コアとなる技術で、かなり処理負荷が高いんです。デスクトップパソコンでも全然処理できないほどのヘビーな処理を、低消費電力で並列処理を駆使しながら回していきます。

---：その処理に耐えうるのがFPGAなのですね。

柴田：そうですね。ステレオマッチングの処理はハードウェアに近い回路で回すのが消費電力、コスト、計算効率の点から見て一番有利ですから、現状はFPGAが最適ではないかと考えています。

運転支援システムとAIの融合

---：今後、アイサイトにAIの判断能力を融合させるとのことですが、これは現状のFPGAの役割にAIを加えてさらに拡張するということでしょうか。

柴田：われわれはFPGAが持っている距離データに加えて、距離画像を筆頭にさまざまな画像を生成しているんです。従来の画像処理では、ミクロなものを抽出してそこのエッジ検出などを行いながら、どんなものがあるかを推定していました。

白線が見える道路や、ほぼクルマしか走っていなくて急に割り込まれることのない安定した高速道路であれば、それで問題なく運転支援ができます。ところが、歩行者、自転車、バイクなどが横から割り込んでくる、あるいは明瞭な白線がなく道路と歩行者が歩く境界がわからないような一般道で事故ゼロをめざすのは至難の業です。高速道路のようにきれいな環境を認識するようなアルゴリズムでは、まず通用しないでしょう。

---：確かに、一般道の環境ではイレギュラーが多そうです。

柴田：これは部下の言葉ですが、「大局観を持って物体を見ていく」ことが重要になります。たとえばAIの処理を使って、複雑なシーンでも大局観を持って走行エリアを見極めていくということです。

新世代アイサイト・アイサイトXには機械学習が入っていますが、今後はAIを使って複雑なシーンにも対応できる表現力が必要になるでしょう。CNN（畳み込みネットワーク。ニューラルネットワークの構造の一種）のようにシンプルな多層構造を何回も繰り返し、線形関数を何個も織り込むことで非線形を表していくというイメージだと理解しています。

折り畳んだ紙に切れ目を入れて広げるとさまざまな模様ができるように、シンプルなものを多層に積み重ねることで表現力を上げる、というのがAIをイメージとして捉える上でわかりやすい説明だそうです。

AIは走行エリアを見つけるのも得意ですし、それを従来の画像処理で得られる視差画像と組み合わせて有効活用することもできます。AIとわれわれが持っているステレオカメラの距離画像を組み合わせれば、まったく違う世界が広がるかもしれません。

---：以前、とある部品メーカーの方にインタビューした際、SUBARUは自社で運転支援チップの開発そのものに深く関与していると伺いました。一方、現在シェアが高いモービルアイは基本的には買ってつける形が多いと聞きます。ステレオカメラとともに、アルゴリズムと実装にみずから深く関与していることは、御社の強みに繋がっているのでしょうか。

柴田：そう思います。事故ゼロをめざす上で運転支援技術はSUBARUが「安心」を突き詰めるための手段であり、そのために大事なのは走行環境を把握することであり、そこで重要なのがセンサーです。

ステレオカメラの開発に長年取り組んできたわれわれのミッションにダイレクトにアプローチするために、センサーからの画像処理の開発、あるいはAI技術の社内への取り込みが重視されているのではないかと思います。

---：2030年に向けて、たとえばLiDARや他の高精度な自車位置測位の使用など、他のセンサーに対する計画はあるのでしょうか。

柴田：LiDARは各方面のサプライヤーさんにリサーチをしています。自車位置の推定についてはアイサイトXで高精度地図ロケータが入っていますが、今後より精度を上げられるようリサーチしているところです。ただ、コストが高くなると市場に普及せず事故が減らないということになってしまうので、いかにコストを抑制しながら機能を向上させるか考えなくてはいけません。

2030年と打ち出してはいますが、周辺監視技術についても対応していかないと事故ゼロには近づけないです。ステレオカメラは前方の一定範囲しか見られませんから、周辺監視技術をどう組み合わせるかを模索しています。

具体的に言うと、われわれのステレオカメラでできるのか、他のセンサーでどういうふうに作るのか、そのシステムのアーキテクチャはどうなのか、2030年までどう入れていくのかということを事故データ毎に分析しています。

あとは、先ほど申し上げたAIの活用です。SUBARU Labのマネージャーが死亡事故のデータを分析しながら、AIの方向性を探っています。

異常な事態にどう対応するか

---：2030年の死亡交通事故ゼロという目標達成において、もっとも高いハードルは何ですか？

柴田：正面衝突事故等があげられます。例えば、正面衝突事故は普通に走っているときに、いきなりクリティカルなシチュエーションになってしまいますから、運転支援システムが働く暇がありません。スピードを落とすことができないんです。

---：お互いスピードが出たままでは、大きな衝撃は避けられませんね。

柴田：そうです。死亡を防ぐためには、数十キロスピードを落とす必要があります。正面衝突の場合、そこまで落とせるだけの猶予時間がないんです。

---：運転支援システムで対策を取ることはできるのでしょうか。

柴田：直接的な事故を防ぐというよりは、車線をはみ出ない技術をどう磨くかという考え方もあると思います。車線を絶対はみ出さない車が増えれば、必然的に事故は減るはずです。

---：言い換えれば、想定される平常時のシチュエーションにはある程度対応できるようになり、正面衝突事故などのケースを潰す段階まで来ているということですね。

柴田：そうなります。現在の技術領域から外れてしまうほどシビアなシチュエーションが発生すればほぼ間違いなく死亡に至ってしまいます。そういったシチュエーションの解決方法をどう定義づけていくかは、運転支援システムの大きな課題です。

パッと「これでできます」ということはそうありません。どのように課題に向き合っていくかをお示ししなくてはいけないと考えています。

低コストで高精度に距離が測れるステレオカメラの時代

柴田：ステレオカメラを使ったシステムをフォーカスされることが多いですが、SUBARUではもともと事故ゼロを達成するための運転支援システムとして、前方環境を一気に捉えてすべて立体視するセンサーがもっとも有効であると約30年考え続けてきました。簡単に言うと、距離画像データをどう扱うのかに苦労してきたんです。

昨今世の中ではLiDARが話題ですが、それはつまり、複雑なシーンでは距離画像データが絶対に欠かせないということです。それならば、そのデータと約30年向き合ってきたわれわれには誰よりも豊富な知見があるはずです。われわれはそういう自負を持ち、みなさまに「安心と愉しさ」を提供できるクルマづくりに取り組んでいます。

---：事故ゼロに関して言うと、LiDARは普及価格帯のモデルには採用しづらいですよね。

柴田：そうですね。一番多い前方方向の事故において、精度の高い距離画像データを量産レベルで効率的に作れるのがSUBARUのシステムです。すでにSUBARUが製造する全車種に搭載しています。今後はこの強みを徹底的に活かして、SUBARUのステレオカメラが本領を発揮する時代が来ると思っています。

距離画像データがなくても済んだ運転支援の時代から、距離データがなくては機能が高度化できない時代になっていくはずです。それゆえみなさんがLiDARを選んでいる時代だからこそ、われわれSUBARUはさらに特徴を出していけるのではないかと思います。