カメラベースの先進運転支援システム検証向けソリューション

カメラベースの先進運転支援システム検証向けソリューション SOLUTIONS FOR VIRTUAL TEST DRIVING

目次 開発の目的 .............................................................................................................................3 要求事項.................................................................................................................................3 ソリューション概要 .....................................................................................................................4 Video Data Stream ...............................................................................................................6 モニタHIL (スクリーンキャプチャ) ..................................................................................................8 Video Interface Box (ビデオデータの取込み) ..........................................................................10 2

開発の目的 車両に搭載されるセンサの数と種類は増え続けています。増加 その代わりに、車両全体のコンテクストにおけるシステムの統合を する運転支援機能をあらゆるセンサがサポートする一方で、複 進めていくことが必要とされています。 雑化し続ける機能には、更なるセンサフュージョンと連動の手法 この点において、カメラベースのシステムは重要な役割を果たしま が求められています。 す。現時点において、幅広い機能を備えており、今後も開発が 結果として、テストツールへの要求も高まってきており、単独のコ 進むことで適用範囲が広がり、コスト減も予想されています。 ンポーネントを検証するテスト環境や手法では十分とは言えなく なっています。 ハイビームアシスト パーキングアシスト ナイトビューアシスト 車線認識 標識認識 サラウンドビューシステム 要求事項 シミュレーションを使った手法は、テストにおける要求事項を管 IPGMovieは、リアルタイムでの可視化を行い、様々な種類の 理するのに不可欠となっています。オープン統合プラットフォーム 試験技術のソースを提供します。加えて、カメラビューのニーズを であるCarMakerは、テストケースの設定、実行と分析を、バー 満たすために、様々なプロパティと効果が物理的にモデル化され チャル・テスト・ドライブで可能にする、普遍的で使い易い基本ツ ており、影、動きのブレ、反射、レンズの歪み、ノイズ、光の乱反 ールです。カメラベースのシステムには、3D可視化ツールである 射といった広範囲にわたる機能に深く関連しています。 IPGMovieが重要な役割を果たします。 動きのブレ アクティブライト 反射 3

ソリューション概要 Physical Sensor Models は、カメラシステムの光学特性を定 使うことなく画像処理やアルゴリズムが素早く効果的に試験でき 義する、CarMaker向けの包括的なツールボックスを提供しま ます。 す。これには、露出効果、様々なタイプのレンズ、撮影対象物、 既に物理的なハードウェアプロトタイプとしてのカメラが使える場合 歪みが含まれています。このようなモデル化は、以下に挙げるよう は、カメラHILシステムが有効です。カメラシステムを完成したコン なカメラベースシステムの試験に使用される多くのソリューションの ポーネントとしてテストするべき場合は、実物のカメラが、シミュレ 基本的な前提条件となります。 ーション環境からバーチャルなアニメーションを撮影するモニタHIL ソリューションが使用できます。しかし、マルチレンズシステムやライ アプリケーションと開発サイクルの段階に応じて、様々なカメラベ トアシストなどの特殊な機能の検証においては、画像データを直 ースシステムの試験に有効なソリューションが用意されています。 接ECUに取り込めるVideo Interface Boxを使うことがより有効 例えば、MILやSILの段階では、リアルタイムでのアニメーションと と言えます。 Video Data Stream を用いて、ハードウェアとしてのカメラを L VI 3 1 2 ILH 4 モニタHIL/カメラ HIL システム ン ーシ ョ ュ IL ソリ S ィスフ er オ Ma k arC MI L

Video Data Stream 要約: IPGMovie ▪ 機能アルゴリズムの早期試験 ▪ 3D可視化されたシミュレーション環 1 境からデータをダイレクトに取り込み Video Data Stream (via TCP/ ▪ カメラのレンズとプロパティを自由に IP)を使ってビデオデータを 設定可能 取り込み ソフトECU モニタHIL 要約: ▪ 実カメラを使ったアニメーションの 撮影 2 ▪ 現実のビークル・ダイナミクスによる、 カメラの閉ループ接続 ▪ モノカメラシステム試験向けのスタン ダードソリューション Video Interface Box 要約: ▪ ビデオデータをダイレクトにカメラ ECUへ取り込み 3 ▪ レンズと画像センサの現実的なエミュレーション ▪ リアルタイム演算でのアクティブフィー ドバックチャネル (レンズの絞り) 5

Video Data Stream 概要 カメラベースのアシスト機能で想定される状況の複雑さと多様さ は、例えばカメラやレーダのデータを、試験されるフュージョンのア は、想像をはるかに超えるものがあります。シグナルベースのテス ルゴリズムへ同期して提供することができます。 トを用いたアプローチでは、条件を断片的に反映することしかで さらに、各カメラの位置と向きを個別に設定したり、解像度、フレ きません。 ームレート、光学センサの特性を編集したりすることも可能です。 したがって、閉ループ試験におけるカメラベースのコンポーネント ビデオデータは、TCP/IPネットワークインターフェースを介して、テ と、統合プラットフォームを統合して、実際の条件下でセンサデー スト対象となるコントローラや画像処理アルゴリズムへ転送されま タフュージョン技術をテストすることが非常に重要となります。 す。（下図右側、Video Data Stream によるデータ転送イメー これを目的として、進化したカメラモデルによるリアルタイムでの可 ジを参照） 視化が進み、結果として周知であるレーダ、ライダ、超音波など シミュレーションが実世界での交通状況を作成し、テスト条件の の環境センサをはじめとして、グレースケール、カラー、あるいはス 再現、比較が可能となります。この強力なシミュレーション環境に テレオ画像、3Dイメージ向けのPMDなどの深度マップといった同 よって複雑なテストシナリオも複製できるため、膨大な評価テスト 時ビデオデータを生成することができます。 はシミュレーションへと移行します。シミュレーションと同時にデータ Physical Sensor Modelsでは、自由にカメラのレンズタイプ(魚 が入手できることは、フュージョンアルゴリズムにとっては必須と言 眼レンズなど)を設定することが可能で、開口部の角度や典型的 えます。 なレンズの不具合(歪みや口径食)を再現できます。この新技術 ブロック図（設定例） CarMaker シミュレーションの枠組み IPGMovie Video Data Stream (via TCP/ 道路 車両 IP)を使ってビデオデータを取り込み ソフトECU C、Simulink®、 FMU、コシミュレーション による統合 環境 ドライバ 6

適用例 交通対象物の認識に、グレースケール、カラーカメラのようなカメ 先述した通り、カメラシステムの価格は下がりつつあり、車には将 ラベースのセンサやPMD 3Dカメラのような深度センサ付きカメラ 来2つ以上のカメラシステムが搭載されることが想定されます。 が使用されるようになってきました。アダプティブ・スピード・コントロ 当然、複数のカメラを評価するコストも上がります。開発の初期 ール・システムや車線逸脱警報システム、自動運転などの領域 段階や実ハードウェアの試験が不要な段階では、ソフトウェア/ア では、現在、画像ベースのシステムが広範囲で使用されていま ルゴリズム自体の検証で十分です。下記のようなケースが主に す。 該当します: ▪ ソフトECUへ取り込む関連したデータの試験 ▪ データ処理アルゴリズムの事前検証 ▪ あらゆるカメラベースADASの、MIL、SIL での閉ループ試験 機能 ▪ バーチャル世界をバーチャルなカメラで撮影 ▪ データ処理アルゴリズムの事前検証 ▪ 実テストシナリオの複製 ▪ RGB、グレー、深度といった同期ビデオデータの生成 (下画参照) ▪ 実世界での条件下におけるセンサ・データ・フュージョン技術の試験 ▪ 魚眼レンズ、口径食のようなレンズ不具合を含むレンズの自由な設定 ▪ 解像度、フレームレートなどの自由な設定 7

モニタHIL (スクリーンキャプチャ方式) 概要 モニタHILシステムでは、テスト対象のデバイスとしての(プロトタ れ、CAN通信などでカメラへと転送されます。 イプに相応する)実カメラシステムにCarMakerのシミュレーショ 反対に、シミュレーションはカメラECUから出された信号を受け取 ン環境が接続されます。遮光された場所で、モニタの前にカメラ り、処理を行います。この信号は、カメラECUに導入されている が設置されます。モニタには、IPGMovieを経由して、シミュレー 先進運転支援システムが検知した対象物やその他の応答につ ション環境からのアウトプットがリアルタイムに可視化されます。 いて、メッセージ形式で発信されます。今後のさらなるアシスト機 IPGMovieは、車線、標識、交通オブジェクトなどを自由に定義 能も、ハードまたはソフトECUの形態で再統合されることも考え し、検証すべき機能に関連した結果を表示します。実際の車両 られます。結果として、複雑なシナリオもテストできる閉ループ統 シミュレーションはRoadBoxなどのXpack4リアルタイムPC上で 合になります。テストは完全に再現可能で、自動で実行、解析 実行されます。 ここでは、カメラに関連するデータがすべて生成さ が可能です。 ブロック図（設定例） カメラ・スクリーン・ボックス CarMaker/HIL ホストPC 顧客カメラデータ IPGMovie イーサネット ビデオ・ストリーム (HDMI) Camera client data (if available) CarMaker/HIL Xpack4 リアルタイム PC CAN: 道路標識、白線、 オブジェクト CAN: 速度、ヨーレート、 ドライバ入力 8

適用例 モニタHILソリューションは、比較的複雑性の少ない構造となって 特に、モノクロカメラシステムにとっては、以下の機能を試験し、 います。画像センサに関する深い知識が無くても導入できます。 評価するための鍵となるフィールドです: ▪ 車線逸脱警報システムのための白線/車線検知 ▪ 交通標識認識/検知 ▪ センサフュージョンと組み合わせた他のADAS機能 機能 スクリーニングボックス内の 実カメラ ▪ カメラシステムの完全なHIL統合 ▪ 短いレイテンシと、カメラ応答からシミュレーションへのフィードバックで 閉ループが実現 現実 ▪ ビークル・ダイナミクスの正確なプロパティにより確実性のある結果が コントローラ 得られる(急ブレーキ時の標識認識など) ▪ IPGMovieの可視化環境を使うことで多くのアプリケーションが実行 ADAS機能 できる バーチャル ▪ MILまたはSILからのテストケースをダイレクトに使用できる、シームレ スな開発 CarMakerでの ▪ ラボ環境で、数百万Km を自動モードで走行試験できる Virtual Test Driving 9

Video Interface Box (ビデオデータの取込み) 概要 Video Interface Box を使用すると、画像データをダイレク HDMI通信を持つ IPG Automotive特有のプロトコルは、少 トにECUに取り込むことができます。そのため、光学センサお ない遅延で効率的かつタイミング良く画像データを転送しま よび画像センサは物理的にカメラシステムから切り離されてお す。エミュレートされた画像のレジスタ構造へアクセスするのに り、結果としてカスタマイズされたハードウェアインターフェースが も、IPGMovieによるHDMI接続が使われます。このアクセスによ 使用されます。センサに取り付けられた、レンズとカラーフィルタ り、例えば、IPGMovieは事前にECUによって与えられた露出 を持つ光学パスは、IPGMovieにおいて完全にエミュレートさ 時間を読み込み、それに対し応答することができます。逆方向の れます。タイミングや、実際の画像情報を持たないデータの埋 通信では、レジスタ構造の初期化およびランタイム値の調整をフ め込みに関する情報は、FPGAコードとしてVideo Interface ィードバックチャネルを通じて行うことが可能です。 Boxのマザーボードに保存され、 IPGMovieユーザを通じて パラメータ化されます。IPGMovieとVideo Interface Box は、グラフィックカードのHDMIアウトプットにより接続されます。 ブロック図（設定例） PC Video Interface Box ▪ CarMaker/HIL RAM ▪ IPGMovie シグナル・アダプタ 例︓CH 1 構成・同期c. CameraLink グラフィックカード シグナル・アダプタ CH 2 ビデオ・データ 例︓ 12ビットグレースケール 固有使用 FPGA ステレオタイプシグナル・アダプタ DDC CH 3 Genlock シグナル・アダプタ 例︓ CH 4 GigE Vision ギガビット・イーサネット ギガビット・イーサネット シミュレーション・データ、フィードバック ギガビット・イーサネット リアルタイム・シミュレーション CAN、FlexRay、SOME/IP I/O 10 ECU 3 ECU 2 ECU 1 シリアライズ

適用例 露出設定の変更に対する動的な応答により、CarMakerとの組 加えて、Video Interface Box を使うことで、以下項目を含む 合せた「実物の」ループテストが可能になります。 試験が可能かつ簡潔になります: ▪ レンズが2個以上のカメラベースシステム (緊急ブレーキアシスト、サラウンドビューシステムなど) ▪ コントラストの差が大きなシステム ((ハイビームの)ヘッドライトアシスト、ナイトビューアシストなど) ▪ 極端なレンズ歪み角度を伴ったカメラシステム (サラウンドビュー機能向け魚眼レンズなど) ▪ ビークル・イン・ザ・ループ システム (試験車における搭載物の省スペース対策) 機能 ▪ カメラECUインターフェースへダイレクトにビデオデータを取込み ▪ コントラスト範囲 > 8 ビット/ピクセル ▪ ユーザ定義可能なエミュレーション毎の解像度(例︓4096 x 2034 ピクセル） ▪ コントラスト範囲及びフレームレートの設定; 全チャネルのトータルリミットは 7.44 Gbit/s ▪ Video Interface Box モジュール1個につき、カメラ(チャネル）4個までをサポート ▪ フィードバックチャネル ▪ カメラエミュレーションとECUを同期させる編集および制御 ▪ ビデオデータソースとカメラエミュレーション間の同期 ▪ CameraLink、GigE-Vision、 Camera Serial Interface、FBAS (PAL、NTSC) 、HDMI/DVIなどの様々な標準インターフェースが利用可能 ▪ FPGAベースのハードウェア装置が、より広範囲のインターフェースと機能を実行 ▪ Xpack4とCarMaker/HIL向けに最適化 11

SIMULATION SOFTWARE • REAL-TIME HARDWARE • TEST SYSTEMS • ENGINEERING SERVICES China | France | Germany | India | Italy | Japan | Korea | Malaysia | Sweden | Turkey | UK | USA SOLUTIONS FOR VIRTUAL TEST DRIVING IPG Automotive 株式会社 〒105-0003 東京都港区西新橋2-9-1 PMO西新橋9F Phone: +81-3-5826-4301• Email: sales-jp@ipg-automotive.com • www.ipg-automotive.com © IPG Automotive GmbH, Karlsruhe | 2016