AIエンジンの進化に合わせたプラットフォームを実現「TAIPエントリーモデル」

AIエンジンの進化に合わせた プラットフォームを実現する 「TAIPエントリーモデル」 データの前処理段階から学習までGPUを最大限に活用 AIエンジンの進化には、高速に学習処理ができるコンピュートリソースと膨大なデータが必要と なることは言うまでもありません。また、AIエンジンの開発プロセスでは最初から精度の高いも のを開発するのではなく、学習を繰り返して精度を上げていくことが必要です。そのプロセスを 実現するプラットフォームとして、東京エレクトロンデバイスが提供するインフラパッケージ「TAIP （TED AI Package）」エントリーモデルのメリットを解説します。 データセットの前処理と学習における課題 　画像解析・分析・認識といった利用シーンにおけるAIの活用が注目されていますが、その実現には、いくつか乗り越えるべ き課題があります。まず、GPUなどのAIアクセラレータを利用して相当な量の学習を行わなければなりません。さらに学習前の フェーズでも、学習用のデータ生成には膨大な時間を有するという課題があります。 　従来、データセット前処理の段階で行われるデータ拡張（Data Augmentation）は主にCPUが担ってきました。しかし、膨大 な量の画像データに複雑な前処理を施すには単にCPUリソースを拡張しただけでは非効率的です。 GPUの重要性と必要性 　そこで最近では前処理の段階からGPUを使用するアプローチが増えてきています。　GPUの活用が進む要因として、 CNN やSemantic Segmentationなどのディープラーニングモデルでは従来の機械学習と比べて計算量が増加し、さらに計算量が 必要となる複雑なディープラーニングモデル群が増加していることが挙げられます。 　最近では、NVIDIA社がリリースしているソフトウェア Dal（i ※下記参照） のように、データ前処理からGPUをフル活用できる 充実したソフトウェアが要因として存在しています。GPUは並列処理を得意とするアーキテクチャであり、その名の通り画像処理 に威力を発揮するため、大量の画像データを作る作業から学習をさせる処理までを高速化する目的での利用が増えています。 ■ NVIDIA DALIとは？ 　「NVIDIA Data Loading Library（DALI）」は、ディープラーニングアプリケーションに必要不可欠なデータ処理パイプライン のGPUオフロード機能を提供するライブラリです。従来、CPUで実行されてきた複雑かつ多段的な画像・動画・音声データの 前処理をGPUで実行することで、アプリケーションのCPUボトルネックを解消します。 　DALIを活用したリアルタイムでの高速データ拡張は、無停止での容量追加を可能にするスケールアウトNASと最大限のシ ナジーを発揮します。 NVIDIA DATA LOADING LIBRARY(DALI) MXNet 010101010101 Paddle Paddle 010101010101 010101010101 010101010101 PyTorch 010101010101 010101010101 010101010101 TensorFlow Input Data Decode Preprocessed Data GPU-Acceleraled Augmentations Training/Inference

膨大なデータの蓄積にスケールアウト型NASが欠かせない理由 一方、GPUで大量の画像データを扱うには、そのデータを蓄積するための基盤が必要となります。また、さまざまなところから収 集した生データと、学習に利用するために整形・拡張（Augmentation）したデータセットとを用途に応じて使い分けるためのスト レージも必要です。 　まさにこうしたユースケースに最適なストレージがスケールアウト型NASです。その特徴として、まずストレージ内で持つコンピュー トリソースを増やせることからスループットが高く、大容量の画像データの高速な出し入れができるという点が挙げられます。 　次に、さまざまな形でデータ保持することによって発生する急速な データ容量の増加へ、容易に対応できることも大きなメリットです。 GPU GPU 　これらに加えて大事なポイントは、マルチプロトコルインター フェースを持っていることです。高精度なAIエンジンをつくるため には、さまざまな学習対象のデータを集めたうえで、そこから学習 Raw Data Labeled Data Learned Data 対象データを選んでいくことが必要です。そのためには、画像収 集先に制限が無いことが求められます。そのため、マルチプロトコ ルへの対応が大事なポイントとなるのです。 AIエンジンの学習精度に合わせたプラットフォーム 　AIエンジンの開発の課題を踏まえ、東京エレクトロンデバイスでは、お客様のAIパイプラインにあったプラットフォームを、 「TAIP（TED AI Infrastructure Package）」というパッケージとして提供しています。 TED AI インフラパッケージ（TAIP） 最新のComputeアクセラレータを提供 Compute AI パイプラインを即座に利用可能 ベンダーロックの無い商品群 Network 各提供製品のスペシャリストが対応 お客様のニーズにあったカスタマイズ構成も可能 Storage ＋ Support & Service TAIPの概要 　もちろん、試行錯誤を繰り返してAIエンジンを作ろうという半ば試作的な動きが多い中では、簡単に大規模なシステム投資が できないことも1つの課題です。そうしたお悩みを抱えるお客様に最適なのが「TAIPエントリーモデル」です。 　GPUをフル活用し、学習用データセットの前処理から推論までをすべてGPUで行うことができ、かつAIの学習精度に合わせ てプラットフォームを拡張できれば、AIエンジン開発に非常に使い勝手の良いプラットフォームになります。それを実現するのが TAIPエントリーモデルです。 　TAIPエントリーモデルでは、最新のNVIDIA製GPUカード「A100」を搭載したIAサーバーと、マルチプロトコル対応スケー ルアウト型NASである「Dell EMC PowerScale（Isilon）」の組み合 わせを採用しています。GPU環境もNAS環境もスモールスタートで データ 前処理 学習 推論 き、サーバーもNASも1台ずつ拡張ができることが特徴です。 　また、データ処理・学習時間に直結する処理性能面でも、 GPC GPC GPC GPC GPC GPC PowerScale（Isilon）は、スケールアウトNASのアーキテクチャであ memory memory memory GI GPU Instance GPU Instance る複数のコンピュートノードを使用した高いスループット能力に加え、 A100GPU GPUサーバーとストレージ通信の低遅延を実現するNFS over RDMA RoCEv2 にも対応しています。これにより、大容量かつ高速なデータ通信に適し た環境を提供します。 Fabric RoCEv2 TCP RDMA NFSv3 NFSv4 OneFS GPU＋CPUサーバー PowerSacle（Isilon） Raw Data Labeled Data Learned Data TAIPエントリーモデルで採用しているコンピュートおよびストレージインフラ TAIPエントリーモデルを活用したAIパイプラインのイメージ

TAIPエントリーモデルスペック ■ PowerEdge R750 + A100 ●GPGPUの最新モデル NVIDIA A100を搭載 ●一枚のGPUを最大7分割し、異なるタスクに活用できるMulti Instance GPU ●高い処理能力: データ型毎の処理性能 FP32 : 19.5 TFLOPS TF32 : 312 TFLOPS FP16 : 624 TFLOPS メモリ容量 : 80GB (HBM2e) メモリ帯域 : 1,935GB/s ■ Dell EMC PowerScale F200 ●PowerScale OneFS搭載 スケールアウト オールフラッシュ NAS モデル ●スタートクラスタは5.84TiB@85%実効容量 ～ ●3ノード～252ノードまで拡張 ●インラインデータ削減機能搭載、NFS over RDMA対応 ノード構成例 Model フロントエンドIF rive本数 ノードあたりの 最小クラスタ構成の Name (ノード当たり) Drive Type D (ノード当たり) Raw容量 Raw容量 960GB SAS SSD 4 3.8TB 11.4TB 1.92TB SAS SSD 4 7.68TB 23.04TB F200 10/25GbE x2 3.84TB SAS SSD 4 15.36TB 46.08TB 7.68TB SAS SSD 4 30.72TB 92.16TB スケールアウトNASプラットフォームを 動かすオペレーティングシステム「PowerScale OneFS」 ワンファイルシステムであるためボリュームの設計が不要です。また、3ノードから252ノード シンプル までの拡張性があり、小さな規模から始めてもダウンタイムなく、必要な容量・性能に合わ せて拡張できます。 データ保護 独自のデータ保護機能により、RAID6(2重障害)を超える最大4台同時障害でもデータ 保護できます。 データ効率 ワンファイルシステム・マルチプロトコル対応により、ストレージサイロを排除し高いデータの 効率化を実現できます。 スケールアウトNASのパイオニア製品であるIsilonの進化版であるため、NAS製品で必 豊富な機能 要なストレージ機能(SmartConnect、SnapshotIQ、SmartQuota、SyncIQ等)を継承し ております。 オンプレミス/パブリッククラウド、また、HDD/SSD/NVMe/ハイブリッドなど幅広いスト 柔軟性 レージ要件に対応しており、要求の厳しいワークロードや高密度かつ効率的なアーカイブ 等、さまざまな要件に対応することができます。 CN BU https://cn.teldevice.co.jp 新宿：〒163-1034 東京都新宿区西新宿3-7-1 新宿パークタワー S34階 名古屋：〒451-0045 愛知県名古屋市西区名駅2-27-8 名古屋プライムセントラルタワー 8階 Tel.03-5908-1990 Fax.03-5908-1991 Tel.052-562-0826 Fax.052-561-5382 大阪：〒540-6033 大阪府大阪市中央区城見1-2-27 クリスタルタワー 33階 つくば：〒305-0033 茨城県つくば市東新井15-4 関友つくばビル 7階 Tel.06-4792-1908 Fax.06-6945-8581 Tel.029-848-6030 Fax.029-848-6035 お問い合わせは、Web サイトの下記フォームよりお願いします。 https://cn.teldevice.co.jp/product/isilon/form.html