FPGAのメリット

　Trainingの場合は精度を維持するために、どうしてもデータのビット幅を広く取る必要がある。このため演算器もFP32（32ビット浮動小数点）やFP64（64ビット浮動小数点）などが必要とされるケースも出てくる。こうしたデータ幅の広い演算器をFPGAで行う場合、トランジスタあたりの演算性能はGPUやTPU（Tensor Processing Unit）などに及ばない。これは当たり前の話で、GPUやTPUなどはトランジスタで直接演算器を構成しているのに対し、FPGAではトランジスタでLUT（Look-Up Table）を作り、このLUTを組み合わせて演算器を構築する格好になるから、ラフに言ってトランジスタ効率（トランジスタ当たりの演算器の数）が一桁落ちる。

　これに対しInferenceの場合、もちろん精度は要求されるが、例えば最終的な入出力は8ビットあるいは4ビットなどと小さく、場合によっては1ビットの場合もある。内部の演算はもう少しビット幅が増えることもあるが、全ての演算というわけではなく、いわゆる可変精度の演算が要求されることが多い。そして最終的な精度は、ネットワークの構成や重み付けの値で決まることになる。こうした構成では、GPUなどではむしろムダが多くなることになる。DataPath一つとっても、1ビットで済むところを8ビット分キープするのはトランジスタや配線、そして消費電力のムダとなる。トランジスタや配線は最終的にダイサイズに影響を及ぼすから、このあたりをうまく最適化できるとトランジスタ効率の悪さを埋めておつりがくるほどFPGAの方が効率良く実行できることになる。Raje氏もこのあたりのメリットを力説しており、「今後、より（Inferenceの）精度を追求する中でも、データサイズを増やす方向には行かないと考えている」とハッキリ断じていた（図6）。

図6　現在はInt8とInt4が主流で、一部組み込み向けにInt1（つまりBinary Tree）が利用されている程度だが、「今後はInt1がもっと広く利用されていく」としている

　もう一つFPGAでメリットが大きいのは、レイテンシの少なさである。GPUやCPUの場合、Inferenceにおいても原則としてBatch Sizeを大きくすればするほど効率が上がる。例えば図7の数字はBatch Sizeが128の場合の数字を比較したものである。この段階でもそれなりに性能差はあるのだが、この場合だとレイテンシが10ms以上発生する。これを2ms程度のレイテンシまで縮めるとなると、Batch Sizeを1とか2とかにすることになるが、この場合GPUだとどうしても性能が落ちるのに対し、FPGAでは性能が落ちない（図8）というのが同社の主張である。例えば自動運転の制御の場合、レイテンシが大きいというのはそれだけクルマの空走期間が長くなることにつながるわけで、レイテンシの短縮は非常に大きな意味がある、と同社は説明している。

図7　Xilinxの数字は、Versalシリーズのシミュレーションデータで実機のものではないが、おそらくは2万枚/sec程度のスループットと思われる

図8　"DeePhi Pruning"とは、同社が2018年7月に買収したDeePhi Techの持つネットワーク最適化技術を適用した場合の結果である

LUTベースFPGAのトランジスタ効率の悪さに対する回答

　もっとも、いかにネットワークの最適化を図っても、LUTベースFPGAのトランジスタ効率の悪さは根本的にどうにもならない。これに対する回答が、ACAPに搭載されるAI Engine（図9）である。

図9　こちらは2018年8月のHot Chipsにおける同社の発表資料から。この当時はまだ"S/W Programmable Engine"となっている

　こちらはVILWベースのエンジンに512ビットのSIMDユニットを組み合わせたPE（Processsor Element）をメッシュ状に組み合わせたものだが、いわゆる汎用（はんよう）のプロセッサとは根本的に異なっており、あえて言うならばFPGAのLUTを置き換えられるようなもの（そしてプログラミングはC/C++で可能）である。

　これまでもFPGAでは、特定機能のアクセラレータをハードIPの形で持たせたり、あるいはDSPを利用して演算性能を高めたりといった工夫がされているが、AI Engineはこれを一歩進めて、C/C++で自由にプログラム可能なブロックをPEとして多数搭載する形となっている。おのおののPEの処理は固定されており、例えばあるPEは入力データにひたすらConvolutionを掛けるだけ、次のPEはその結果をPoolingするだけといった、Stream処理的な使い方になる。ただし内部の精度やデータパスの幅の選択はFPGA並に自由度が高く、GPUやTPUに比肩し得るトランジスタ効率とFPGAのメリットを両方生かせる（＆C/C++のプログラミングなので、VHDLを書けないエンジニアでも扱える）といった特徴を持つ。

　こうした特徴を鑑みると、先の村尾記者の記事（1ページ目の最後）にある「もう一つ強調したいのは、“XilinxのACAPはVersalである”ということだ。われわれとしては、ACAPはいつまでもXilinxの”専売特許”というわけではなく、いずれは他の企業も似たような製品を出してくるだろうと考えている」という言葉の重みが分かってくる。

　言ってみればXilinxはInferenceのマーケットを取るために、ACAPという概念を発明し、それに基づくVersalという製品群を開発したといえる。そして準備が整い次第（何しろVersalはまだTape outしていない）、これを投入してシェアを奪おうとしているわけだ。単に「InferenceならばFPGAでシェアが取れる」という話ではなく、シェアを取るために新しいデバイスの形を生み出すところから始め、そしてやがては競合が出てくることを今から予想して、これに向けて準備を整えるという体制を取っている。

　もちろん、Xilinxの戦略が正しいという保証はないのだが、これだけの準備を整えたメーカーを競合が追撃するのは思っている以上に難しいだろうと筆者は感じた。

⇒ 新着記事をチェックする