SIMT＋Tensor Coreの欠点

　SIMTの場合、まず処理プログラム（これをKernelと呼ぶ）を記述し、このKernelを大量のThreadが並行で実行してゆく。SIMDと異なるのは、非常に幅広いVector Engineが不要な事であり、細かな演算器（とそこにつながるローカルメモリ）にそれぞれThreadが割り当てられ、同時に演算を行うという点である。この仕組み、GPUには非常に向いているのだが、Tensor Coreもこの延長で扱おうとすると、非常に面倒なことになる。というのはTensor CoreはいわばSIMD演算で利用する長大なVector Engineを、2次元方向に積み上げた構成だからだ。なのでTensor Coreを利用しようとすると、SIMTのメリットが大分消えることになる。それでも、SIMTのままよりもTensor Coreを利用する事によるメリット（CNNにおける計算処理のほとんどを占める畳み込み演算の高速化）が大きく上回るということで実装され、現在に至っている格好だ。

　ただこのSIMT＋Tensor Coreの構造は、絶対性能はともかくエネルギー効率がものすごく悪い、という大きな欠点がある。これはTensor Coreそのものの実行制御をThreadに委ねている、という根本的な問題である。そもそもCNNを含む広義のAIの処理の場合、Dataflowと呼ばれる仕組みの方がシンプルかつ効果的である。Threadは広義にはノイマン型プログラミングに属する。実行制御をプログラムそのものが行うという形だ。一方のDataflow型は、実行制御はデータに依存する（なのでデータ駆動型などと言う場合もある）。このDataflow型の場合、処理を細かく区切った上で、「データが届いたら処理をして送りだす（それ以外の時には待機）」という流れになっている。これはAIのように疎（データが0）状態が多い処理には極めて性能/消費電力比を高める事が可能で、実際AIプロセッサの大半がこのDataflow構造を何らかの形で実装していると言っても過言ではない。その大半に含まれない代表格がNVIDIAのGPUだったわけだ。

「CUDA Tile」の登場

　ここでCUDA Tileの登場である。NVIDIAの説明によれば、CUDA Tileではプログラミングの方法が全く変わる。図2はNVIDIAが示した例だが、従来（左側）は、個々のブロックの処理に加え、ブロック全体の処理もThreadから制御してやる必要があった。これに対しCUDA Tileでは個々のブロックの処理を記述するだけで、ブロック全体の調整はCUDA Tile側が行ってくれる。

図2：NVIDIAのDeveloper向けTechnical Blogより。Taskという新しい表現が登場している［クリックで拡大］ 出所：NVIDIA

　実はこれ、Dataflow型のプログラミングスタイルなのである。要するにNVIDIAはCUDA Tileという新しいプログラミングパラダイムを導入し、Dataflow型にCUDAを進化させようとしているとしか筆者には見えない。ただしその実装は、結構力業である。

　もともとCUDAの世代であっても、CUDAのコードをGPUをそのままでは実行できない。CUDAはある程度抽象的な表現になっており、一方でGPUの方は世代ごとに細かく仕様が異なっている。なので、CUDAのコードはいったんNVVM/LLVM（中間表現）を経て、PTX（Parallel Thread Execution）というGPUのアーキテクチャ別の命令セットに変換されて実行される形になる。これに対し、CUDA TileではTile IRというTile対応のコンパイラが用意され、ここでアーキテクチャ別の命令セットを生成して実行する形になる（図3）

図3：アプリケーションの実行方法。従来のCUDAコードはSIMT pathを、CUDA TileはTile pathをそれぞれ経てGPUで実行されるようになる［クリックで拡大］ 出所：NVIDIA

　これだけ聞くとさぞかし良さそうに聞こえるし、恐らくプログラミングそのものは簡単になるが、その一方で当面最適化は地獄のように大変だろう。Tile IRが最初からこれ以上最適化の余地もないほど素晴らしいコードを生成してくれれば問題は無いが、そんな事普通はあり得ないというのはプログラマーならご存じの話である。では性能を上げるにはどうすれば良いか？ というと、Tile IRがどういうアルゴリズムでコードを生成するかを考えて、それに合わせた記述の仕方をしないといけないだろうが、そもそもそれが外部から見えるか現状では未知数である。恐らくではあるが、CUDAで記述した方が高速、というシーンが当面は少なくないだろう。

　そんなことはNVIDIAも承知の上でCUDA Tileを導入する訳だ。ではなぜか？ といえば、将来はこれがもっと効率化される計画があるから、と考えるのが普通だろう。つまりTensor Coreを現在のSIMTコアから分離し、Dataflow的に扱えるようにすることで大幅に効率化（性能向上のみならず性能/消費電力比向上）が期待できる、というのはあながち空想とは言いにくいと思う。そう考えると、今回のGroqの買収は実に的を射ていると考えられる。