Tensor Coreと相性が良いGroqのアーキテクチャ

　Groqのアーキテクチャはちょっと独特というか、VILW的なCPUのBackend、本来ならば実行ユニットが並ぶ部分を全部個別のTileに分解したうえで、Superlaneと呼ばれる独自構造でそれぞれのTileを仮想的につないで巨大なパイプライン処理を構築する。しかもTile同士はDataflow的に相互接続されているという仕組みである。実はこれ、TensorCoreのような巨大な行列計算ユニットを扱うのには非常に都合が良い。実際LPUも内部に320×320の巨大な行列計算ユニットを内蔵していて、これをうまくSuperlaneで扱っている。NVIDIAはCUDA Tileに適した新しいTensor Coreを開発するにあたり、既に似た物を開発しているGroqのエンジニアの知見が大いに役に立つ、と考えたのではないだろうか？

　もちろん、これから開発を始める訳だから、製品として投入されるのは数世代先の事になるだろう。ただ既存のCUDAをCUDA Tileに移行させるには相応の時間がかかる。そこまでの間は既存のSIMTベースのアーキテクチャ＋Tile IRでカバーするというのは、移行計画としても妥当に思える。

　ちなみにTensor Coreが新しいDataflow型になっても、SIMTベースのCoreそのものは残るだろう。世の中にあるプログラムの全部が全部、Dataflowと相性が良い訳でもないからだ。なので、SIMT CoreとTensor Coreの両方が共存する形になる（LLCやMemory Controllerは両ブロックで共有？）と考えられる。

　これはあくまでも筆者の推定でしかないのだが、さて実際のところはどうだろうか？