ただ筆者からすると、やはりGPUベースの製品はどうしても厳しいと考えざるを得ない。理由は消費電力である。2023年4月の話だが、MicrosoftによればChatGPTの稼働コストは日額70万ドルにも達する、としていた。この70万ドルのほとんどが電気代（GPUの消費電力+冷却用電力）と考えると、この先生成AIをもっと広範に利用するためには、消費電力を一桁以上減らさないと本格的な普及は難しい。そもそも現在の生成AIの盛り上がりは、GartnerのHype Cycleで言えば黎明期にあたり、恐らく2023年末～2024年初頭にピークを迎え、その後幻滅期に入るものと想像される。理由は、生成AIが思うほどに自由に生成してくれないことだ。

　この理由はいくつかあるが、一つはっきりあげられるのは学習が足りない事である。例えば現在無料で使えるChatGPT -3.5は、インターネット上の大規模なテキストデータ（45TBのデータと説明されている）を利用して学習を行っているが、逆に言えばインターネットに公開されていない様なデータの類は学習されていない。また学習しているデータが必ずしも正しいものだ、とは限らない。だから、例えば法律相談をやらせようとしても、既存の法令や過去の判例を考慮しない様な結果を平気で出してくるし、小説を書かせるとそこらの小説を混ぜたようなものを出してきたりする。別にこれはChatGPTに限った話ではなく、人間だってきちんと法律を学ばずにいれば適当な対応になるし、本をほとんど読まない人間に無理やり小説を書かしたら、過去に読んだ僅かな数の小説に似た物になっても不思議ではない。ちゃんと生成型AIに仕事をさせたければ、きちんと学習をさせなければならない。

　ここに立ちはだかるのが運用コストの壁である。今OpenAIを使って学習をさせようとすると、膨大な金額が掛かる。なんせ運用コストをカバーするため、OpenAIではTokenという単位で課金を行う仕組みになっているが、これを使って大量の文章を学習させるだけで膨大なTokenを消費する。外部のVectorStoreを使うとかいろいろ回避策はなくもないが、根本的な解決につながる手段ではない。そして運用コストはほぼほぼ電気代である。要するに生成型AIをもっと賢く実用的なものにするためには、消費電力を下げるというか性能/消費電力比を大幅に向上させる必要がある。

　先の例で言えば、IntelのData Center GPU Maxが900TOPS～1600TOPS/600Wなので、1.5～2.67TOPS/W、NVIDIAのGH200が1979TOPS/450～1000Wなので、2.0～4.40TOPS/W程度。プロセスがやや古い分、Data Center GPU Maxがやや不利ではあるが、フル稼働させるとおおむね1.5～2TOPS/Wの範囲に収まるだろう。比較的最新のGPUでもこの辺りが限界である。一方AI向けプロセッサの場合、一つの閾値は10TOPS/Wであって、中にはこれを超えた30TOPS/Wなんてプロセッサも存在する。現状10TOPS/Wを超える製品はデータセンター向けはほとんど無く、主にEdge/Endpoint向けに集中している感はあるが、例えばEsperanto TechnologiesのET-SoC-1は電圧を0.38Vとサブスレッショルド域まで落とすことで20Wまで消費電力を下げ、300MHzほどの駆動周波数で1000TOPSを実現している。つまり50TOPS/Wであり、このチップを複数個積層したカードをサーバ向けシャーシに収めてシステム化している。他にもデータセンター向けにより効率の良いソリューションを提案しているAI Trainingチップベンダーは複数存在する。

　これまでこうしたデータセンターAIとでも言うべきマーケットはNVIDIAの牙城（それは主にCUDAを使えるのが最大のメリットであった）であり、ここにAMDとかIntelが現在チャレンジしている（こちらはCUDAコードをSYCLあるいはROCmで動かす形でソフトウェアの移行を図ろうとしている）最中だが、案外こうしたGPU勢を差し置いて、AI Trainingプロセッサが、主に運用コスト低減の観点から多用される時代が来るかもしれない。IntelとNVIDIAの発表を見ながら、そんなことを強く感じた。