同日、SambaNovaは新しい「SN50」というAIプロセッサをリリースした（図1）。ちょっとこのSambaNovaのシリーズを簡単に説明しておこう。同社は2017年に創業し、2020年に最初の「SN10」をリリースする。Reconfigurable ProcessorにDataflowを組み合わせるというなかなかに意欲的な製品で、大容量SRAMに加え外部に大容量DDR4（1.5TB）を接続できるため、大規模言語モデル（LLM）でも性能が落ちにくいという特徴があった（といっても、SN10リリース当時はそこまでLLMが流行していなかったのでその特徴はあまり生かされなかったが）。

図1　同社のページより。SN10～30がCardinal、SN40LがCerulean 1というコード名だったが、SN50もCeluleanの名前を冠しているのが分かる［クリックで拡大］

　2021年には「SN20」がリリースされるが、これはSN10のマイナーバージョンアップといった扱いである。このSN20を2つ、1つのパッケージに収めたのが2022年に「SN30」で、これで演算性能が倍になった（が、消費電力も倍になった）。ここまでは全部TSMC N7での製造だったが、2023年に発表された「SN40L」はTSMC N5になると共に内部構造も変更、さらにHBM3を8つ搭載（合計64GB）搭載している。内部構造というのは、同社はPCU（Pattern Compute Unit）とPMU（Pattern Memory Unit）という2種類の要素から構成され、一般的に言えばPCUがPE（Processor Element）、PMUがLocal RAMというかScratchpad的なモノにあたるのだが、SN10～SN30まではこのPCUとPMUが同じようにMesh Networkにつながっていたのに対し、SN40LではPCUとPMUが一塊になり、この塊がMesh Networkにつながる格好に変更されている。またAI Processorでは珍しく、大容量SRAMとHBM3に加えて、引き続きDDR5メモリ（1.5TB）も接続可能で、なのでメモリだけで3階層構成を取る事ができるというものだった。

　このDDR5を直接接続できる、というのが他のAI ProcessorやGPGPUに対する大きなアドバンテージであり、SN50についても（恐らくシミュレーションを基にした推定と思われるが）LocalのDDR5 Memoryを持たないGPUに比してはるかに高いスループットを長期間維持できる、としている（図2）。

図2　Generation Speed per Userが100前後で一度下がるが、これはHBMを使い切ってDDR5のアクセスに切り替わるタイミングであり、そこから800位まで緩やかに下がりつつもそれなりの性能を維持できている、というあたりからするに、HBMの容量はDDR5の推定容量（1.5TB?）の6分の1、256GB程度を搭載しているのではないかと推察される。

　もっとも、当初はAIのTrainingとInferenceの両方をターゲットにしていたはずの同社の製品だが、SN50は"Purpose-built for agentic inference"なんて紹介されている。もうTrainingよりInferenceの方が圧倒的にマーケットが大きい事が明確になったからだろう、と思う。まぁSN50そのものは今回の本題ではないのでこの程度にしておく。