RLHF（Reinforcement Learning from Human Feedback）というのがその方式であるが、実際には

（1） 教師付きのファインチューニング
（2） Reward Model（文章の「良さ」を評価するモデル）を生成
（3） RLHFを利用して、（2）を評価

というステップを踏む。ここで（2）と（3）をループ（まずReward Modelを生成し、それを基にRLHFを行ってReward Modelを改良、再びRLFHを行い……）させる事で、モデルの精度を向上させていくという方式だ。GPT-3をベースにこの人間のフィードバックを組み込んだモデルはInstructGPTとして2022年3月に発表された。ChatGPTでは、このInstructGPTをベースに、モデルをGPT-3.5にした上で、さらに対話形式とし、かつ会話データをRLHFに利用していると考えればよい。

　さてここで再び計算量の問題が出てくる。もともとのGPT-3のパラメータも膨大だが、（2）に出て来たReward Modelも、InstructGPTの場合はパラメータ数60億個のGPT-3を利用して実装されている。これだけの規模になると、もちろんGPT-3本体モデルの学習に比べればずっと容易とはいえエッジAI向けのシステムでどうにかできるレベルではなく、クラウド上で処理を行うしかないのが実情である。

　これはStable Diffusionも同じである。Stable Diffusionというのは通称であり、論文ではLDM（Latent Diffusion Model）と呼ばれているが、こちらは拡散モデルと逆拡散モデルの組み合わせで生成されており、もちろん学習は必要ではあるのだが、ChatGPTに比べればずっと頻度は少ない。その代わりと言っては何だが、ひたすら繰り返し処理が必要になる。例えばStable Diffusionの初期値の場合、拡散モデルでは1000回の繰り返し処理が実施されている（逆拡散も当然同じ回数必要）ため、こちらも計算量は決して少なくない。また、既存のモデルを使う限りにおいては処理を軽減できる（実際スマートフォンでも現実的な速度で実行できるモデルが今年のMWCでデモされていた）が、全くこれまでと異なる画像を扱いたいとか、高精細な画像を出力したい（標準だと512×512pixelでしかない）といった場合にはまだまだエッジAIで処理できるレベルではない。

　もちろんクラウドプロバイダーからすれば、こうした負荷の高いAI処理はクラウドを利用してもらうための良いアプリケーションであるわけなので囲い込みを図りたいのは当然である。ChatGPTの開発元であるOpenAIは、無償で利用できる（ただし利用頻度に限度のある）プラン以外に有償プランも示しており、ビジネスなどで本格的に使う場合にはこちらの有償プランに誘導される形になる。ただ、これを割安と思うか割高と思うかは、どういう使い方を想定しているかで変わってくる。明示されている価格リストは、大量ディスカウントとかはなく利用量（厳密に言えば利用トークン）に比例する形で課金されるので、小規模な利用であればあまり課金は大したことはないが、爆発的に利用量が増えると課金も爆発的に増える。こうなってくると、ある程度利用量が増えるようならオンプレミスで稼働させるという選択肢も視野に入ってくるだろうし、そもそもクラウドで実行する場合はそれがどんなAIプロセッサで実施されるかを選択する事はできない（そういう事を考えなくても使える、というのがクラウドのメリットでもあるので、この辺の損得勘定は難しいが）。