AIエージェントは「禁止事項」を厳守できるわけではない

　さて、ここまではCrane氏の説明を元にした話であるが、要するに何か一つだけ問題があったというわけでは無く、さまざまな問題が積み重なった結果として今回の事態が起きたことになる。さらにCrane氏が言及しなかった問題として、BackupをRailway任せにして、外部のストレージなどにバックアップを取らなかった事が事態を悪化させたとはいえるだろう。

　またステージング環境と本番環境が同じボリュームを共有していたのも事態を悪化させた。もっともこれ、契約も絡む話（コストが倍増する）だし、ステージング環境に本番データを移行する処理が大変（これもコストが絡む）から簡単には実現しにくい話ではあるのだろうが。ただ、Railwayが簡単にボリュームを削除できてしまう、という事があらためて明らかになった以上、今後は何か対策を取るのが必須になりそうに思える。

　そしてそもそものきっかけは、Cursorが利用していたエージェントであるClaude 4.6 Opusがとてつもない判断をしたことであるが、これはエージェントに対してアドバイス文の形で「やってはならない事」を列挙しても、それをエージェントが必ずしも守るとは限らない、という話でしかない。Crane氏の元のPostで言及されているように、Cursorは「エージェントのセキュリティ」あるいは「エージェントを使ったコーディングのベストプラクティス」といったドキュメントを公開して、ボリュームの削除といった特権が必要な操作に人間の承認が必要であることを強調しているが、それにもかかわらず、実際には度々事故が起きている事が明らかにされている。要するに現在のエージェントを、そこまで信用してはいけないという事である。

　2025年くらいまで、エンタープライズ系でよく流れてくる話が「ノーコード／ローコードツールを利用してアプリケーション開発を効率化、高速化する」というものだったのが、ことし（2026年）に入るとAIコーディング一色になっているあたり、もうこの流れは確定的なのだろう。実際Crane氏自身も、今回の経験を経てもまだCursorを利用して開発を続けるつもりのようだ。

　ただノーコード／ローコードツールで本番DBが消えた、なんて話はあんまり聞いた事がない（本番DBがツールとは別の要因で消えたという悲鳴はちょくちょく耳にするが、それは措いておく）。今回の教訓は、何かしら設定だったり利用法だったりに穴があったら、AIは確実にそこを突いてくるということだろうか。理想を言えば、自身が利用するツールや環境を完全に熟知しておかないと、何かあった時に大変な事になる（から熟知しておこう）という話なのだろうが、言うまでもなくそんなことは不可能だ。なので、何かあるであろうと考えて、一歩引く位の位置付けでAIコーディングツールを利用する、というのが現実的な防護策になるのかもしれない。