大原雄介のエレ・組み込みプレイバック
AIの「トンデモ判断」で本番DBが全飛び! 他山の石にしたいAIコーディングの落とし穴(1/3 ページ)
今回は「Claude Opus 4.6を利用した開発支援ツールが、本番データベース(DB)を9秒でブチ消した」というインシデントを紹介したい。開発にAIを活用することの危うさが表面化したこのケースを、製造業の技術者は「他山の石」にしてほしい。
4月の話題であるが、ちょっとTechFactory的にはあまりなじみは無い(だけど知っておいた方がよい)話をお伝えしたい。
AIツールが本番データを9秒でブチ消し
@ITの記事で概略だけ紹介があったが、Claude Opus 4.6を利用した開発支援ツールが本番データを9秒でブチ消すという事故が起きた。この話は、その本番データをブチ消されたJeremy Crane氏が、一連の経緯をXにPostした事で発覚した。
まず事の推移を説明したい。Crane氏はPocketという企業の創業者兼暫定CEO/最高技術責任者(CTO)であり、同社は自動車レンタル企業向けのPocketOSというアプリケーションを提供している。ちなみにCrane氏は、Atlas Verifiedという国際取引向けの認証システムを提供する会社の創業者兼CTOも兼任しているが、こちらは今回の話には「直接は」関係ない。
さて、まず一連の経緯である。Pocketでは、Cursorと呼ばれるAIコーディングツールを利用してアプリケーションを開発している。このCursorは内部で複数のAIモデルをエージェントとして利用可能となっている。現時点での最新版を見ると、AnthropicのClaude 4.6 Sonnet/Claude 4.7 Opus、Cursor自身のComposer 2、GoogleのGemini 3.1 Pro、OpenAIのGPT-5.3 Codex/GPT-5.5、xAIのGrok 4.3などが選択可能である。事件が起きた2026年4月26日の時点ではAnthropicのClaude 4.6 Opusがハイエンドの選択となっており、Pocketはこれをエージェントとして選択している。
そのCursorでアプリケーションを開発している最中、エージェントは同社のステージング環境(本番環境とほぼ同じ構成の、テスト専用環境)で処理を行っていたのだが、ここであるタスクに、データベース(DB)アクセスの際の認証情報の不一致が発生した。要するに認証情報が間違っていたために、DBにアクセスできなくなってしまい、処理が滞ってしまった。常識的には、認証情報を正しいものに置き換えるというのが行うべき処理であり、それがAI側でできないのであれば、オペレーターにその旨を通告するというのが正しいアプローチであろう。ところがエージェントは「DBを削除することで、認証処理をパスする」という驚くべき判断を下した。これが第1の問題である。
第2の問題は、これが可能だったことだ。もちろん、実行中のタスクに、DBを削除する権限は本来付与されていない。そこでエージェントはAPI(Application Programming Interface)トークンを探し始めたところ、実行中のタスクとは全く無関係なファイルの中から一つのトークンを発見する。これは同社のサービスのためにRailway CLI経由でカスタムドメインを追加・削除するという、単一の目的のために作成されたものだった。氏はそのトークンが、volumeDelete(DBを含むストレージボリュームを削除する)が可能な権限を持っている事を知らなかったという。そこで探し回る事を許した、というのも問題かもしれないが、結果的にそうした権限を持つトークンを発見できてしまった。そういうトークンが存在しえた、というのが2つ目の問題である。
そしてトークンを手にしたエージェントは、即座にvolumeDeleteを実行。氏によれば「9秒で」本番環境のDBが消えることになってしまった。これが3つ目の問題である。もちろん、氏は直ちにバックアップから復旧を試みるものの、利用できたバックアップは3カ月前のものしか残っておらず、結果として直近3カ月のデータが消えることになってしまった。最終的に「48時間以内のボリューム削除は復元可能」というRailwayの仕組みにより、DB削除から復旧までの30時間余りのダウンタイムが発生した事を唯一の被害として、DBは元に戻り、PocketOSも利用可能な状況に戻った。ただこの復旧手順がドキュメントの片隅にしか記載されていなかったというのが4つ目の問題である。
Copyright © ITmedia, Inc. All Rights Reserved.
大原雄介のエレ・組み込みプレイバック
これを読めばここ1カ月のエレクトロニクス/組み込み業界の動きが分かる連載。注目すべき市場動向と注目すべき製品を取り上げます。
この記事の著者
新着ホワイトペーパー PR
-
製品資料
[株式会社 Green AI] AIで脱炭素計画を最適化、初年度からエネルギーコストとCO2を削減する方法 -
市場調査・トレンド
[スマートジャパン編集部] 「ペロブスカイト太陽電池」の普及戦略が公表 政府が目指すコスト・導入量のロードマップを解説 -
市場調査・トレンド
[スマートジャパン編集部] 導入が加速する再エネ・系統向け蓄電システム コスト・収益性の現状分析 -
技術文書・技術解説
[スマートジャパン編集部] いまさら聞けない「ペロブスカイト太陽電池」の基礎知識と政策動向 -
技術文書・技術解説
[スマートジャパン編集部] 「ペロブスカイト太陽電池」の開発動向、日本の投資戦略やコスト目標の見通しは?
こんなメディアも見られています
TechFactoryに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
特集
- マテリアルズ・インフォマティクスの動向調査
- 研究・開発職のデジタル活用調査
- 設計・解析業務におけるAI活用
- 3Dプリンタ利用動向調査
- CAD利用動向調査
- つながる工場の現状と課題
- 製造業におけるAI開発および活用の実態
- 設計・製造現場における品質管理
ホワイトペーパーランキング PR
-
1
EE Times Japan×EDN Japan 統合電子版:フィジカルAIが生み出す新たな「設計思想」――電子版2026年8月号
-
2
半導体装置メーカー 業績まとめ【2027年3月期第1四半期】
-
3
新入社員に読んで欲しい鉄鋼材料の基礎知識まとめ(Part4)
-
4
一時は時価総額トヨタ超え キオクシア2026年度の動向
-
5
微細配線間の絶縁劣化をどう捉える? 先端パッケージ評価の最前線
-
6
新入社員に読んで欲しい鉄鋼材料の基礎知識まとめ(Part1)
-
7
EE Times Japan×EDN Japan 統合電子版:2026年上半期の半導体業界を振り返る――電子版2026年7月号
-
8
新入社員に読んで欲しい鉄鋼材料の基礎知識まとめ(Part3)
-
9
CADツールの見直しは本当に必要? 切り替えの理由と効果を7つの質問で検証
-
10
新入社員に読んで欲しい鉄鋼材料の基礎知識まとめ(Part2)
TechFactory SNS
インフォメーション
注目情報をチェック
TechFactoryをフォロー