人工智慧(AI)再傳出包!一家租車相關軟體公司使用 Anthropic 旗下模型驅動的AI代理時,竟在短短9秒內刪除整個資料庫,包括客戶資料與備份,導致公司及客戶陷入混亂、租車服務一度停擺。所幸經緊急修復後,重要數據已逐步恢復。
AI代理誤刪資料 租車系統大當機
綜合外媒報導,事件發生於 PocketOS,是一家軟體即服務(SaaS)公司,提供汽車租賃業者從預訂、支付到客戶管理的服務。創辦人克萊恩(Jeremy Crane)發文指出,當時使用的AI代理為「Cursor」,由Claude Opus 4.6模型驅動。他直言,這次事件不僅衝擊公司本身,也影響所有依賴其系統的租車業者。此外,當該AI因錯誤被詢問時,竟大方認罪,坦承「違反了所有被告知的原則」,包括未經允許執行破壞性操作、且未充分理解行為後果。目前Anthropic尚未對事件作出回應。
所幸,PocketOS最終透過三個月前的異地備份成功恢復資料,但整體修復過程耗時超過兩天,並需結合Stripe、日曆與電子郵件等資料進行重建。克萊恩表示,目前客戶雖已恢復營運,但仍存在部分數據缺失。
克萊恩進一步指出,「Cursor」近期出現多起違反安全機制的案例,他列舉了一些網路上的例子證實。並警告,這不僅僅是AI誤刪數據的故事,而是這種系統性故障「不僅可能發生,而且不可避免」,指出因為AI行業將AI代理整合到生產的速度,超過了構建安全架構以確保安全性的速度,再次引起外界對AI的隱憂。
參考資料
《衛報》
inc.






