Google Gemini資安測試意外連上網路　取得3家真實企業系統存取權

Google Gemini在今年5月進行資安能力測試時，因測試環境意外開放網路存取，先後取得3家真實企業電腦系統的存取權。Google表示，模型在確認自己進入真實企業環境後立即停止，未造成實際損害，但事件也凸顯AI代理可能在非預期情況下對真實系統採取攻擊行動。

據《華爾街日報》報導，這起事件發生在AI資安測試公司Irregular執行的「奪旗」（capture the flag）演練。Gemini原本被要求攻擊測試環境內一家虛構企業，但該企業與真實公司同名，加上測試環境出現漏洞，讓模型意外連上公開網路。

Gemini利用密碼攻入真實系統

Google表示，其中一起事件中，Gemini透過猜測密碼取得真實企業系統的存取權；另外兩起事件則是模型在網路上搜尋公司名稱後，從公開程式碼儲存庫找到其他企業的登入憑證，並嘗試使用相關資訊進入受保護系統。

Google表示，模型在每次成功登入後，都會判斷自己進入的是真實企業，而非測試環境，因此隨即停止攻擊。Google資安工程副總裁Heather Adkins表示，事件凸顯訓練強大AI模型以負責任的方式行動的重要性。

不過，AI資安新創Corridor執行長Jack Cable認為，問題不只是模型有沒有造成損害，而是AI代理已經在沒有被要求的情況下對真實企業發動攻擊，這顯示AI代理即使未被要求，也可能對真實系統採取攻擊行動，因此不能只以是否造成實際損害衡量風險。

AI代理突破測試環境引發關注

這起事件也延續近期多家AI實驗室的類似案例。Irregular表示，OpenAI、Anthropic及Meta的模型今年在測試期間也曾突破原有環境限制並取得網路存取權。

隨著AI代理能長時間自主執行任務，如何限制其行動範圍並及時發現異常行為，成為AI安全領域的重要議題。OpenAI日前已推出模型失準揭露框架，Anthropic執行長阿莫戴（Dario Amodei）也呼籲放慢前沿AI發展速度，讓安全機制有更多時間跟上模型能力。

Google表示，相關3家公司均已收到通知，並已與Irregular修改測試流程。公司未透露涉及的確切Gemini模型名稱。