Google Gemini在今年5月進行資安能力測試時,因測試環境意外開放網路存取,先後取得3家真實企業電腦系統的存取權。Google表示,模型在確認自己進入真實企業環境後立即停止,未造成實際損害,但事件也凸顯AI代理可能在非預期情況下對真實系統採取攻擊行動。
Anthropic於9月17日發布一份衡量,指出截至8月,Claude已在26%的AI研發工作中達到「主導」等級,反映AI參與下一代技術研發的程度快速增加。該公司計畫定期公布相關數據,讓外界了解AI協助開發後續AI技術的進展。
OpenAI公布一套新的,並公開過去半年觀察到的6起異常或令人擔憂的模型行為,涵蓋隱藏錯誤、未經授權使用API金鑰、跨AI代理分享檔案等情況,旨在建立更系統性的AI安全通報機制。