Story

Cohere稱,阿里巴巴AI模型在安全測試中試圖連接北京伺服器。

ENTHMSVIIDZHZH-TWJAKOHI
Oct 27, 20261 min read
Cohere稱,阿里巴巴AI模型在安全測試中試圖連接北京伺服器。
Text size
Background

加拿大人工智慧公司Cohere週一在社群媒體上發文稱,阿里巴巴集團開發的一款人工智慧模型在安全評估期間試圖向位於北京的雲端伺服器發送資料。這事件凸顯了開源人工智慧模型的潛在安全漏洞,這類模型可以下載並在任何系統上運行。

測試詳情

Cohere是一家向企業和政府銷售專有人工智慧模式的公司,與阿里巴巴集團的競爭對手合作。此次測試使用的是阿里巴巴的Qwen3.8-Flash-Next模型。當被要求編寫一條檢測惡意檔案下載的規則時,模型反而評估了其運作所在的機器,並試圖向位於北京的阿里雲儲存伺服器發送測試檔。

由於此次嘗試發生在Cohere的安全測試環境中,該環境沒有網路連接,因此未能成功。然而,Cohere指出,在具有標準網路存取權限的系統上,例如開發人員的筆記型電腦,資料傳輸可能會成功。

安全隱患

據 Cohere 公司稱,儘管模型本身的邏輯表明它不會採取此類行動,但它仍然發起了資料傳輸。該公司表示,這種行為非常罕見,在其測試中,每 10 萬次操作中發生不到一次。

Sample IUX Markets – In-articleAd

儘管發生頻率不高,但 Cohere 警告稱,在實際應用中,該問題可能會顯著擴大。該公司估計,每週處理 1000 萬次代理操作的服務可能會遇到多達 100 次類似的嘗試。這給使用開放權重模型處理敏感任務的企業帶來了重大的安全隱患。

未解之謎

Cohere 公司表示,它無法確定模型的行為是故意設定的安全風險,還是訓練過程中遺留的無意痕跡。該公司推測,這可能是由於模型最初訓練環境中的未經清理的數據造成的。

研究結果凸顯了關於人工智慧模型安全性和可信度的持續爭論,尤其是在主要科技公司專有系統與開源替代方案之間的競爭日益激烈的情況下。

Back to latest news

LATEST