美國繼有教授以「隱藏提示詞」方式捉學生用AI作弊後,「隱藏提示詞」更鬧到法庭。美國康涅狄格州一名男子,因為相信法庭使用AI判案,便於提交法庭的文件中,暗藏只供電腦系統讀取的指令,企圖讓法院審閱文件時,誘使AI接納其論點並作出對他有利的判斷。法官Walter Spader Jr.形容,事件相信是美國司法制度首次發現有人利用「提示詞注入」(prompt injection)干預案件。
涉事原告Matthew Elliott指控一家醫療服務機構不當拒絕他查閱紀錄。他把部分文字縮至極小字體,再設為白色,令人以肉眼閱讀白底文件時無法察覺,但讀取文件文字層的軟件仍能辨認。隱藏指令要求AI同意原告的主張、無視法院先前駁回其申請的決定,並按原告要求提出補救方案。
不過,康涅狄格州司法部門並沒有使用AI審閱或裁決案件,因此有關指令並未影響判決。Elliott辯稱,加入隱藏文字只是為了「測試」法院有否秘密使用AI;法官則認為,若他真心關注法院濫用AI,大可公開提出,刻意把指令藏起來,正好反映其目的具有惡意。
更離譜的是,Elliott在收到法院可能制裁他的警告後,仍繼續在新文件加入隱藏訊息,包括YouTube連結、向法院「打招呼」,以及一些自稱只是玩笑的無意義文字。法官批評,有關行為排除了被告知情及回應的機會,屬於「嚴重濫用訴訟程序」。法院最終沒有罰款,但禁止Elliott日後使用電子入稟系統,要求他改交紙本文件。
法官警告,隨着法院及訴訟人士愈來愈常使用AI,類似攻擊未來可能再次出現。事件亦反映另一重風險:沒有律師代表的訴訟人若只要求聊天機械人支持自己的立場,而不要求它檢驗證據或提出反方論點,AI迎合使用者的傾向可能令他們更加深信自己必然正確。正如法官所言,只被要求同意作者的論證,最終連作者本人也會受到蒙騙。