视觉提示注入攻击与防御策略
在现代人工智能领域，大型语言模型（LLMs）如GPT-4V因其强大的文本处理能力而备受关注。然而，随着技术的进步，新的安全漏洞也随之出现。其中之一便是视觉提示注入攻击，这是一种通过在图像中嵌入恶意数据来操纵模型执行未授权操作或提取数据的攻击手段。这种攻击方式不仅威胁到了系统的安全性，还可能导致敏感信息的泄露。
在2023年9月25日，OpenAI宣布了GPT-4V的新功能，即能够理解上传图像中的文本。这一更新虽然增强了模型的交互能力，但也为攻击者提供了新的攻击途径。通过在图像中嵌入文本，攻击者可以绕过文本提示的限制，直接通过图像向模型发送指令。
更令人担忧的是，这些嵌入图像的文本不需要是可见的。攻击者可以通过将文本颜色设置为与背景色几乎相同的方式来隐藏文本，使其对肉眼不可见，但可以通过特定的软件提取。GPT-4V在光学字符识别（OCR）方面的高准确率，使其对这种隐蔽的攻击方式变得异常敏感。
数据提取是视觉提示注入攻击的另一个关键方面。攻击者可以利用模型生成可点击链接的功能，将聊天历史记录嵌入到URL中，并以图像的形式在Markdown中呈现。这样，即使用户不点击链接，HTTP请求也会自动发送，服务器只需解析回传的数据即可。
面对这种新型的安全威胁，防御策略的制定变得尤为重要。虽然OpenAI和微软等公司正在积极研究如何保护LLMs免受此类攻击，但目前能做的是提高对这一问题的认识，并在设计基于LLM的产品时充分考虑其潜在风险。
防御视觉提示注入攻击的一种方法是通过提示工程，即在文本部分添加额外的指令，并命令LLM忽略图像中可能包含的指令。虽然这种方法可能在一定程度上改善模型的行为，但由于GPT-4V并非开源，对于文本和视觉输入如何相互作用的了解仍然有限。