ReaderMX.
Z Potentials

速递｜外媒测试显示ChatGPT搜索工具易受操控和欺骗

Ztheguardian约 4 分钟

Image

图片来源：Unsplash
据《卫报》的调查发现，OpenAI 的ChatGPT搜索工具可能会受到隐藏内容的操控，并且可能会从其搜索的网站返回恶意代码。
OpenAI 已向付费客户提供搜索产品，并鼓励用户将其设为默认搜索工具。但调查显示新系统存在潜在的安全问题。
《卫报》测试了当被要求总结包含隐藏内容的网页时，ChatGPT 的反应。这些隐藏内容可能包含来自第三方的指令，这些指令会改变 ChatGPT 的回答——也称为“提示注入”——或者它可能包含旨在影响 ChatGPT 回答的内容，例如大量关于产品或服务好处的隐藏文本。
这些技术可以被恶意使用，例如使 ChatGPT 对某个产品给出积极的评价，尽管在同一页面上有负面评论。一位安全研究人员还发现，ChatGPT 可以从其搜索的网站返回恶意代码。
在测试中，ChatGPT 收到了一个假网站的 URL，该网站看起来像是一个相机的产品页面。然后询问该 AI 工具这款相机是否值得购买。控制页面的回应给出了积极但平衡的评估，突出了人们可能不喜欢的一些特性。
然而，当隐藏文本包含指示 ChatGPT 返回好评时，回应总是完全积极。即使页面上有负面评论也是如此——隐藏文本可以用来覆盖实际的评论分数。
第三方在没有指示的情况下简单地包含隐藏文本，也可以用来确保积极的评估，其中一项测试包括极其积极的虚假评论，这些评论影响了 ChatGPT 返回的摘要。
雅各布·拉尔森，CyberCX 的网络安全研究员，表示他认为如果当前的 ChatGPT 搜索系统以其当前状态完全发布，可能会存在“高风险”，人们可能会创建专门用于欺骗用户的网站。
然而，他警告说，搜索功能最近才发布，OpenAI 将会测试这些问题，并理想情况下进行修复。
“这个搜索功能是最近推出的，只有高级用户可以使用，”他说。
“他们那里有一个非常强大的AI安全团队，到这个消息公开的时候，所有用户都可以访问时，他们将会对这些情况进行严格测试。”
OpenAI 收到了详细的问题，但没有就 ChatGPT 搜索功能作出正式回应。
拉尔森表示，将搜索与大型语言模型结合起来存在更广泛的问题——这些模型被称为LLMs，是 ChatGPT 和其他聊天机器人的技术基础——而来自 AI 工具的响应并不总是值得信赖。
最近的一个例子是由微软安全研究员托马斯·罗基亚（Thomas Roccia）强调的，他详细描述了一起涉及一位使用 ChatGPT 进行编程协助的加密货币爱好者的事件。ChatGPT 为该加密货币项目提供的一些代码中包含一个部分，被描述为访问 Solana 区块链平台的合法方式，但实际上却窃取了程序员的凭据，导致他们损失了 2500 美元。
“他们只是问一个问题，得到一个答案，但模型却在生成和分享基本上是被对手注入的恶意内容，”拉尔森说。
卡斯滕·诺尔，安全网络安全公司 SR Labs 的首席科学家，表示 AI 聊天服务应该更像是“副驾驶”，其输出不应被完全不加过滤地查看或使用。
“LLMs 是一种非常信任的技术，几乎像孩子一样……拥有巨大的记忆，但在做出判断方面却很少。”他说。
“如果你基本上有一个孩子在复述他在其他地方听到的东西，你需要对此持保留态度。”
OpenAI 确实在每个 ChatGPT 页面底部用免责声明警告用户该服务可能出现的错误——“ChatGPT 可能会犯错误。请检查重要信息。”
一个关键问题是，如果将搜索与LLMs结合变得更加普遍，这些漏洞将如何改变网站的做法和对用户的风险。
隐藏文本在历史上一直受到搜索引擎的惩罚，例如谷歌，结果是使用它的网站可能在搜索结果中排名更低或完全被移除。因此，旨在欺骗人工智能的隐藏文本可能不太可能被那些也试图在搜索引擎中保持良好排名的网站使用。
诺尔将人工智能搜索面临的问题比作“SEO 中毒”，这是一种黑客操纵网站以在搜索结果中排名靠前的技术，这些网站包含某种恶意软件或其他恶意代码。
“如果你想创建一个与谷歌竞争的公司，你将面临的一个问题是 SEO 污染，”他说。“SEO 污染者与谷歌、微软必应以及其他一些公司之间已经进行了多年的军备竞赛。”
“现在，ChatGPT 的搜索能力也是如此。但这并不是因为LLMs，而是因为它们在搜索方面是新的，它们需要与谷歌进行追赶。”
本文翻译自：
theguardian,https://www.theguardian.com/technology/2024/dec/24/chatgpt-search-tool-vulnerable-to-manipulation-and-deception-tests-show
编译：ChatGPT
-----------END-----------
🚀 我们正在招募新一期的实习生
Image
🚀 我们正在寻找有创造力的00后创业者
Image
Image
Image
关于Z Potentials
Image

KEEP THE THREAD GOING

更多来源文章