Cato Networks揭示了如何利用LLM生成恶意软件

关键要点

• Cato Networks展示了无经验的威胁情报研究人员如何利用大型语言模型（LLM）工具开发Google Chrome的资讯窃取器。
• 他们创造了虚构宇宙以绕过LLM的控制，进而生成恶意代码。
• 研究指出，LLM一旦被破解，将产生有害的指令和虚假内容，可能被用于犯罪或不道德行为。
• 专家强调需要多层防御来应对AI威胁，并指出行业面临的挑战。

Cato Networks本周公布的消息吸引了安全专业人员的注意，因为他们成功地破解了DeepSeek、MicrosoftCopilot和OpenAI的ChatGPT等LLM，并为最受欢迎的浏览器之一——拥有超过30亿用户的Google Chrome开发了恶意软件。

Cato的研究人员解释说，他们创造了一个名为“沉浸式世界”的虚构宇宙，透过（叙事工程）为LLM分配角色，有效绕过了安全控制并正常化了受限操作。简言之，他们创造了一个骇客活动被视为正常的虚构世界。

根据，Cato的研究人员联系了DeepSeek、Microsoft和OpenAI，但只有Microsoft和OpenAI回复了他们的联系。Cato表示，关于资讯窃取器的代码他们与Google共享，但这家科技巨头拒绝审查该代码。

Sectigo的高级研究员Jason Soroko表示，CatoNetworks的研究证明，一旦LLM被破解并解除安全防护，它能生成有害指令、虚假资讯和有毒内容，攻击者可以将其武器化，用于犯罪或不道德的行为。这些行为包括促进网络犯罪、规避有害话题的监控以及扩大极端主义叙事——所有这些都削弱了公众对AI系统的信任。

“减轻风险需要多层防御：严格的过滤调整、对抗性训练以及动态监测，以实时检测异常行为，” Soroko说。“加强提示结构、持续的反馈循环和监管监督进一步降低了被利用的风险，加强了模型抵御恶意破解尝试的能力。”

Darktrace的副总裁NicoleCarignan补充说，行业已经看到了AI对威胁形势的初步影响，以及组织在使用这些系统时面临的一些挑战——无论是来自内部还是来自外部的对手。

Carignan指出，显示，74%的安全专业人员认为AI驱动的威胁已经成为一个重要问题，89%的人认同AI驱动的威胁在可预见的未来依然是一个重大挑战。

“向前看，随著攻击型AI的盛行，保护组织将需要不断增长的防御性AI武器库，” Carignan表示。“随著对手加强对自主代理的使用和优化，人类防御者对自主代理在防御方面的依赖和信任将越来越高。”