随着越来越多的公司部署人工智能代理来完成内部系统内的复杂任务并走向自动化，一些安全研究人员警告说，这些代理将攻击面从简单信号扩展到整个企业系统，对组织构成严重威胁。这就提出了人工智能代理是否会成为新的“内部威胁”的问题。
“人工智能代理本质上并不是恶意的。它们的设计、构建和部署是为了帮助公司，而不是伤害。然而，它们是无情的。这些代理在寻找实现其目标的方法和交付分配给它们的结果方面非常有效，”戴尔总裁兼首席安全官约翰·西蒙在拉斯维加斯举行的戴尔技术世界大会上接受Indianexpress.com采访时表示。
他说：“只要坚持不懈地致力于实现这些目标，如果代理实施得不到适当的控制和保障，可能会出现意想不到的后果和行为。”
AI代理可以浏览网页、读写文件、调用外部API以及查询数据库。然而，大型语言模型（LLM）存在一个未解决的缺陷：早期推理。由于法学硕士没有明确区分数据和指令，这意味着任何数据，例如网页内容、电子邮件或日志条目，都可以有效地解释为指令。风险在于，攻击者可以使用代理自己的身份从受信任的系统内操纵人工智能代理。
Gartner 表示，到 2025 年，只有不到 5% 的企业应用程序将使用特定于任务的 AI 代理。到 2026 年，这一数字预计将增加 800%。该分析公司还估计，到 2026 年，超过 40% 的企业应用程序将使用人工智能代理。
戴尔总裁兼首席安全官约翰·西蒙 (John Simon) 在拉斯维加斯戴尔科技世界博览会上谈论了自主人工智能代理带来的风险。 （图片来源：Anuj Bhatia/印度快报）
“我们在内部以及我们的客户以及我们在世界各地合作的许多组织中看到的情况是，他们真正倾向于这一领域，他们说：我们相信这项技术，我们相信它可以带来的好处。当您采用设计安全、默认安全方法并应用安全最佳实践时，您可以安全灵活地做到这一点。事实上，您可以获得比传统架构和基础设施更高的安全性和灵活性。”Simon 说。
新出现的内部威胁
由于人工智能代理获得了对企业网络的更多访问权限并被分配了更多任务，当它们在网络中 24/7 运行时就会出现问题，并且随着其扩展的功能，它们会面临风险和威胁。
故事在该广告下方继续
Palo Alto Networks 首席安全情报官温迪·惠特莫尔 (Wendy Whitmore) 将自主人工智能代理视为主要的新兴内部威胁。
2025 年，安全研究人员表明，快速注入攻击使 Salesforce 的 CRM 平台面临潜在的数据盗窃风险。 Salesforce 迅速发布了补丁，以防止 AI 代理检索 CRM 记录并将其发送给外部攻击者。这个被称为“forcedleak”的漏洞展示了人工智能代理如何在没有人类监督的情况下被滥用。
在 2025 年的另一个案例中，安全研究人员在 OpenAI 的 Codex CLI 编码代理中发现了一个漏洞，该漏洞可能允许攻击者通过在共享项目文件中嵌入有害指令来在开发人员的计算机上执行恶意命令。这可能会导致本地系统遭到入侵、凭证被盗、代码篡改以及潜在的下游企业漏洞，从而有效地将人工智能助手变成攻击的切入点。
安全专家警告说，具有广泛系统访问权限的人工智能代理可能会扩大企业的攻击面。 （图片来源：Anuj Bhatia/印度快报）
在代理人工智能时代，不仅传统的安全措施不再起作用，而且像人类一样对待人工智能代理可能是一个潜在的解决方案。重要的是要了解，当人类登录系统时，他们会接受身份验证，他们的操作会被记录和监控，异常行为会触发警报。同样，人工智能代理也应该受到同等的控制：经过验证的代理身份、完整记录其行为和决策、行为监控和完整会话跟踪。
故事在该广告下方继续
“当我们通过人工智能代理来权衡风险和回报之间的连续性时，我们看到每家公司都有不同的正确答案。但一般的正确答案都有一个经过深思熟虑的管理流程。你可以将其与你的业务战略联系起来，并将其与你的监管合规要求联系起来，”西蒙说。
“非常重要的是，当我们建立风险管理原则和我们试图实现的治理原则时，我们有办法在技术上真正加速它。这不仅仅是政策的问题，而是实际的技术架构的落实到位，并确保代理按照我们设计的方式行事，”他说。
Leave a Reply