虽然AI威胁的格局每天都在变化，但我们知道有几个大语言模型(LLM)漏洞对当今的公司运营构成了重大风险。如果网络团队对这些漏洞是什么以及如何缓解这些漏洞有很强的把握，公司就可以继续利用低成本管理进行创新，而不会承担不必要的风险。

提示和数据泄露

在LLM中，数据泄露的可能性是一个真实且日益令人担忧的问题，LLM可能会被“骗”泄露敏感的公司或用户信息，导致一系列隐私和安全问题，迅速泄密是另一个大问题，如果恶意用户访问系统提示符，公司的知识产权可能会受到损害。

这两个漏洞都与快速注入有关，这是一种日益流行和危险的黑客技术。直接和间接的快速注射攻击正在变得普遍，并伴随着严重的后果。成功的提示注入攻击可能导致跨插件请求伪造、跨站点脚本编写和培训数据提取，其中每一项都会将公司机密、个人用户数据和基本培训数据置于风险之中。

因此，公司需要在AI应用程序开发生命周期中实施检查系统。从寻找和处理数据到选择和培训应用程序，每一步都应该有限制，以降低入侵风险。沙箱、白名单和API网关等常规安全实践在处理LLM时同样有价值(如果不是更高的话)。除此之外，在将所有插件与LLM应用程序集成之前，团队应该仔细检查所有插件，并且对于所有高权限任务，人工批准应该仍然是必不可少的。

折衷的模型性能

AI模型的有效性取决于数据质量，但在整个模型开发过程中——从预训练到微调和嵌入——训练数据集很容易受到黑客的攻击。

大多数公司利用第三方模式，由不知名的人管理数据，网络团队不能盲目相信数据没有被篡改。无论你是使用第三方模式还是自己拥有的模式，总会有不良行为者的“数据中毒”风险，这可能会对模式的表现产生重大影响，进而损害品牌的声誉。

开源的AutoPoison框架清楚地概述了数据中毒如何在指令调优过程中影响模型。此外，以下是网络团队可以实施的一系列战略，以降低风险并最大限度地提高AI模型的性能。

• 供应链审查：仔细审查供应链，以验证数据来源是否干净，并采取严密的安全措施。问一些问题，比如“数据是如何收集的?”以及“是否考虑到了适当的同意和道德考量?”你还可以查询谁为数据添加了标签和注释，他们的资格，以及标签中是否存在任何偏见或不一致。此外，解决数据所有权和许可问题，包括谁拥有数据以及许可条款和条件是什么。
• 数据清理和清理：确保在进入模型之前检查所有数据和来源。例如，在将PII放入模型之前，必须对其进行编辑。
• 红色团队演习：在模型生命周期的测试阶段进行以LLM为重点的红色团队演习。具体地说，对涉及操纵训练数据以注入恶意代码、偏见或有害内容的测试场景进行优先排序，并采用多种攻击方法，包括对抗性输入、中毒攻击和模型提取技术。

受损的互联系统

像GPT-4这样的高级型号通常集成到系统中，在系统中它们与其他应用程序进行通信，但只要涉及到API，下游系统就会面临风险，这意味着一个恶意提示可能会对互联系统产生多米诺骨牌效应。要降低此风险，请考虑以下几点：

• 如果允许LLM调用外部API，请在执行可能具有破坏性的操作之前请求用户确认。
• 在互连不同的系统之前检查LLM输出。检查它们是否存在可能导致远程代码执行(RCE)等风险的潜在漏洞。
• 特别注意这些产出促进不同计算机系统之间互动的情况。
• 对互联系统中涉及的所有API实施强有力的安全措施。
• 使用强大的身份验证和授权协议，防止未经授权的访问和数据泄露。
• 监控API活动中的异常和可疑行为迹象，例如异常请求模式或利用漏洞的尝试。

网络带宽饱和

网络带宽饱和漏洞可被攻击者作为拒绝服务(DoS)攻击的一部分加以利用，并可能对LLM的使用成本造成痛苦的影响。

在模型拒绝服务攻击中，攻击者以过度消耗带宽或系统处理能力等资源的方式与模型接触，最终损害目标系统的可用性。反过来，公司可能会面临服务质量下降和天价账单。由于DoS攻击在网络安全环境中并不新鲜，因此可以使用几种策略来防御模型拒绝服务攻击，并降低成本快速上升的风险。

• 速率限制：实施速率限制，防止你的系统被过多的请求淹没。为你的应用程序确定正确的速率限制将取决于模型的大小和复杂性、硬件和基础设施以及平均请求数和高峰使用时间。
• 字符限制：设置用户在查询中可以包含的字符数量限制，以保护你的基于LLM的API免受资源耗尽的影响。
• 框架提供的方法：利用框架提供商提供的方法加强对攻击的防御。例如，如果你使用的是LangChain，请考虑使用max_iterations参数。

保护LLM需要多方面的方法，包括仔细考虑数据处理、模型培训、系统集成和资源使用，但通过实施建议的战略并保持警惕，公司可以利用低成本管理的力量，同时将相关风险降至最低。