是的，大型语言模型（LLM）可能会在网络攻击中被恶意利用。它们生成类似人类文本、自动化任务和处理大量数据的能力使其成为攻击者的潜在工具。虽然 LLM 本身是中立的，但它们的滥用取决于恶意行为者如何应用它们的能力。 例如，攻击者可以利用 LLM 制作有说服力的网络钓鱼电子邮件、冒充受信任的实体，甚至生成用于恶意目的的代码。 这些风险源于模型的灵活性和可访问性，这些对于合法使用是有益的，但也可以被重新用于有害目的。
一个具体的例子是使用 LLM 自动化网络钓鱼活动。攻击者可以通过将从社交媒体或泄露数据库中抓取的详细信息输入模型，大规模生成高度个性化的诈骗电子邮件或消息。 与传统的网络钓鱼模板不同，LLM 生成的内容可以模仿写作风格、适应地区方言并绕过基本的垃圾邮件过滤器。 同样，LLM 可以用于创建虚假的客户支持聊天机器人，诱骗用户分享密码或信用卡详细信息等敏感信息。 另一个风险涉及代码生成：攻击者可以提示 LLM 生成恶意软件片段、漏洞利用代码或用于暴力攻击的脚本。 虽然某些模型包含阻止公开恶意请求的保护措施，但攻击者通常通过改写提示或将任务分解为看似无害的步骤来绕过这些保护措施。
开发人员还应考虑间接风险。 例如，在公共代码存储库上训练的 LLM 可能会无意中泄露训练数据中存在的 API 密钥、密码或漏洞。 攻击者可以通过查询模型以获取嵌入在代码示例中的敏感信息来利用这一点。 此外，LLM 可以协助逆向工程软件或生成混淆代码，以逃避安全工具的检测。 为了减轻这些风险，将 LLM 集成到应用程序中的开发人员应实施严格的输入验证、监控输出中是否存在可疑模式，并避免将模型访问权限暴露给不受信任的用户。 了解这些威胁有助于设计保护措施，例如道德使用政策和技术控制，以限制对抗性利用。