是的，如果与大型语言模型 (LLM) 交互的系统结构不合理，LLM 可能会滥用工具。 LLM 根据训练数据和接收到的提示中的模式生成响应，但它们本身并不理解其行为的后果。 如果没有安全措施，LLM 可能会以违反安全性、逻辑或用户意图的方式调用外部工具或 API。 例如，如果 LLM 被授予对数据库查询工具的访问权限，如果提示不明确或模型错误地解释了目标，它可能会生成意外删除记录或暴露敏感数据的 SQL 命令。 当工具具有广泛的权限或者 LLM 的输出在执行前未经过验证时，风险会增加。
滥用的一个具体例子可能涉及与日历调度 API 集成的 LLM。 假设用户问：“清除我明天的会议”，但模型错误地解释了范围，而是删除了该月份的所有事件。 如果没有输入验证或特定于工具的约束，LLM 可能会将不正确的参数传递给 API，从而导致意外操作。 同样，如果 LLM 可以访问支付处理工具，那么措辞不当的提示（例如“向 John 发送 500 美元”）可能会导致多次交易，因为模型未能识别出“John”指的是系统中的多个联系人。 这些问题通常源于模型无法将工具使用情境化到超出直接文本模式。
为了防止滥用，开发人员应实施严格的边界和验证层。 例如，工具应设计为仅接受预定义的输入类型（例如，日历工具的日期范围）并拒绝超出安全参数的命令。 中间件可以拦截 LLM 生成的请求，以在执行之前检查正确性、权限或潜在错误。 此外，工具应以必要的最低权限运行 - 就像数据库工具一样，除非明确授予写入访问权限，否则只允许读取操作。 通过构建交互来限制 LLM 的自主性并添加监督机制，开发人员可以降低意外工具使用的风险，同时保留模型的实用性。