要在 OpenAI 的 API 中实现 temperature 和 max tokens,您需要在 API 请求中调整这些参数,以控制输出的随机性和长度。 Temperature 是一个介于 0 和 2 之间的值,它会影响生成的文本的随机性。 较低的 temperature(例如,0.2)会使输出更集中和确定,而较高的值(例如,1.0)会增加创造性和可变性。 另一方面,Max tokens 对模型生成的 tokens(单词或部分单词)数量设置了硬性限制。 例如,设置 max_tokens=100 可确保响应不超过 100 个 tokens。 这两个参数都在 API 调用的请求正文中指定,它们的值取决于您的用例。
对于 temperature,关键在于平衡可预测性和创造性。 如果您正在构建技术 FAQ 机器人,较低的 temperature (0.3–0.5) 可确保答案保持事实性和一致性。 相反,讲故事的应用程序可能会使用更高的 temperature (0.7–1.0) 来生成不同的叙述。 谨慎使用极端值:temperature 为 0 可能会导致重复的输出,而高于 1.5 的值可能会产生无意义的文本。 例如,代码生成工具可以使用 temperature=0.3 来保持可靠的语法,但可能会错过新颖的解决方案,而诗歌生成器可能会使用 temperature=0.9 来探索独特的措辞。 始终测试不同的设置,以找到适合您应用程序的平衡点。
Max tokens 对于管理响应长度和成本至关重要。 如果没有此参数,模型可能会生成过长的回复,尤其是在输入提示很短的情况下。 例如,设置 max_tokens=50 会强制模型提供简洁的答案,这对于聊天机器人或基于 SMS 的系统很有用。 但是,设置得太低可能会截断有用的信息。 如果您要总结文档,您可以设置 max_tokens=300 来捕获关键点,而不会超出 token 限制。 请注意,tokens 不直接映射到单词——在英语中,1 个 token ≈ 4 个字符——因此请相应地计划。 将 max tokens 与 temperature 结合使用通常会产生最佳结果:客户支持机器人可以使用 temperature=0.5 和 max_tokens=150 来提供清晰、集中的答案。 始终验证输出,以确保关键信息未被截断。