要在 OpenAI 的 GPT 模型中实现对话历史记录，您需要构建 API 请求，将之前的交互作为输入的一部分包含进来。关键是维护一个消息列表，其中每条消息都有一个角色（如“用户”或“助理”）和内容（实际文本）。通过将每次交流附加到此列表并在每次新请求中发送它，模型可以参考上下文来生成连贯的、感知上下文的响应。例如，如果用户问“法国的首都是什么？”，助理回答“巴黎”，则下一个用户查询（“它的人口是多少？”）需要模型知道“它”指的是巴黎。包含之前的消息可确保模型理解上下文。
管理令牌限制至关重要。每个 GPT 模型都有一个最大令牌限制（例如，gpt-3.5-turbo 为 4,096 个令牌，gpt-4-0125-preview 为 128,000 个令牌）。令牌包括输入和输出中的每个单词、标点符号和空格。如果对话超过限制，您需要截断或省略较旧的消息。一种常见的方法是使用滑动窗口：保留最新的消息并丢弃最旧的消息。例如，您可以使用 OpenAI 的 tiktoken 库跟踪令牌计数，并从头开始删除消息，直到总令牌数符合限制。或者，您可以总结对话的旧部分，以保留关键细节而无需使用过多的令牌。
这是一个 Python 中的实际示例。初始化一个列表 conversation_history，并将每个用户和助理消息作为带有 role 和 content 键的字典附加。对于每次 API 调用，将此列表传递给 messages 参数。在每次响应后，将助理的回复添加到历史记录中。为了处理令牌限制，在每次交互后计算令牌计数，并在接近限制时修剪列表。例如
from openai import OpenAI
import tiktoken
client = OpenAI()
encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")
conversation_history = [
{"role": "system", "content": "You are a helpful assistant."}
]
def add_message(role, content):
conversation_history.append({"role": role, "content": content})
def trim_history():
total_tokens = len(encoding.encode(str(conversation_history)))
while total_tokens > 3000: # Example threshold
removed_message = conversation_history.pop(1) # Skip system message
total_tokens = len(encoding.encode(str(conversation_history)))
这确保了模型始终接收到足够的上下文，同时保持在令牌约束范围内。根据您的具体用例调整阈值和修剪逻辑。