模型上下文协议 (MCP) 通过外部存储集成、基于向量的检索和分层上下文管理等策略支持长期记忆。这些方法允许模型保留和访问超出即时会话的信息，从而在多步骤交互中实现连续性。通过结合这些方法，MCP 可以平衡效率与随时间推移的上下文相关性。
一个关键策略是使用外部数据库或存储系统来存档过去的交互。例如，模型可以将对话历史记录保存到 SQL 或 NoSQL 数据库中，并使用时间戳或主题等元数据标记条目。当新查询到达时，模型可以查询此数据库以获取相关上下文。为了提高检索速度，通常将嵌入（文本的数字表示）与原始数据一起存储。例如，客户支持聊天机器人可以保存以前的工单，并使用嵌入上的相似性搜索来快速查找相关案例。开发人员可以使用 Redis 进行缓存或使用向量扩展的 PostgreSQL 等工具来实现这一点，确保低延迟地访问历史数据。
另一种方法利用向量相似性进行动态上下文检索。在这里，文本使用嵌入模型（例如 OpenAI 的 text-embedding-ada-002）转换为高维向量。这些向量存储在 FAISS 或 Pinecone 等专用数据库中。当新的用户输入到达时，其向量将与存储的向量进行比较，以找到语义上相关的过去交互。例如，研究助理工具可以使用此方法来回忆先前用户关于“神经网络”的问题，当新查询提到“深度学习架构”时。这避免了关键字匹配限制并有效地处理了释义。开发人员可以通过针对特定领域的语言微调嵌入模型来优化这一点。
最后，分层上下文管理按优先级组织记忆。较旧的交互被总结或压缩，而关键细节仍然可以访问。例如，代码生成工具可能会保留最近五个消息的完整上下文，但仅保留早期讨论的摘要。元数据标志（例如，“user_preferences”）可以标记高优先级数据以进行更快的检索。诸如令牌窗口滑动或递归摘要（例如，使用 GPT-4 压缩聊天记录）之类的技术有助于管理语言模型中的令牌限制。这种结构确保了模型在计算约束范围内，同时在整个会话中保留了基本上下文。