为了处理使用 Sentence Transformers 编码长文档，开发人员通常会将文本分割成更小的块或使用滑动窗口，以便在模型的 token 限制内工作。大多数基于 Transformer 的模型（包括 Sentence Transformers 中的模型）都有最大 token 容量（例如，许多基于 BERT 的模型为 512 个 token）。当处理超过此限制的文档时，直接编码是不可行的。将文本分割成段可确保每个块都符合模型的约束。例如，可以将一个 10,000 个 token 的文档分成 20 个每个 500 个 token 的块。这种方法需要定义逻辑边界，例如在句子或段落中断处分割，或使用固定大小的块。开发人员经常使用诸如 transformers 之类的库来计数 token 并以编程方式分割文本。但是，如果分割没有与语义单元对齐，则此方法存在丢失块之间上下文的风险。
滑动窗口方法通过创建重叠的块来解决上下文丢失的问题。例如，一个 512 个 token 的窗口可能每次前进 256 个 token，从而确保相邻的块共享其一半的内容。与非重叠分割相比，这更好地保留了局部上下文。尽管有效，但滑动窗口会增加计算负载 - 一个 10,000 个 token 的文档将生成约 39 个块而不是 20 个。开发人员必须在上下文保留与资源使用之间取得平衡。此方法对于诸如问答之类的任务特别有用，其中答案可能跨越块边界。Hugging Face 的 tokenizers 库之类的工具可以自动生成具有可配置步长长度的滑动窗口。但是，即使有重叠，全局文档上下文（例如，跨越整个文本的主题）仍可能被稀释。
分割后，开发人员分别对每个块进行编码并聚合结果。常见的策略包括平均块嵌入或采用最大池化值。例如，平均会产生一个代表文档整体含义的向量，而最大池化则会强调主要特征。选择取决于用例：平均适用于语义搜索，而最大池化可能更好地捕获用于分类的关键术语。一些实现使用分层方法，首先编码段落，然后组合段落级嵌入。SpaCy 或 NLTK 之类的库可以在分割之前帮助将文本预处理为有意义的单元。关键考虑因素包括将块大小与模型的限制对齐，测试重叠比率，并验证聚合方法是否保留与任务相关的信息。实验是关键，因为最佳设置因文档结构和应用程序目标而异。