在向量化之前，文本数据需要几个预处理步骤，将原始输入转换为适用于机器学习模型的结构化格式。这些步骤确保了一致性，减少了噪音，并提高了数值表示的质量。确切的步骤取决于应用，但常见的做法包括清理、标准化和结构调整，以便为 TF-IDF、词嵌入或词袋模型等算法准备文本。
首先，基本清理会删除不相关的字符并标准化文本。这包括将所有文本转换为小写以消除大小写敏感性（例如，将“Cat”和“cat”转换为相同的标记），删除标点符号或特殊符号（如逗号或井号），以及过滤掉数字或不可打印的字符。标记化使用 NLTK 或 spaCy 等库将文本分割为单独的单元（单词、子词或短语）。例如，句子“I’m loving this!”变为 ["i’m", "loving", “this”]。停用词删除使用预定义的列表消除常见但意义不大的词（例如，“the”，“and”），尽管此步骤是可选的——某些任务（如情感分析）可能会保留停用词以获取上下文。处理 HTML 标签、URL 或表情符号（例如，用“happy_emoji”替换 😊）也是清理的一部分，尤其是对于网络数据。
接下来，标准化确保语言的一致性。词干提取和词形还原将单词简化为其词根形式。例如，词干提取将“running”转换为“run”，而词形还原使用 WordNet 等词汇数据库将“better”映射到“good”。处理缩略词（例如，将“don’t”扩展为“do not”）并纠正拼写错误（通过字典或 SymSpell 等工具）可以提高统一性。编码标准化（例如，转换带重音的字符（é 到 e）或统一 Unicode 格式）可以防止重复表示。大小写敏感性和特定领域的术语（例如，用“coronavirus”替换“COVID-19”）也可能在此处解决。例如，在医疗数据集中，“heart attack”和“myocardial infarction”可能会被标准化为单个术语。
最后，结构调整会根据模型的需求定制文本。 N 元语法提取识别频繁出现的词对（例如，“machine learning”作为一个标记）以捕获上下文。处理稀有或频繁出现的词——删除低于频率阈值的词或限制过度常见的词——可以减少噪音。可以应用自定义规则，例如保留产品名称或处理主题标签（例如，#AI → “ai_hashtag”）。对于具有复杂形态的语言（如阿拉伯语或德语），可能需要其他步骤，如分段。根据用例验证步骤至关重要：删除标点符号可能会损害语法检查模型，而转换为小写可能会丢失实体识别中的关键上下文。 spaCy 的语言管道或自定义正则表达式规则等工具可以帮助有效地自动化这些步骤。
总而言之，预处理涉及清理、标准化和重组文本，以平衡一致性和特定任务的需求。开发人员应根据模型性能和领域要求迭代这些步骤。