文本数据中的异常检测识别非结构化文本中偏离预期规范的异常模式、离群值或罕见实例。 这对于检测垃圾邮件、欺诈内容、日志中的错误或意外的用户输入非常有用。 与数值数据不同，文本需要预处理才能将单词转换为可测量的特征，通常使用 TF-IDF、词嵌入或基于 Transformer 的模型等技术。 一旦转换，传统的异常检测算法或专门的 NLP 方法可以根据统计、句法或语义属性标记违规行为。
该过程通常涉及三个步骤。 首先，文本被向量化：TF-IDF 等方法捕获单词频率的重要性，而嵌入（例如 Word2Vec、BERT）则编码语义意义。 例如，描述“服务器崩溃”的支持工单可能很常见，但由于罕见的单词组合，“紫色大象故障”将在嵌入中脱颖而出。 其次，Isolation Forest、One-Class SVM 或自动编码器等算法分析这些向量以检测离群值。 例如，自动编码器学习有效地重建正常文本数据； 高重建误差表明异常。 第三，上下文特定的规则（例如，日志中信用卡号码的正则表达式模式）或领域知识完善结果。 挑战包括处理上下文相关的异常（如评论中的讽刺）以及扩展到大型数据集。
实际应用包括监控系统日志中是否有意外错误（例如，“404”错误的突然飙升）、识别具有不自然语言的虚假产品评论或检测包含不寻常请求的网络钓鱼电子邮件。 例如，在与金融无关的域名中包含“紧急电汇”的电子邮件可能会被标记。 然而，文本异常通常是主观的：一份提到“外星人 DNA”的医疗报告可能是一个错误或一个罕见的有效案例。 像精确率/召回率权衡这样的评估指标在这里很重要，因为过度标记正常文本会降低可用性。 常用的工具包括用于传统方法的 Python 的 scikit-learn 或 PyOD，以及用于 NLP 特定方法的 Hugging Face transformers。 关键是在细微案例中平衡自动化检测和人工审核。