命名实体识别 (NER) 是一种自然语言处理 (NLP) 任务，旨在识别和分类文本中的特定实体，并将其归入预定义的类别，如人名、组织、地点、日期或货币价值。其核心工作原理是分析句子结构和上下文，以检测表明实体存在的模式。例如，在句子“Apple announced a new product in Cupertino on September 12”（苹果公司于 9 月 12 日在库比蒂诺发布了新产品）中，NER 系统会将“Apple”识别为组织，“Cupertino”识别为地点，“September 12”识别为日期。这个过程通常包括文本预处理（分词、词性标注）、应用模型检测实体以及根据上下文优化结果。
NER 系统通常使用在标注数据集上训练的机器学习模型。传统方法，如条件随机场 (CRFs) 或基于规则的方法（正则表达式模式），依赖于手工设计的特征，例如单词大小写或周围的词汇。现代系统常使用深度学习模型，如双向长短期记忆网络 (BiLSTM) 或基于 Transformer 的架构（例如 BERT）。这些模型学习词与词之间的上下文关系，使其能够处理歧义情况。例如，“Paris”既可以指城市名也可以指人名，但像“visited Paris”（参观巴黎）与“Paris said”（帕里斯说）这样的上下文线索有助于模型判断。像 spaCy 或 Hugging Face Transformers 这样的库提供了预训练的 NER 模型，开发者可以在特定领域的数据上对其进行微调（例如，需要识别药物名称的医学文本）。
实际实现中需要在准确性、速度和资源使用之间进行权衡。例如，基于规则的系统速度快，但难以处理未见的模式，而深度学习模型更准确，但需要大量计算能力。开发者通常结合多种技术：使用预训练模型处理一般实体，并为特定领域添加自定义规则。挑战包括处理重叠实体（例如，“New York City”作为一个地点，而不是单独的“New York”和“City”）以及多语言支持。像 spaCy 这样的工具允许开发者通过标注数据和调整超参数来训练自定义 NER 流水线，这使得将 NER 集成到聊天机器人、搜索引擎或文档分析系统等应用中变得易于实现。