信息检索 (IR) 系统中的用户满意度是通过用户显式反馈和从用户交互中提取的隐式信号相结合的方式来衡量的。显式方法直接询问用户评价其体验,而隐式方法则分析行为数据来推断满意度。这两种方法都有各自的优缺点,通常会结合使用,以便全面了解 IR 系统在多大程度上满足了用户需求。
显式衡量依赖于用户报告的数据。例如,在搜索会话结束后,可能会提示用户完成一项调查,询问搜索结果的相关性如何或查找信息有多容易。一种常用工具是李克特量表(Likert scale),用户在数值量表(例如 1-5 分)上评价满意度。另一个例子是净推荐值(Net Promoter Score,NPS),它询问用户推荐该系统的可能性有多大。虽然这种方法直观,但也有缺点:用户可能不会如实回答,或者持有强烈观点(积极或消极)的用户比例可能过高。例如,对不相关结果感到沮丧的用户可能完全跳过调查,导致数据出现空白。
隐式衡量使用行为信号来评估满意度,而无需直接用户输入。搜索结果上的点击率(Click-through rate,CTR)是一个经典例子——如果用户经常点击排名靠前的结果并在页面上停留,则表明该结果是相关的。停留时间(在点击页面上花费的时间)和跳出率(迅速离开页面)也提供了线索。例如,用户点击某个结果后立即返回搜索引擎页面(一种“pogo-stick”跳跳杆行为),可能表明不满意。搜索引擎结果页(Search Engine Results Page,SERP)的交互行为,如滚动深度或查询重构(例如,在看到初始结果后修改搜索词),可以进一步表明参与度。这里经常使用 A/B 测试:开发者可能通过衡量哪个版本的算法能带来更长的停留时间或更少的重复查询来比较两种排名算法。
结合显式和隐式方法可以弥补它们各自的局限性。例如,系统可以记录 CTR 和停留时间,同时定期抽样进行用户调查以验证行为数据。挑战包括在跟踪行为时确保隐私以及解释模糊的信号——例如,低 CTR 可能意味着结果非常完美(无需进一步点击)或非常糟糕(用户放弃了)。开发者还必须考虑上下文:医疗搜索系统可能优先考虑准确性而不是速度,而电商平台则侧重于转化率。Google Analytics 或自定义日志记录框架等工具可以帮助聚合数据,但关键是将衡量指标与 IR 系统的具体目标和用户期望对齐。