衡量推荐的新颖性包括评估建议的项目相对于用户过去互动或更广泛的系统环境而言，是多么新颖或出乎意料。新颖性与相关性不同——相关性侧重于项目与用户偏好的匹配程度，而新颖性则强调引入用户以前没有遇到过的内容。为了量化这一点，开发人员通常会将推荐与历史数据（例如，用户过去的点赞或购买）进行比较，或利用项目受欢迎程度指标。例如，如果某个小众纪录片在系统中没有被广泛观看，那么将其推荐给主要观看主流电影的用户可以被认为是新颖的。
一种实用的方法是使用项目受欢迎程度逆序。在这里，项目的得分基于它们在整个平台的用户互动中出现的频率。例如，如果 90% 的用户观看了“电影 A”，但只有 5% 的用户观看了“电影 B”，那么后者将获得更高的创新得分。另一种方法是通过检查推荐的项目是否存在于用户的互动历史中来衡量用户特定的新颖性。一个简单的实现可能涉及二进制检查：如果 10 个推荐项目中有 3 个对用户来说是新的，那么新颖性就是 30%。更先进的技术可能会使用嵌入距离（例如，比较推荐模型潜在空间中的项目向量）来识别与用户历史偏好不同但仍然相关的项目。
在平衡新颖性与其他指标（如准确性或多样性）时会出现挑战。例如，如果推荐完全不熟悉的项目，但这些项目不相关，可能会损害用户满意度。 A/B 测试通常用于评估实际影响：一组接受以新颖性为中心的推荐，而另一组获得标准结果，并跟踪点击率或长期参与度等指标。此外，新颖性可能取决于上下文——推荐给新用户的电影可能本质上是新颖的，而对于高级用户来说，新颖性需要对其广泛历史进行更深入的分析。开发人员还必须考虑计算效率，因为计算大型目录的新颖性可能需要大量资源。 Apache Spark 或近似最近邻库（例如，FAISS）等工具可帮助扩展这些计算。