视觉-语言模型（VLM）用于内容审核，能够同时分析视觉和文本数据，从而使平台更有效地检测有害或违反政策的内容。这些模型结合了用于图像或视频分析的计算机视觉和用于文本理解的自然语言处理。例如，社交媒体帖子可能包含带有叠加文本或标题的图片，单独分析时它们似乎无害，但结合起来就违反了平台政策。VLM 通过创建联合嵌入（一种捕捉视觉和文本元素之间关系的数字表示）来处理多模态输入，以识别特定上下文的风险。与使用单独的图像和文本模型相比，这种集成方法考虑了媒体类型之间的交互，从而减少了误报。
VLM 在内容审核中的一个关键应用是对用户生成内容进行自动扫描，例如表情包、视频或商品列表。例如，一个看似无害图片的表情包，其叠加文本可能包含仇恨言论，VLM 会通过识别这种组合来标记它。同样，VLM 可以检测伪装的内容，例如文本中的暗语与暗示性图片的搭配。电子商务网站等平台使用 VLM 来识别违禁商品：商品图片可能显示武器，而描述则使用“保护工具”等模糊词语来规避基于文本的过滤器。VLM 还可以通过分析视频帧和用户评论来实现直播中的实时审核，标记协调骚扰或露骨内容。
然而，部署 VLM 进行审核面临挑战。首先，训练需要包含边缘案例（例如图像或俚语中的文化细微差别）的大型多样化数据集，以最大程度地减少偏见。其次，计算成本可能很高，因为实时处理高分辨率图像和文本需要优化的基础设施。第三，出现伦理问题，例如对讽刺或艺术的过度审查，VLM 在缺乏上下文意识的情况下可能会误解这些内容。为了解决这个问题，许多平台将 VLM 作为第一层过滤器，将其输出与人工审核和用户举报相结合。开发人员还必须定期更新模型，以适应新的规避策略，例如文本中的拼写更改或图像中视觉上模糊的符号。像 OpenAI 的 CLIP 或开源替代品（例如 OpenFlamingo）这样的工具提供了起点，但通常需要进行自定义微调以符合平台特定的政策。