使大型语言模型 (LLM) 更具可解释性是一项挑战，因为它们具有复杂性、动态行为，并且缺乏衡量成功的明确标准。 这些挑战源于 LLM 处理信息、适应输入的方式以及对“好的”解释的主观性质。 让我们分解一下关键问题。
首先，LLM 使用具有数十亿个参数的大型神经网络构建，因此很难追踪特定输入如何导致输出。 例如，模型可能会通过组合训练数据中的模式来生成听起来合理的答案，但查明模型的哪些部分对该决策做出了贡献并非易事。 像注意力可视化或显着性图这样的技术可以突出显示输入中的重要标记，但它们并不能完全解释模型的推理过程。 开发人员面临着一个权衡：简化模型以提高透明度会降低其能力，而保持其复杂性会掩盖理解。 这在医疗保健等高风险领域尤其成问题，因为用户需要信任模型为何提出诊断建议。
其次，LLM 对上下文高度敏感，这意味着输入中的微小变化会导致截然不同的输出。 例如，要求模型在一个上下文中解释其答案可能会产生连贯的理由，而稍微改变问题的措辞可能会导致矛盾或无意义的解释。 这种不可预测性使得很难创建可靠的方法来实现一致的解释。 此外，许多 LLM 都会随着时间的推移进行微调或更新，这可能会以不明显的方式改变它们的行为。 开发人员可能会实施事后解释工具，但发现它在例行的模型更新后会中断，因为内部机制发生了变化。
最后，对于什么是充分的解释，没有达成共识。 技术用户可能想要有关梯度流或层交互的详细信息，而最终用户可能更喜欢通俗易懂的摘要。 如果没有标准化的指标或基准，就很难评估解释方法是否真正提高了理解。 例如，为模型决策生成特征重要性分数的工具可能对调试有用，但无法解决有关偏见的伦理问题。 像模型卡片或透明度报告这样的工作旨在记录模型的行为，但这些通常是静态的，并且不适应特定的用例。 在该领域就评估标准和工具达成一致之前，在可解释性方面的进展将仍然是分散的。