Ai2发布大语言模型公平性基准FairStress

Ai2发布人口统计公平性评测基准FairStress，不只比较大语言模型对不同群体的最终选择，还检验身份互换后，其决策、解释及受劝说后改变选择的行为是否对称。 该基准包含覆盖29个领域的300个场景，结合身份呈现方式和对抗性前缀，扩展为超过1300万个测试用例，并提供含5万条目的FairStress-Core子集。Ai2强调，FairStress并不涵盖所有公平性定义；其内部激活分析仅涉及两个模型和少量人口群体对比，结论范围比行为评测更窄。

AI 根据报道生成 · 1 天前更新

还没有足够的连续观测数据，暂不绘制趋势。