跳到正文
热点事件持续更新

RAG引用评测不宜把语义支持一票否决

1 篇报道1 个报道来源18 小时前更新

先了解这件事

AI 综述

作者认为,RAG 的引用完整性可以由程序确定性校验,但不能因单次 LLM-as-a-Judge 判定引用语义“不支持”就直接阻断发布;在固定的 10 个答案测试中,仅更换判官版本,就可能改变通过、失败和 pending 的结果。 作者建议将问题分为确定性完整性错误、高置信语义候选和普通质量问题,对语义候选采用人工复核并保留可审计记录。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. 掘金 · 人工智能
    RAG 可信引用评测:为什么引用语义支持不应成为绝对红线

    作者提出,RAG 的引用完整性可以由程序确定性校验,但引用支持涉及语义判断,不能因单次 LLM-as-a-Judge 判定为 unsupported 就直接阻断发布。文章基于固定的 10 个答案比较不同判官版本,说明仅改变判官就可能让通过、失败和 pending 结果波动。作者据此建议将红线分为确定性完整性错误、高置信语义候选和普通质量问题,并对语义候选引入人工复核与可审计记录。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。