掘金 · 人工智能· 沛东的认知和实践·· 18 小时前AI 评分54
RAG 可信引用评测:为什么引用语义支持不应成为绝对红线
RAG 可信引用评测纠偏:为什么引用语义支持不应成为绝对红线
AI 导读
作者提出,RAG 的引用完整性可以由程序确定性校验,但引用支持涉及语义判断,不能因单次 LLM-as-a-Judge 判定为 unsupported 就直接阻断发布。文章基于固定的 10 个答案比较不同判官版本,说明仅改变判官就可能让通过、失败和 pending 结果波动。作者据此建议将红线分为确定性完整性错误、高置信语义候选和普通质量问题,并对语义候选引入人工复核与可审计记录。
来源:掘金 · 人工智能 · juejin.cn