掘金 · 人工智能· 纵稚·· 20 小时前AI 评分58
TriageOps 开源带三处检查点的 RAG Demo,附 20 例评测
RAG 该在什么时候「拒绝回答」?一个带三处检查点的 Demo,附 20 例评测数字
AI 导读
作者开源质检场景 RAG Demo TriageOps,通过 intake、evidence、decision 三段流程设置三处可失败检查点,并在证据不足时升级人工。20 个固定种子用例中,决策与规则引擎一致率 100%,升级人工比例 25%,检查点失败 6 次,平均工具调用 5.55 次。决策由规则代码计算,模型仅生成理由,并校验 [evidence-id] 与证据集合一致。
来源:掘金 · 人工智能 · juejin.cn