跳到正文
掘金 · 人工智能· lyai007·· 16 小时前AI 评分59

garak 入门:理解一次扫描中的命中判定与评估边界

garak 入门:别急着扫,先看懂一条数据是怎么被判“命中”的

AI 导读

本文介绍开源 LLM 安全工具 garak 如何通过 Probe、Buff、Generator 和 Detector 扫描模型,并将输出判定为 hit 或 pass。文章强调结果取决于攻击样本、变异方式、detector 和采样参数,不能直接等同于模型整体安全性。对于 Agent,garak 主要观察文本层结果,无法仅凭最终回复判断工具调用和实际副作用。

来源:掘金 · 人工智能 · juejin.cn