Google Research 研究：AI 让工作成果更好，也会让专业能力更强吗？

判断力是资深专业人士区别于初级同行的关键。培养判断力需要在工作中学习数千小时，通常要从事相对常规、枯燥却有助于成长的工作，而且往往是在经验丰富的员工指导和监督下进行。但 AI 已经在改变在职学习的方式。一方面，放射学、商业问题解决、求职者写作和法律教育领域的实证研究表明，如果将 AI 工具精心融入培训流程，经验较少的工作者就能提升独立完成工作的表现。

另一方面，近期针对软件工程师、管理顾问、高中生和临床医生开展的实验表明，尽管 AI 像临时外骨骼一样能提高即时产出，但一旦移除工具，这些提升往往无法持续。要理解 AI 如何削弱或增强专业能力，需要同时具备三个很少同时出现的要素：(1) 将持续使用 AI 融入日常专业工作，持续数月而非数小时，(2) 在无法使用 AI 时，对不借助辅助的判断力进行可信评估，以及 (3) 由领域专家进行盲评。

在美国国家经济研究局发表的《AI 辅助会增强还是削弱专业能力？来自一项为期三个月的专利撰写实地实验的证据》中，我们介绍了一项实地实验，用于捕捉在知识产权法这一高度依赖专业能力的职业领域中，使用 AI 所带来的短期生产率和长期技能培养方面的变化。在实验中，我们在十一家与 Google 保持常规、非独家业务往来的知识产权律师事务所的 133 名律师中，随机分配了一款当时尚未发布的 Google Labs AI 专利撰写辅助工具的使用权限，该工具如今已成为 Gemini Notebook 的一部分。每家律所三分之二的律师（“处理”组）获得了该工具的提前使用权限，其余律师（“对照”组）则接受了一些关于如何使用 AI 的培训，但直到为期三个月的研究结束后才获准使用该工具。

借助 AI 做得更好

在使用 AI 辅助 10 天后，我们向所有参与研究的律师发送了一套假想发明的发明人材料，并要求他们起草一份专利申请。在 90 天后，我们使用另一套模拟发明人材料，重复了同样的测试。在这两个时间点的起草任务中，我们都观察到了预期的 AI 绩效提升。在 10 天时，获得 AI 工具使用权限使起草得分提高了 0.34 个标准差（由独立法律专家依据一套评分标准，使用李克特量表对五个不同的质量维度进行评分），相当于在对照组得分中的百分位排名上升 10 个百分点；到 90 天时，这一提升增至 0.38 个标准差，意味着百分位排名上升 11 个百分点。这些改善在所有质量维度上都表现出显著的一致性。值得注意的是，表现的改善源于低分出现频率降低、高分出现频率上升，而优秀得分的出现频率没有变化。具体而言，获准使用 AI 的律师，其得分从最低的五分位组移向中下和中间的五分位组，但表现出众的得分数量没有明显变化。这一模式在初级律师中尤为明显，他们的质量提升还伴随着显著的时间节省（例如，在 10 天时的任务中，他们比对照组平均 124 分钟的完成时间快了 18 分钟）。

但专利律师不只是起草专利申请；他们还会相互审查工作成果，查找可能导致专利无法在法庭上获得强制执行的关键错误（有时被称为“专利禁忌用语”），例如过度声称一项发明的新颖性或范围。因此，我们在 90 天时增加了另一项任务，要求受试者对一份现有的假想专利申请进行修订标记（即手动标注并纠正），其中包含许多实质性和文风方面的错误。这项测试任务模拟了更资深律师日常运用的那类专业判断，而在进行这类判断时，他们通常无法指望依赖 AI。关键在于，虽然我们鼓励实验组律师在起草任务中使用尚未发布的 AI 工具或任何其他 AI 工具，但在修订任务中，任何人都不得使用 AI，因此他们在这项任务中的得分可以衡量其技能发展的程度。对于所有任务，无论是起草还是修订，我们都与第三方专利专业人士合作，从五个质量维度对提交的成果进行评分：(1) 可执行性，(2) 准确性，(3) 策略性模糊（策略性地界定权利要求范围），(4) 完整性，以及 (5) 清晰度。

当 AI 被移除时

在 90 天时的修订任务中移除 AI 助手后，拉平差距的效果消失了。获准使用 AI 工具的律师在这项无辅助任务中的表现比对照组高出 0.32 个标准差（相当于百分位排名上升 9 个百分点），但这一效果完全由资深律师推动，他们的表现比对照组受试者高出 0.45 个标准差（上升 13 个百分点），而初级律师则没有表现出可辨别的改善。相反，初级律师的得分出现了分化：极低分更多，平庸得分更少，高分更多，而优秀得分并未增加。

这些结果对学习意味着什么？获准使用 AI 工具的资深专业人士，在过去三个月使用该工具的过程中，显然在专业判断力方面获益显著。但初级专业人士的情况则更为复杂。一些得分有所提高，表明 AI 有能力帮助他们跨越学习阶段。另一些得分则向分布的低端扩散，说明在某些情境下，AI 可以帮助初级专业人士交付合格的工作成果，但机器辅助带来的更高工作表现，并未转化为更快地掌握那些使资深专业人士具有独特价值的专业知识与技能。

考察定性的编辑模式，有助于了解不同经验水平的专业人士如何使用生成式 AI 工具。无论在干预组还是对照组，初级律师提交的成果都遵循刻板的形式主义：他们从头到尾按顺序处理，常常在对不太重要的引言部分进行文字润色时就耗尽了时间，尚未处理到主要的专利权利要求。初级律师还专注于表层的同义词替换，而非改进商业保护范围。即使发现了严重缺陷，他们也往往只是留下诊断问题的说明性批注，而没有实际通过修订来解决问题。由于这种“只诊断、不执行”的做法在未获辅助的对照组初级律师中同样普遍，因此它反映了初级律师原本就存在的一项短板，而依靠 AI 执行改写的三个月并未弥补这一短板。

相比之下，资深律师始终能从接触 AI 中获益。干预组的资深律师比初级律师花更多时间进行修订，跳过不太重要的文字，从头重构权利要求，删除可能无意中缩减法律权利或限制保护范围的措辞，并为许多修改明确列出相应的法律原则。在后续访谈中，资深律师表示，他们并不把 AI 的输出视为成品，而是将其当作“逻辑审查员”。这减弱了他们对现有文字的依恋，迫使他们清楚阐明结构性修改的原因与方法，从而激活并磨炼了他们的基础专业能力。

后续方向

提升工作表现与培养持久的专业判断力是不同的目标。尤其对初级专业人士而言，两者之间可能存在矛盾。基础专业能力可能正是缺失的一环，有了它，AI 辅助下的反复实践才能在职业生涯中转化为成熟的专业判断力。即使模型能力不断进步，这种判断力很可能仍将十分重要：律师在与法官、客户和同事互动时，仍将继续运用自己的判断力。他们不可能在所有情境下都依赖 AI 工具提供辅助。在当下这个 AI 时代，一项关键挑战是确保那些旨在让今天的工作成果更出色的工具，不会阻碍初级专业人士成长为我们明天所需要的专家。

在专业人士的工作环境中对其开展研究，对研究人员而言是一项挑战。我们的实验仅纳入了数量有限的专利律师，这反映出该领域顶尖专业人士高昂的小时收费。我们仅对他们进行了为期三个月的观察，与他们培养持久专业能力所需的数年时间相比，这一观察窗口很短。此外，过去一年里，模型能力和人们对 AI 的基本熟悉程度均迅速提升（法律领域中 AI 产品的普及程度也在迅速提高），如果我们现在重新开展试验，这些变化可能会影响结果。这些局限性为进一步研究提供了机会，我们希望在未来几个月内探索其中的一些方向。尽管如此，我们的研究得出的一个明确结论是，要了解 AI 辅助对专业技能的影响，就需要通过测试，将使用工具的影响与用户在无辅助情况下的表现区分开来。

致谢

衷心感谢合著者 Josh Martin、Zanna Iscenko、Scott Strand、David Pearl 和 Melissa Ferere；感谢 James Manyika、Ruth Porat、Kent Walker、Josh Woodward、Anu Madgavkar、Daniel Rock 和 Fabien Curto Millet 给予的指导与支持；感谢 Google Labs 的 Tom Shane、Mauricio Carneiro、Johnny Jacobs、Victor Lavrenko、Yinghao Sun、Samuel Yang、Daniel Nishi、Eric Wang、Kevin Li、Hao Zheng 和 Franz Och 与我们合作开展实验；感谢 Kiera Russell 提供产品访问权限和受信任测试者支持；感谢 Steve Gong 和 Taylor Montgomery 提供法律指导与招募支持；感谢传播、营销和研究博客团队的合作伙伴，包括 Kerry McHugh、Zoe Ortiz、Emily Short、Joseph Mack、Esmeralda Cardenas 和 Leanne Trujillo，推动成果发布。