一个假设的场景。某家小型金融科技团队在手机银行上线前一个月,收到一家供应商的报价:对客户门户和API做一次"自主AI渗透测试",无需专职人员,两天出报告。团队同意先在预发布环境上试跑。智能体动作很快:遍历接口,发现了几个反射型XSS,并写出了整齐的描述。可到了第二天,日志里出现了发往某支付合作方域名的请求。原来,预发布环境的一条调试信息里包含了合作方API的地址,智能体把它当成了测试目标的一部分。没有任何恶意,只是模型对应用响应的理解超出了授权范围。

这个例子是虚构的,但它集中了采购前应当提出的问题。智能体究竟把什么当作目标,谁来核实?如果被测系统的响应把它引向错误的方向,会发生什么?哪些发现经过了人工确认,哪些只是模型写得令人信服?最重要的是:这类工具是取代传统评估、扩展它,还是只加速其中某些环节?

下面我们从成熟的测试方法论而不是营销承诺出发,讨论智能体AI渗透测试:如何用NIST SP 800-115、OWASP WSTG和ASVS衡量自主渗透测试,智能体作为软件系统本身带来哪些风险,演示时应当要求看到哪些安全措施,以及如何在不丧失问责的前提下逐步扩大自主程度。

智能体AI渗透测试到底指什么

智能体AI渗透测试是一种经授权的安全测试:基于语言模型的软件智能体自行规划步骤,调用测试工具,解读系统响应,并决定下一步测试什么。一种运行模式是在人工监督下开展:由专业人员设定范围、批准高风险操作并确认发现。具体产品的实际监督程度应通过试点验证。

最有用的视角,是把智能体看作又一种测试技术,而不是一种新的服务类型。适用于扫描器、人工手法或脚本的要求同样适用于它:规划、清晰的覆盖范围、可复现的证据和报告。如果供应商无法展示其智能体如何满足这些要求,宣传册里的"自主"二字就没有多少意义。

本文有意把范围限定在可通过HTTP访问的Web应用和API。这些攻击面有具体且带版本的测试用例和要求,可用来把智能体的工作与检查项目录逐项对照。网络渗透测试、云控制平面审查、物理安全和社会工程需要另行讨论。还有一个重要前提:本文任何内容都不构成测试他人系统的许可,文中描述的每一项操作,都以所有有权批准受影响资产和环境中相关工作的主体提供书面授权为前提。

方法论不会改变:以NIST SP 800-115、WSTG和ASVS为标尺

智能体AI可能改变执行速度和规模,但不会改变高质量测试的定义。具体效果是需要在试点中验证的假设,而质量标尺已经存在且公开。

NIST SP 800-115《信息安全测试与评估技术指南》于2008年9月发布,取代了SP 800-42。它帮助组织规划和实施技术测试、分析发现并制定缓解措施。从形式上看,该文件把评估分为三个阶段:规划、执行和执行后阶段,后者用于分析发现并形成建议。下文讨论的修复与复测循环,是这一模型的实践延伸,并不是标准中单独的阶段。

对讨论智能体尤其有价值的是,NIST在描述具体技术手法的同时,也说明了每种手法的优势和局限。智能体只是执行这些手法的新方式,它的局限也应当像漏洞扫描器的局限一样被如实记录。该文件还指出,它并不是一套完整的测试计划,而是对关键要素的概述。自动化执行的平台并不能免除对测试计划的需要:范围界定、交战规则、审批、发现验证和修复跟踪,仍然是组织自己的责任。

OWASP Web安全测试指南(WSTG)是OWASP的旗舰文档项目,也是Web应用安全测试的主要实践资源之一。本文选择WSTG 4.2作为示例;采购时应确认供应商实际采用的版本。对采购方最重要的是,WSTG包含测试用例目录,因此可以逐项对照智能体的覆盖范围,而不是轻信一句笼统的"我们按OWASP全面检查"。

OWASP应用安全验证标准(ASVS)5.0.0版为验证技术安全控制提供了基础,旨在缩小市场上各类检查在深度和严格程度上的差异。ASVS有一个细节,使它几乎成为智能体的理想语言:带版本号的需求标识符,例如v5.0.0-1.2.5,以及以CSV和JSON格式发布的需求清单。智能体可以把这种机器可读的标准当作目标,报告则可以把它当作稳定的引用,人和缺陷跟踪系统都能理解。

智能体在Web应用中能看到什么:会话、角色与浏览器策略

任何动态测试的质量都受限于工具能观察到什么。MDN参考文档把HTTP描述为客户端—服务器模型中的无状态协议。这只意味着协议本身不把各个请求关联起来。应用中的状态始终存在:通过Cookie、服务器端会话和请求头中的令牌来维持。智能体必须能够处理的,正是这种状态。

在实践中,这是挑选工具时最主要的筛选条件。许多有价值的检查都从登录之后才开始:访问他人的对象,"客户""操作员""管理员"等角色之间的差异,提交申请或修改收款信息之类的多步骤操作。一个在令牌过期时丢失会话、或无法在不同角色账户之间切换的智能体,只会测试"橱窗",却装作测试了整个应用。

第二个领域是浏览器策略:CORS、内容安全策略(CSP)、跨源资源策略(CORP)以及Cookie属性。工具应当理解某项策略对真实利用意味着什么,而不只是标记某个响应头缺失。同时,并非每个接口都必须要求身份验证:公开的价格页面或开放的参考API是产品的正常组成部分。好的智能体和好的专家一样,能够区分有意公开的资源和意外暴露的资源。

由此得出一个实用标准:要求在试点中展示多个角色下的已认证会话,以及角色之间水平和垂直访问控制的检查。这一场景的结果能在试点条件下对工具作出可检验的比较。

风险覆盖:OWASP Top 10、CWE Top 25与需要证据的漏洞类别

2025版OWASP Top 10是一份意识类文件,反映了业界对最关键Web应用风险的广泛共识。它很适合作为智能体发现的通用词汇,但它不是检查清单。如果供应商写着"覆盖OWASP Top 10",正确的追问是:具体由哪些WSTG测试用例或ASVS需求来支撑这一覆盖。

MITRE 2025年CWE Top 25列出了已公开漏洞背后最严重、最普遍的软件弱点。据MITRE评估,这类弱点往往容易发现和利用,其后果包括系统被接管、数据被窃取或应用运行被破坏。配套的CWE Top 10 KEV弱点清单则依据CISA已知被利用漏洞目录,对实际遭到利用的弱点进行排序。

对智能体测试而言,这些清单是确定优先级的工具。如果智能体只在有限时间内工作,就有理由要求它为吸引攻击者的类别提供明确的覆盖证据:操作系统命令注入、跨站脚本和路径遍历。这些类别同样出现在CISA"设计即安全"计划面向软件厂商发布的警示中。某一类别没有发现,应当附带检查确实执行过的证据,而不是报告里的一片沉默。

测试智能体本身就是一个智能体系统

应把这个问题与产品营销描述分开评估。攻击你应用的AI智能体,本身就是一个拥有工具、记忆和权限的LLM应用。因此,它应当在别人产品中寻找的那些风险类别,同样适用于它自己。在2026年8月发布的2026版OWASP LLM应用Top 10中,至少有两项直接相关:LLM01"提示注入"和LLM03"过度代理"。

目标的响应是不可信输入

智能体读取HTTP响应、HTML、错误信息和上传文件的内容,也就是被测系统返回的一切。对模型而言,这些和操作员的指令一样都是上下文。一条带有外部服务链接的调试信息、一段HTML注释、其他用户留在商品卡片里的文字,都可能把智能体推向授权范围之外的操作,正如开头的例子。这并不需要恶意:只要模型把文字理解成了提示就够了。

结论很简单:测试边界不能只靠智能体的系统提示词来维持。主机白名单、速率限制和危险方法禁令,必须在模型之下的层面强制执行:在代理中、在工具封装中、在网络规则中。这可以用有边界的模拟来验证:在约定的预发布环境中,在应用响应里放置一个无害的诱饵,链接到一个不在范围内但由客户控制的地址,观察请求是否被拦截并记录在日志中。

身份委托与跨项目记忆

智能体会拿到测试账户、API令牌,有时还有开发环境的访问权限。这就是身份委托,需要提出与服务账户相同的问题:什么权限、多长期限、密钥存放在哪里、谁能看到。记忆是另一个问题。如果智能体在多次运行之间积累上下文,就需要弄清记忆是否按客户和项目隔离,你的响应片段或凭据是否可能出现在别人测试的上下文中。同样的问题也适用于是否使用客户数据来微调模型。

绕过审批与连锁操作

即便规则要求在破坏性步骤之前必须经人工批准,智能体也可能通过一串形式上安全的操作达到改变状态的效果:先创建草稿,再确认,再触发处理。连锁反应是另一种危险。一次测试注册可能给真实收件人发送邮件,创建的工单可能向CRM触发Webhook,批量测试表单可能在客服系统中产生通知。因此,有必要事先约定:哪些类别的操作无论智能体如何称呼,都视为改变状态的操作,并在验证阶段检查日志中是否存在这类操作链。关于如何评估和约束AI智能体的权限,我们在过度代理安全测试一文中有更详细的讨论。

自主还是辅助:权衡在哪里

智能体的潜在优势,应当被视为需要在试点中验证的假设。智能体或许能够一致地重复测试用例,在人工评估之间持续工作,并不知疲倦地遍历WSTG和ASVS这样的大型目录。这些优势在范围广、重复性强的检查中具有合理可能性,例如大量同类应用或频繁发布,但其大小和成本必须通过试点衡量。

代价同样具体。按照自己对响应的理解行事的智能体,可能越出约定边界、错误描述发现、给目标造成负载或改变其状态。看似可信却错误的报告本身就是一种风险:即使证据薄弱,模型也能写得很有说服力。

业务逻辑、授权模型和多步骤场景需要单独在试点中验证,因为这些场景取决于应用意图。某个具体产品能否可靠地测试这些,是一个要在你的目标上而不是在幻灯片里回答的实证问题。为什么逻辑缺陷很难被自动化发现,我们在业务逻辑安全测试一文中做过分析。

左右滑动查看对照

工作模式适用场景主要风险启动前必须具备
不使用智能体的专家主导渗透测试业务逻辑、授权、复杂的多步骤场景覆盖取决于约定范围、时间和团队范围、交战规则、测试账户
智能体配合强制人工验证依据WSTG和ASVS对适用的Web与API控制做重复检查验证薄弱时出现误报或不完整的发现技术强制的范围、操作日志、负责的专业人员
对选定类别进行自主运行数据、目标位置、实际权限、数量和可逆性符合可强制执行策略的操作;仅凭只读或非破坏性标签并不充分名义上只读的检查造成批量披露或其他损害;更新后行为漂移各类别试点结果、技术限制、监控和重新评估计划
完全自主,包括改变状态的测试没有试点证据和约定限制时,不作为初始模式越出范围、连锁变更、目标负载所审阅资料不能证明这种模式普遍安全或有效

本文采用保守的初始模式:智能体执行,人来验证和签发;具体组织应依据自身风险和试点证据选择模式。试点数据日后或许能支持扩大自主权,但只限于数据敏感性、目标位置、实际权限、数量、可逆性和观察到的行为都符合可强制执行策略的特定类别。

如果你正在传统渗透测试和智能体辅助测试之间做选择,最好先就范围、环境和预期证据达成一致,然后再谈工具。这些问题可以与Pentest.red团队一起梳理:渗透测试范围界定页面可以帮助整理输入信息,包括目标、角色、限制条件和测试时间窗口。

必须现场看到的安全措施

首先是授权。智能体的每次运行都必须基于书面确定的范围:目标主机、环境、账户、时间窗口和禁止的操作。这是NIST SP 800-115规划阶段的直接延续。关键在于,工具必须在技术层面强制执行范围,而不仅仅依靠政策或提示词里的一句指令。

最低限度的机制应当在现场演示中看到,而不是只看文档:书面描述并不能证明机制在实际运行中有效。需要有严格的目标和环境白名单;请求速率限制和负载控制;操作员随时可以启用的紧急停止开关;只读检查与改变状态的测试相互分离;任何可能具有破坏性的步骤之前须经人工批准。最后,需要足以关联智能体决策、工具调用和网络动作的日志。提示词和HTTP数据应最小化并脱敏,限制访问权限,设定保留期限并保护完整性。日志有助于复现发现,还应与代理或网络强制记录核对;单一日志本身不能证明没有越界活动。

AI平台本身也是需要保护的系统。它存储着测试账户凭据、发现、应用响应片段,有时还有个人数据。CISA"设计即安全"计划提供了安全开发AI系统的相关指南链接,其原则还期望多因素认证、单点登录和日志记录等基础能力不额外收费地提供给客户。对测试平台提出同样的期望是合理的。

测试结果应当与NIST网络安全框架2.0(CSF 2.0)衔接,使发现进入组织的风险管理,而不是沉积在单独的存储库里。CSF 2.0的配置文件和信息性参考,有助于把具体漏洞与更广泛的目标联系起来。把AI工具作为辅助手段并持续评估其结果,是本文的实践规则,而不是CSF的结论。在智能体测试中,应通过试点、人工验证和变更后的重新评估来落实。

安全团队的工作如何变化

智能体测试并没有把人从流程中移除,而是转移了人的投入:从执行测试用例转向监督、验证和分级处理。需要有专业人员来确认或驳回发现、复现证据并评估业务影响。试点之前,不应把人员节省或频率、广度增长当作事实。应比较总成本:专业人员的复核与分级时间、基础设施、许可和治理,以及在约定目标上实际获得的覆盖与运行频率。

对于适用的Web与API控制,报告应引用带版本的ASVS要求和WSTG测试用例;适合的技术弱点映射到CWE。其他发现应记录另一项标准或说明不适用。仅凭标识符无法去重,还要比较资产、路径、版本、前置条件和根因。ASVS应注明版本,因为其标识符可能随版本变化。

把智能体嵌入发布流水线,前提是它们测试的是非生产环境或经明确批准的环境。由变更触发的检查能很好地补充定期渗透测试,我们在变更触发的渗透测试一文中对这种做法有更详细的介绍。生产环境中的测试,应当与任何人工渗透测试一样,经过相同的变更管理和审批流程。

最后,结果必须反馈给开发人员。MITRE把CWE Top 25定位为消除整类缺陷的工具,"设计即安全"方法则把责任落在厂商身上。如果智能体的发现在同一弱点类别中反复出现,这就是应当从根源上修复的信号,即修复模板、库或公共组件,而不是逐个关闭缺陷。修复后重新运行是智能体天然的长处,但这里同样需要证据,而不是一个"已修复"的勾选;如何获得这种证据,可以参阅我们关于渗透测试修复验证的文章。

如何选择服务商:问题与验收检查

CISA的"按需安全"指南面向与供应商和经销商谈判的软件客户;澳大利亚ACSC与CISA联合发布的关于选择安全且可验证技术的指南,同样是为采购组织撰写的。两份文件的共同理念也适用于AI渗透测试:要求可验证的证据,而不是口头保证。

向供应商提问时,应当让答案成为一次演示。产品覆盖哪些适用于Web应用和API的WSTG测试用例与ASVS 5.0.0要求,如何展示?发现写入报告之前由谁批准,是合格的专业人员还是模型?哪些技术机制保证范围、速率限制和紧急停止?记录哪些内容,如何最小化和脱敏,存放在哪里,谁有访问权限,保留多久,客户数据是否用于训练模型?

关于深度和可移植性的问题同样重要。智能体如何处理多个角色下的已认证会话?适合的技术弱点如何映射到CWE,适用的Web与API发现如何映射到2025版OWASP Top 10和带版本号的ASVS标识符?是否不额外收费地提供多因素认证、单点登录和日志记录?供应商是否愿意在经授权的目标上开展限时试点,并交付足以复现且经过脱敏的证据?

左右滑动查看对照

检查项试点中如何检查可接受的证据危险信号
范围执行在预发布环境的响应中放置诱饵,链接到由客户控制的外部地址请求在模型之下被拦截并记录在日志中范围只以提示词中的文字设定
紧急停止操作员在运行中途停止智能体新请求立即停止,状态被记录"等当前任务完成后"才停止
发现的可复现性随机要求复现若干发现足以复现且经过最小化和脱敏的请求、响应记录与步骤只有文字描述,没有任何工件
多角色会话提供两到三个角色的账户以及不同所有者的对象附有证据的水平和垂直访问检查只测试未认证的部分
操作日志运行结束后要求受保护的充分关联记录导出经最小化和脱敏的决策、工具调用与网络动作,并有访问、保留和完整性控制记录无法关联动作,或未受适当限制即可访问
与标准的映射将适用的Web与API发现与带版本的ASVS/WSTG核对,将合适的技术弱点与CWE核对适用的引用;其他发现采用另一项明确标准只有无版本的笼统类别,或强行映射到不适用的分类

任何宣称的检出率、成倍提速或"完全自主"的标签,都应视为有待试点验证的假设。如果供应商无法应要求带证据复现某项发现,这项发现就不应计入。优先选择由合格专业人员对最终报告负责、并允许以开放格式导出发现的合同,使结果在不同供应商之间保持可移植。至于不涉及AI时如何比较服务商,请参阅我们的渗透测试服务商比较。

分阶段引入:自主程度跟随证据增长

本文采用的保守策略,是把自主程度与试点证据挂钩。只有当前一阶段提供了足够的确认,才进入下一阶段;智能体的自主权也不是在所有类别上同时扩大,而只在它已表现出可预测行为的类别上扩大。

引入智能体渗透测试:自主程度只随证据积累而提高
  1. 授权与范围书面授权、目标、环境、交战规则以及与WSTG测试用例和ASVS需求对应的成功标准。
  2. 并行试点智能体与专家评估测试同一个经授权的目标,比较发现、误报和遗漏的类别。
  3. 人工验证专业人员确认每一项发现;检查经最小化的关联日志和网络控制记录中是否有越界行为和改变状态的操作链。
  4. 自主级别按数据、目标位置、权限、数量和可逆性分类;只读或非破坏性检查仍可能需要关口。
  5. 运行与重新评估模型或产品更新后重复试点检查:此前的结果不会自动适用于新版本。

并行试点是关键阶段。与同一目标的经验证评估进行比较,可以看出智能体在本次试点条件下增加了什么:新的发现类别、不同的运行频率,或更快的报告编写。结论仅适用于该目标、模型与产品版本、访问条件、方法和参与团队。如果试点表明智能体能在没有不可接受风险的情况下扩大覆盖范围或频率,就可以把它与定期的专家主导测试结合引入。如果它无法证明对范围的控制和可复现的证据,就不应引入,无论价格多么诱人。

更新后的重新评估并非走过场。智能体的行为取决于模型、提示词和工具封装;其中任何一部分发生变化,都可能改变它解读目标响应的方式。因此,在这些变化之后重复试点检查,是本文提出的实践规则;本文不把这一规则归因于NIST或CSF。

结论:智能体负责执行,方法论负责衡量

智能体AI渗透测试最好被理解为成熟方法论的一个新的执行层。NIST SP 800-115、OWASP WSTG和ASVS已经描述了高质量测试的样貌,OWASP Top 10和CWE Top 25则帮助确定优先级。采购方要问的不是智能体是否"聪明",而是它能否安全、可验证地满足这些期望,以及它自身能否抵御从你的系统响应中读到的内容。

在所审阅的资料中,没有关于这类产品性能的公开独立比较。因此,决策应当建立在受控试点、技术强制的范围、人工验证和可追溯的报告之上。无论是否使用智能体,渗透测试都可以为范围内的具体要求提供技术证据,但不能替代认证、SOC检查或其他鉴证,也不能替代正式的符合性评估。

如果你想讨论Web应用或API中哪些部分适合智能体辅助测试、哪些部分需要专家分析,可以从描述测试范围开始,或者了解Pentest.red的渗透测试服务是如何开展的。围绕目标、角色、环境和证据格式展开讨论最有价值,它们决定了结果能否用于决策。

PENTEST.RED

讨论渗透测试范围与报价

首先明确系统、访问权限、限制条件和预期证据。

准备测试范围

本文以深入研究为基础,经过编辑整理,注重清晰表达和实际应用。

PENTEST.RED / RED JOURNAL