来源:互联网2026-03-11 00:00:00 热度:

构建会思考的测试Agent:从自动化到自主智能的演进

AI中国网 https://www.cnaiplus.com

导读:摘要本文介绍一种面向企业级软件测试领域的质量数字人系统,通过将大语言模型(LLM)、多Agent协同架构与Skill Engine技能框架相结合,实现了从传统自动化测试向自主智能测试的跨越。系统核心能力包括:Skill Engine 技能引擎:声明式技能管理框架,支持按需加载、多维过滤、动态编排,为自主意识提供可插拔的能力底座两层自主意识架构:规则模式实现确定性条件触发,目标驱动 ......

构建会思考的测试Agent:从自动化到自主智能的演进

摘要

本文介绍一种面向企业级软件测试领域的质量数字人系统,通过将大语言模型(LLM)、多Agent协同架构与Skill Engine技能框架相结合,实现了从传统自动化测试向自主智能测试的跨越。系统核心能力包括:

Skill Engine 技能引擎:声明式技能管理框架,支持按需加载、多维过滤、动态编排,为自主意识提供可插拔的能力底座

两层自主意识架构:规则模式实现确定性条件触发,目标驱动模式支持自然语言描述工作职责与目标,由 LLM 自主规划执行路径,实现从被动响应到主动工作的转变

多渠道与人交互:Web UI + 钉钉直接委派 + 自主通知(单聊/群聊)

智能推荐与预测试:任务检索推荐、热门任务、预执行验证

以数字人为中心的双引擎架构:人设、知识库、履职规范、自主意识、技能集五位一体配置,Multi-Agent 协作引擎驱动被动任务执行,Skill Engine 自主引擎驱动主动决策与工作,构成完整的智能体能力闭环

一、业务背景:

专有云集测质量保障的复杂性与挑战

作为面向政企的专有云解决方案提供商,我们深知专有云产品质量保障工作的极高复杂度。与公有云的中心化测试不同,专有云需要在不同的测试环境中不同的存量和在研版本完成集成部署、版本升级和质量验证,测试流程长、环节多、人工介入点密集。

自动化测试是集测质量保障和效率提升的核心手段。过去专有云团队在功能回归测试领域投入大量精力构建自动化体系,在UI自动化测试(SQA平台)和E2E端到端测试(ASTB平台)上都建立了较高的自动化覆盖率(80%),这为快速验证产品质量、缩短测试周期奠定了坚实基础。然而,即使在高自动化覆盖率的情况下,测试人员仍然面临着巨大的人工成本压力。

高自动化率下仍然存在的人工成本困境

1.1 专有云质量保障的场景复杂性

专有云产品质量保障场景具有显著的复杂性:

特性

说明

测试影响

多环境并行

同时维护 3-5 个独立测试环境

相同测试流程需在多环境重复执行

多版本共存

同一产品存在多个主线版本

版本升级、兼容性测试工作量翻倍

多架构支持

x86、ARM 等不同 CPU 架构

测试矩阵扩大,覆盖组合指数增长

多产品协同

上百个产品(数据库、大数据、中间件等)集成测试

跨产品依赖、集成测试复杂度高

这意味着:即使只负责一个产品,测试工程师也需要在多种种环境组合中重复执行相同的测试流程版本检查、环境升级、测试触发、结果分析、缺陷处理。每增加一个维度,人工成本呈指数级增长。

1.2 高自动化覆盖率下

完成自动化测试执行的实际人工投入

即使在自动化测试体系完善的情况下,质量工程师仍需投入大量时间在以下工作:

测试准备阶段

工作项

具体内容

耗时占比

版本包检查

检查 CI/CD 是否有新版本、版本是否通过门禁、选择合适的版本包

10%

环境版本升级

登录环境管理平台、执行升级、等待升级完成、验证升级结果

15%

测试范围决策

根据版本变更内容选择测试集、确定回归范围、评估测试优先级

10%

测试执行阶段

工作项

具体内容

耗时占比

平台操作

登录测试平台、配置测试参数、触发测试执行

5%

执行监控

监控测试进度、处理执行异常、重试失败任务

10%

多环境切换

在多个环境间切换执行相同测试流程

10%

缺陷处理阶段

工作项

具体内容

耗时占比

失败分析

分析测试失败原因(环境问题/用例问题/产品缺陷)

15%

缺陷提交

登录缺陷系统、填写缺陷信息、关联用例

5%

缺陷去重

检查是否为已知缺陷、避免重复提交

5%

缺陷定位与指派

分析缺陷模块、指派给对应开发人员

5%

缺陷跟踪推动

跟进修复进度、推动缺陷闭环

5%

质量运营阶段

工作项

具体内容

耗时占比

报告生成

汇总测试结果、生成测试报告

3%

数据分析

分析通过率趋势、识别质量风险,风险和问题推进解决

2%

1.3 多平台切换的效率损耗

质量工程师日常工作需要在多个平台间频繁切换:

构建会思考的测试Agent:从自动化到自主智能的演进

每次平台切换 = 登录 + 上下文切换 + 操作 + 等待反馈单产品单环境 ≈ 6+个平台轮转 × 多次交互叠加多环境并行 → 人均每日平台切换 50-100 次核心矛盾:自动化率高但人工成本难降

问题本质

误区:自动化覆盖率70%+ → 人工成本应该降低70% 现实:自动化覆盖率70%+ → 人工成本仅降低30%原因分析:- 自动化只解决了「用例执行」环节- 其他多个环节仍然需要人工决策和操作- 多环境并行测试,人工成本成倍增加- 人工需要在多个平台间频繁切换影响:

测试工程师疲于应付环境和平台操作(推动各方解决问题的沟通成本)

测试本来应该最重要的投入(用例/测试点覆盖设计、风险分析)必然受影响

人力资源不足,测试场景容易被跳过

核心诉求:

需要一个具备自主意识的智能系统代替人工使用这些平台工具,不仅能响应人工指令执行任务,更能主动感知环境变化(版本更新、质量波动等),自动完成版本检查、环境升级、测试执行、结果分析、缺陷处理等全流程工作。通过自主意识能力,系统可实现7×24小时无人值守的质量保障。

二、技术背景:从自动化到智能化的演进

2.1 现有 AI Agent 平台的能力与局限

随着大模型技术的快速发展,市场上涌现了大量 AI Agent / AI 助手构建平台,可提供了工作流编排、MCP/API 工具集成、知识库 RAG、多轮对话等通用能力。通过这些平台,可以快速搭建 AI 助手,实现"一句话下发任务 → 助手调用工具执行"的基本模式。

然而,当我们尝试用这些通用方案落地到专有云质量保障这一垂直领域时,暴露出一系列结构性问题:

问题 1:被动响应,缺乏自主意识当前几乎所有 AI Agent 平台的交互模型都是"用户发起 → Agent 响应"

AI中国网 https://www.cnaiplus.com

本文网址:

欢迎关注微信公众号:人工智能报;合作及投稿请联系:editor@cnaiplus.com

AI中国号...

关注微信公众号,了解最新精彩内容