- 实训课留了道作业:给一个下单接口做完整测试。你把用例排开、服务起好,红了一上午终于全绿,交的时候说了句"测完了"。带教没夸你,只回了三句:你这个"过了"是在哪套环境上过的?数据是你自己按什么样子造的?明天把它挪进真环境,第一件事会炸在哪?三句你一句都答不上——缺的不是能力,是从来没人告诉过你:你跑通的那套环境是个沙箱(sandbox,指被人为划出边界的隔离运行环境),而沙箱不等于生产。这两天... 实训课留了道作业:给一个下单接口做完整测试。你把用例排开、服务起好,红了一上午终于全绿,交的时候说了句"测完了"。带教没夸你,只回了三句:你这个"过了"是在哪套环境上过的?数据是你自己按什么样子造的?明天把它挪进真环境,第一件事会炸在哪?三句你一句都答不上——缺的不是能力,是从来没人告诉过你:你跑通的那套环境是个沙箱(sandbox,指被人为划出边界的隔离运行环境),而沙箱不等于生产。这两天...
- 多轮真实感与精确断言在官方口径里是一对互斥,得拆成两套评估集周二下午的评审会,为同一条退款链路,桌上摆着两个方案。测试同学摆出 A 方案:把用户三句话逐字写死,工具调用序列一步一断言——『没先查单就改地址,红』。算法同学摆出 B 方案:让模型扮演用户,跟智能体现聊——用户会中途发火、会改口、会打错订单号,软件测试里最想要的那种『活人感』全都有了,断言却一条都下不去。两边都说得通,谁也说服不了... 多轮真实感与精确断言在官方口径里是一对互斥,得拆成两套评估集周二下午的评审会,为同一条退款链路,桌上摆着两个方案。测试同学摆出 A 方案:把用户三句话逐字写死,工具调用序列一步一断言——『没先查单就改地址,红』。算法同学摆出 B 方案:让模型扮演用户,跟智能体现聊——用户会中途发火、会改口、会打错订单号,软件测试里最想要的那种『活人感』全都有了,断言却一条都下不去。两边都说得通,谁也说服不了...
- 导读:Playwright 自动化测试运行失败后,能不能让 AI Agent 自己查日志、定位问题,甚至修改测试脚本?本文结合 Playwright MCP、Trace Viewer 和大模型推理能力,通过一个真实可复现的 Web 自动化测试场景,介绍测试失败诊断、Locator 自动修复、回归验证的实现过程,以及 Self-Healing Testing 在实际项目中的应用边界。一、自动化... 导读:Playwright 自动化测试运行失败后,能不能让 AI Agent 自己查日志、定位问题,甚至修改测试脚本?本文结合 Playwright MCP、Trace Viewer 和大模型推理能力,通过一个真实可复现的 Web 自动化测试场景,介绍测试失败诊断、Locator 自动修复、回归验证的实现过程,以及 Self-Healing Testing 在实际项目中的应用边界。一、自动化...
- 导读Playwright MCP 如何让 AI Agent 找到正确的输入框、按钮和复选框?关键是浏览器提供的可访问性快照:它将元素角色、名称、层级关系和引用提供给模型。本文结合 TodoMVC 和可复现的重复元素定位实验,介绍 Playwright MCP 的页面感知机制、动态 DOM 处理、MCP 工具调用,以及如何将 Agent 的探索结果转换为可维护的自动化测试代码。一、AI Age... 导读Playwright MCP 如何让 AI Agent 找到正确的输入框、按钮和复选框?关键是浏览器提供的可访问性快照:它将元素角色、名称、层级关系和引用提供给模型。本文结合 TodoMVC 和可复现的重复元素定位实验,介绍 Playwright MCP 的页面感知机制、动态 DOM 处理、MCP 工具调用,以及如何将 Agent 的探索结果转换为可维护的自动化测试代码。一、AI Age...
- 官方ADK明确:真实感(用户模拟)与精确断言(期望轨迹)互斥,不可共存于同一评估集。必须拆分为两套——固定轨迹集(人工写死输入+硬断言,用于门禁)和模拟用户集(AI生成话术+任务/安全判据,用于探针),各司其职,方保评估有效可靠。 官方ADK明确:真实感(用户模拟)与精确断言(期望轨迹)互斥,不可共存于同一评估集。必须拆分为两套——固定轨迹集(人工写死输入+硬断言,用于门禁)和模拟用户集(AI生成话术+任务/安全判据,用于探针),各司其职,方保评估有效可靠。
- 摘要:用OpenTelemetry语义约定作为共同语言,再把会话、工具、业务与回归证据分层。OpenTelemetry的语义约定正在为GenAI和MCP等场景定义统一的属性、Span与事件表达,包括模型调用、工具参数、工具类型等。它解决的是“不同组件怎样用共同语言记录”,不是自动告诉团队一次Agent运行究竟该不该通过。把这个机制放进客服Agent,可以构造一条典型Trace:用户要求取消订... 摘要:用OpenTelemetry语义约定作为共同语言,再把会话、工具、业务与回归证据分层。OpenTelemetry的语义约定正在为GenAI和MCP等场景定义统一的属性、Span与事件表达,包括模型调用、工具参数、工具类型等。它解决的是“不同组件怎样用共同语言记录”,不是自动告诉团队一次Agent运行究竟该不该通过。把这个机制放进客服Agent,可以构造一条典型Trace:用户要求取消订...
- Cloudflare提出Agent评测需环境一致性:通过文件系统快照固定代码、依赖、工具、数据、网络及运行策略六类变量,避免环境漂移干扰结果,确保模型对比真实可信。 Cloudflare提出Agent评测需环境一致性:通过文件系统快照固定代码、依赖、工具、数据、网络及运行策略六类变量,避免环境漂移干扰结果,确保模型对比真实可信。
- 本文借鉴Google夜间自主优化实践,提出AI代码优化的“五道门禁”机制:任务边界冻结、环境指纹追踪、越界优先审查、独立验证与人工聚焦差异。强调无人值守≠无人验收,通过证据评分卡保障正确性、可复现性与风险可控,助力测试团队安全落地AI辅助研发。 本文借鉴Google夜间自主优化实践,提出AI代码优化的“五道门禁”机制:任务边界冻结、环境指纹追踪、越界优先审查、独立验证与人工聚焦差异。强调无人值守≠无人验收,通过证据评分卡保障正确性、可复现性与风险可控,助力测试团队安全落地AI辅助研发。
- 上个月,团队里一个做接口自动化的同事跑来找我,表情有点崩溃。“哥,我让AI生成退款接口的测试用例,它给我写了20条。跑完之后我一看,15条假通过。”我问他什么叫假通过。他说:“比如测‘退款金额不正确’,AI的断言是assert resp.status_code == 200。HTTP 200确实返回了,但退款金额根本不对——它压根没校验金额字段。”我说:“你把断言规则写在哪了?”他说:“写在... 上个月,团队里一个做接口自动化的同事跑来找我,表情有点崩溃。“哥,我让AI生成退款接口的测试用例,它给我写了20条。跑完之后我一看,15条假通过。”我问他什么叫假通过。他说:“比如测‘退款金额不正确’,AI的断言是assert resp.status_code == 200。HTTP 200确实返回了,但退款金额根本不对——它压根没校验金额字段。”我说:“你把断言规则写在哪了?”他说:“写在...
- 上个月,团队里一个做接口自动化的同事跑来找我,表情有点崩溃。“哥,我让AI生成退款接口的测试用例,它给我写了20条。跑完之后我一看,15条假通过。”我问他什么叫假通过。他说:“比如测‘退款金额不正确’,AI的断言是assert resp.status_code == 200。HTTP 200确实返回了,但退款金额根本不对——它压根没校验金额字段。”我说:“你把断言规则写在哪了?”他说:“写在... 上个月,团队里一个做接口自动化的同事跑来找我,表情有点崩溃。“哥,我让AI生成退款接口的测试用例,它给我写了20条。跑完之后我一看,15条假通过。”我问他什么叫假通过。他说:“比如测‘退款金额不正确’,AI的断言是assert resp.status_code == 200。HTTP 200确实返回了,但退款金额根本不对——它压根没校验金额字段。”我说:“你把断言规则写在哪了?”他说:“写在...
- 最近在折腾浏览器自动化时,尝试了官方的 @playwright/mcp:它把 Playwright 的页面导航、点击、填写、快照、执行 JS 等能力封装成一组 MCP 工具,任何支持 MCP(Model Context Protocol)的 AI 编程助手都可以直接驱动一个真实浏览器完成操作。相比自己写脚本,最大的区别是浏览器始终可见、可接管,中途遇到登录、验证码可以人工接手。一、最小配置:... 最近在折腾浏览器自动化时,尝试了官方的 @playwright/mcp:它把 Playwright 的页面导航、点击、填写、快照、执行 JS 等能力封装成一组 MCP 工具,任何支持 MCP(Model Context Protocol)的 AI 编程助手都可以直接驱动一个真实浏览器完成操作。相比自己写脚本,最大的区别是浏览器始终可见、可接管,中途遇到登录、验证码可以人工接手。一、最小配置:...
- 本文基于Cloudflare Browser工具文档,提出三层证据排查法:一验页面真实性(URL+指纹),二查业务就绪性(接口、状态、节点可用),三证动作准确性(视觉/DOM/坐标+后端副作用)。强调结构化Trace、会话污染测试与高风险动作沙箱验证,避免盲目调优模型。 本文基于Cloudflare Browser工具文档,提出三层证据排查法:一验页面真实性(URL+指纹),二查业务就绪性(接口、状态、节点可用),三证动作准确性(视觉/DOM/坐标+后端副作用)。强调结构化Trace、会话污染测试与高风险动作沙箱验证,避免盲目调优模型。
- 上个月,团队里一个测试新人跑来找我,表情有点委屈。“哥,我在项目里放了一个 SKILL.md,为什么 Claude Code 还是不会干活?”我让他把文件打开。里面写着一段话:“你是资深测试工程师,请帮我生成测试用例,覆盖正常和异常场景。”我看完就笑了。我说:“你这不是 Skill,是许愿。”他愣了一下:“SKILL.md 不就是写提示词吗?”这是大多数测试人刚接触 Agent Skills... 上个月,团队里一个测试新人跑来找我,表情有点委屈。“哥,我在项目里放了一个 SKILL.md,为什么 Claude Code 还是不会干活?”我让他把文件打开。里面写着一段话:“你是资深测试工程师,请帮我生成测试用例,覆盖正常和异常场景。”我看完就笑了。我说:“你这不是 Skill,是许愿。”他愣了一下:“SKILL.md 不就是写提示词吗?”这是大多数测试人刚接触 Agent Skills...
- 本文基于阿里公开资料,将自然语言购物需求拆解为商品、报价、确认、订单、支付、异步结果六段可验证证据,提出行为断言、异常测试矩阵与持续回归方案,确保AI购物严格遵循用户授权——买对商品、付对金额、只付一次、全程可溯。 本文基于阿里公开资料,将自然语言购物需求拆解为商品、报价、确认、订单、支付、异步结果六段可验证证据,提出行为断言、异常测试矩阵与持续回归方案,确保AI购物严格遵循用户授权——买对商品、付对金额、只付一次、全程可溯。
- 本文探讨AI Agent身份与授权测试新范式,聚焦“用户、Agent、服务、工具”四重身份分离。以薪资导出为例,揭示代理混淆、范围越界、时间失效等风险,提出可断言的授权链验证、拒绝后行为评测及发布前最小验收表,推动测试从接口验证升级为责任追溯。 本文探讨AI Agent身份与授权测试新范式,聚焦“用户、Agent、服务、工具”四重身份分离。以薪资导出为例,揭示代理混淆、范围越界、时间失效等风险,提出可断言的授权链验证、拒绝后行为评测及发布前最小验收表,推动测试从接口验证升级为责任追溯。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签