- 本文揭秘Agent接口测试“三件套”设计：将测试数据生成、依赖Mock、结果断言拆分为三个独立Skill，解耦耦合逻辑。实测显著提升覆盖度（36种场景半小时生成）、杜绝“假通过”，让AI真正发现Bug而非仅跑通流程。 本文揭秘Agent接口测试“三件套”设计：将测试数据生成、依赖Mock、结果断言拆分为三个独立Skill，解耦耦合逻辑。实测显著提升覆盖度（36种场景半小时生成）、杜绝“假通过”，让AI真正发现Bug而非仅跑通流程。
- AI Agent深入业务后，测试从“验结果”转向“评决策”。本文提出分层评测体系：规则层（断言/约束）、智能层（LLM-as-Judge+Auto Rubrics）、业务层（A/B实验+效果追踪），覆盖策略质量、多目标权衡与长期稳定性，并强调评估器可信性验证、高质量数据集构建及持续质量治理。 AI Agent深入业务后，测试从“验结果”转向“评决策”。本文提出分层评测体系：规则层（断言/约束）、智能层（LLM-as-Judge+Auto Rubrics）、业务层（A/B实验+效果追踪），覆盖策略质量、多目标权衡与长期稳定性，并强调评估器可信性验证、高质量数据集构建及持续质量治理。
- 本文基于Stripe公开的Machine Payments Protocol（MPP），拆解Agent支付全链路状态机，聚焦金额、对象、次数与用户意图的一致性验证。强调用结构化约束替代模糊提示，以可追溯的五维绑定（目标/报价/授权/幂等键/交付）和严格状态流转保障“成功但正确”，为AI Agent支付提供可落地的测试方法论。 本文基于Stripe公开的Machine Payments Protocol（MPP），拆解Agent支付全链路状态机，聚焦金额、对象、次数与用户意图的一致性验证。强调用结构化约束替代模糊提示，以可追溯的五维绑定（目标/报价/授权/幂等键/交付）和严格状态流转保障“成功但正确”，为AI Agent支付提供可落地的测试方法论。
- 聊到 UI 自动化，对面问了句很轻的话：你写的那些用例，怎么知道它稳不稳？你张嘴就是"跑了一遍，全绿"。追问跟着就到："跑了几次？有没有重试？重试才过的占多少？"三个问句，一个都接不上。因为绿是一个瞬间的状态，稳是一段分布上的概率——手里没有跑过 N 次的记录，这题就没法答，只能重复那句"我这边跑是绿的"。这不是抬杠，是这轮工具演进下新人最该补的一块。据第三方发布追踪（gitwatchman... 聊到 UI 自动化，对面问了句很轻的话：你写的那些用例，怎么知道它稳不稳？你张嘴就是"跑了一遍，全绿"。追问跟着就到："跑了几次？有没有重试？重试才过的占多少？"三个问句，一个都接不上。因为绿是一个瞬间的状态，稳是一段分布上的概率——手里没有跑过 N 次的记录，这题就没法答，只能重复那句"我这边跑是绿的"。这不是抬杠，是这轮工具演进下新人最该补的一块。据第三方发布追踪（gitwatchman...
- AI Agent 逐步进入真实业务系统之后，软件测试面临的问题也在发生变化。过去测试一个接口，通常只需要判断返回结果是否符合预期。但测试一个能够自主分析数据、调用工具、生成业务策略的 Agent，情况就复杂得多。例如，一个电商运营 Agent 根据商品历史销量、广告预算、转化率和营销规则，自动生成下一阶段的推广策略。接口调用成功，输出格式正确，预算也没有超出限制，甚至 LLM-as-Judg... AI Agent 逐步进入真实业务系统之后，软件测试面临的问题也在发生变化。过去测试一个接口，通常只需要判断返回结果是否符合预期。但测试一个能够自主分析数据、调用工具、生成业务策略的 Agent，情况就复杂得多。例如，一个电商运营 Agent 根据商品历史销量、广告预算、转化率和营销规则，自动生成下一阶段的推广策略。接口调用成功，输出格式正确，预算也没有超出限制，甚至 LLM-as-Judg...
- 上个月，团队里一个做了4年UI自动化的同事找我吐槽。他维护着800多条Playwright用例，那天早上打开报告一看——237条失败了。原因很简单：开发推了一次“不影响功能”的提交，把一批按钮的data-testid统一了命名规范。他改定位器改到凌晨，第二天跟我说了一句话：“脚本写了这么多，为什么还是这么脆弱？”我说：“因为你的定位规范、等待策略、踩过的坑，全部锁死在硬编码的代码里。AI读不... 上个月，团队里一个做了4年UI自动化的同事找我吐槽。他维护着800多条Playwright用例，那天早上打开报告一看——237条失败了。原因很简单：开发推了一次“不影响功能”的提交，把一批按钮的data-testid统一了命名规范。他改定位器改到凌晨，第二天跟我说了一句话：“脚本写了这么多，为什么还是这么脆弱？”我说：“因为你的定位规范、等待策略、踩过的坑，全部锁死在硬编码的代码里。AI读不...
- 本文提出面向长任务迁移的“四证据验收法”：锁规格、验运行态、读轨迹、建回归。针对Android Bench 2.0等复杂迁移场景，破解“编译通过≠可发布”困局，助力团队从结果验证转向过程可信，提升AI编码落地可靠性。 本文提出面向长任务迁移的“四证据验收法”：锁规格、验运行态、读轨迹、建回归。针对Android Bench 2.0等复杂迁移场景，破解“编译通过≠可发布”困局，助力团队从结果验证转向过程可信，提升AI编码落地可靠性。
- 本文提出可辩护的Agent Experience（AX）评测方法，聚焦AI编程中“代码可运行但选错SDK/认证模式”的典型问题。基于微软AX实践手册，构建含Criteria（技术事实判定）与Gate（真实运行验证）的测试闭环，通过基线/候选对照、Trajectory根因分析及九类失败分类，推动测试前移至Agent技术选型环节，实现来源可控、证据可溯、修复可验。 本文提出可辩护的Agent Experience（AX）评测方法，聚焦AI编程中“代码可运行但选错SDK/认证模式”的典型问题。基于微软AX实践手册，构建含Criteria（技术事实判定）与Gate（真实运行验证）的测试闭环，通过基线/候选对照、Trajectory根因分析及九类失败分类，推动测试前移至Agent技术选型环节，实现来源可控、证据可溯、修复可验。
- 本文探讨AI编码时代规格链的可信保障：针对“同源共错”风险，提出受保护规则不可悄改、独立真值 oracle 验收、分层门禁与变异测试等实践，确保Spec-Driven Development中规格本身不被Agent误改，让AI补丁真正可验证、可追溯、可信任。 本文探讨AI编码时代规格链的可信保障：针对“同源共错”风险，提出受保护规则不可悄改、独立真值 oracle 验收、分层门禁与变异测试等实践，确保Spec-Driven Development中规格本身不被Agent误改，让AI补丁真正可验证、可追溯、可信任。
- 淘宝技术为AI购物助手构建了基于LLM-as-a-Judge的在线自动评测体系，通过生产会话清洗、分布式批量推理、六层Rubric标准及人工校准，实现购后服务多业务域的日级质量监控，支撑AI Agent持续可信演进。 淘宝技术为AI购物助手构建了基于LLM-as-a-Judge的在线自动评测体系，通过生产会话清洗、分布式批量推理、六层Rubric标准及人工校准，实现购后服务多业务域的日级质量监控，支撑AI Agent持续可信演进。
- 本文揭秘UI自动化脚本脆弱的根源：硬编码定位器与AI“凭空猜页面”。提出Agent驱动新范式——通过SKILL.md固化定位优先级（如`getByRole`首选）、强制侦察快照、禁用XPath/CSS等规范，让AI“先看再写”，实现自愈式测试。30分钟建规范，告别改版即崩。 本文揭秘UI自动化脚本脆弱的根源：硬编码定位器与AI“凭空猜页面”。提出Agent驱动新范式——通过SKILL.md固化定位优先级（如`getByRole`首选）、强制侦察快照、禁用XPath/CSS等规范，让AI“先看再写”，实现自愈式测试。30分钟建规范，告别改版即崩。
- 本文提出面向AI客服的四层回归测试框架：从知识取用准确性、回答证据忠实度、工具调用合规性，到线上失败回流机制，覆盖Agent全生命周期质量闭环。聚焦高风险退货场景，强调用结构化断言替代模糊准确率，确保AI不把错误答案变成真实业务动作。 本文提出面向AI客服的四层回归测试框架：从知识取用准确性、回答证据忠实度、工具调用合规性，到线上失败回流机制，覆盖Agent全生命周期质量闭环。聚焦高风险退货场景，强调用结构化断言替代模糊准确率，确保AI不把错误答案变成真实业务动作。
- 本文探讨MCP工具契约回归测试方法，聚焦Schema变更（如退款reason字段由必填改可选）对Agent行为的影响。强调测试不能止于接口调用，需验证参数来源、默认值使用、错误处理及工具选择是否漂移，并建立含灰度、回滚与可追溯Trace的全链路契约验收体系。 本文探讨MCP工具契约回归测试方法，聚焦Schema变更（如退款reason字段由必填改可选）对Agent行为的影响。强调测试不能止于接口调用，需验证参数来源、默认值使用、错误处理及工具选择是否漂移，并建立含灰度、回滚与可追溯Trace的全链路契约验收体系。
- 微软Execution Containers强调“策略即边界”，非简单沙箱。需四层行为验收：文件（仅挂载任务目录）、网络（白名单+全量日志）、身份（短时最小权限）、生命周期（环境销毁+状态清零）。CI硬门禁、红队演练与动态权限审计，确保每次执行都可验证、可追溯、不可绕过。 微软Execution Containers强调“策略即边界”，非简单沙箱。需四层行为验收：文件（仅挂载任务目录）、网络（白名单+全量日志）、身份（短时最小权限）、生命周期（环境销毁+状态清零）。CI硬门禁、红队演练与动态权限审计，确保每次执行都可验证、可追溯、不可绕过。
- 上个月，团队里一个测试同学来找我，表情有点无奈。“哥，我用 Claude Code 生成接口测试用例，写了三天 Prompt，生成的脚本还是只能跑正常流程。让它测密码错误，它只断言 HTTP 200，根本没查数据库里的登录状态。”我问他：“你把测试规则写在哪了？”他说：“写在对话里啊。每次都要重新说一遍‘先调登录接口拿 token，再调业务接口，断言 code=0，data 不能为空’……”... 上个月，团队里一个测试同学来找我，表情有点无奈。“哥，我用 Claude Code 生成接口测试用例，写了三天 Prompt，生成的脚本还是只能跑正常流程。让它测密码错误，它只断言 HTTP 200，根本没查数据库里的登录状态。”我问他：“你把测试规则写在哪了？”他说：“写在对话里啊。每次都要重新说一遍‘先调登录接口拿 token，再调业务接口，断言 code=0，data 不能为空’……”...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签