- 本文提出OpenAPI生成式SDK的“质量门”方案:通过语言无关的黄金向量,统一校验多语言SDK在序列化、错误处理、SSE流控与版本溯源上的一致性,确保不同语言对同一契约做出相同业务解释。 本文提出OpenAPI生成式SDK的“质量门”方案:通过语言无关的黄金向量,统一校验多语言SDK在序列化、错误处理、SSE流控与版本溯源上的一致性,确保不同语言对同一契约做出相同业务解释。
- 本文探讨Agent架构新范式:LLM专注复杂推理,而高频判断(如Tool/Skill路由、上下文过滤、安全守门、执行复核)可交由轻量级“System One Model”(如Jev)高效处理。这将重塑Agent Harness设计,推动分层智能协作。 本文探讨Agent架构新范式:LLM专注复杂推理,而高频判断(如Tool/Skill路由、上下文过滤、安全守门、执行复核)可交由轻量级“System One Model”(如Jev)高效处理。这将重塑Agent Harness设计,推动分层智能协作。
- Jev是TypeSafe AI于2026年9月推出的“系统一模型”,不生成文本,专精低延迟结构化决策:支持Choice(多选项概率选择)、Score(连续范围评分)和Noul(校准布尔判断)三类原语,速度最高快193.6倍,成本最低降444.6倍。 Jev是TypeSafe AI于2026年9月推出的“系统一模型”,不生成文本,专精低延迟结构化决策:支持Choice(多选项概率选择)、Score(连续范围评分)和Noul(校准布尔判断)三类原语,速度最高快193.6倍,成本最低降444.6倍。
- 本文详解GitHub覆盖率门禁API化实践:支持基线(最低覆盖率)与变化量(允许下降幅度)双控,推动质量标准版本化、可审查、可回归;强调例外需代码化、规则须测试,并指出高覆盖率不等于高测试质量,须结合变异测试、关键断言与变更行覆盖三重验证。 本文详解GitHub覆盖率门禁API化实践:支持基线(最低覆盖率)与变化量(允许下降幅度)双控,推动质量标准版本化、可审查、可回归;强调例外需代码化、规则须测试,并指出高覆盖率不等于高测试质量,须结合变异测试、关键断言与变更行覆盖三重验证。
- GitHub Copilot代码评审升级:支持评论状态机(Open/Resolved/Missing),自动关闭需可验证证据;强调问题身份归一与重复评审稳定性,推动AI评审从“留评”迈向可信质量闭环。 GitHub Copilot代码评审升级:支持评论状态机(Open/Resolved/Missing),自动关闭需可验证证据;强调问题身份归一与重复评审稳定性,推动AI评审从“留评”迈向可信质量闭环。
- Playwright正深度适配AI Coding Agent:推出`playwright-cli`与可安装Skills,GitHub Agentic Workflows已默认切换至CLI模式。核心动因是降低MCP工具Schema对Agent上下文的消耗,推动“按需加载能力”的新范式——测试开发需关注:工具数量≠能力提升,而应聚焦Context预算、业务断言与Oracle(正确性定义)的坚守。 Playwright正深度适配AI Coding Agent:推出`playwright-cli`与可安装Skills,GitHub Agentic Workflows已默认切换至CLI模式。核心动因是降低MCP工具Schema对Agent上下文的消耗,推动“按需加载能力”的新范式——测试开发需关注:工具数量≠能力提升,而应聚焦Context预算、业务断言与Oracle(正确性定义)的坚守。
- GitHub披露Rust迁移中AI Agent主导编码,引发测试工程师对自动化价值的质疑。本文指出:基础脚本能力将被压缩,但“在不确定变更中证明系统可发布”的高阶质量保障能力愈发稀缺。提出四阶能力跃迁路径(脚本→框架→评测→Harness),强调从业务提炼不变量、设计抗偏预言机、转化线上失败为回归用例。建议以熟悉业务为锚点,通过四周实操升级能力——不比AI写得快,而比AI改得稳。 GitHub披露Rust迁移中AI Agent主导编码,引发测试工程师对自动化价值的质疑。本文指出:基础脚本能力将被压缩,但“在不确定变更中证明系统可发布”的高阶质量保障能力愈发稀缺。提出四阶能力跃迁路径(脚本→框架→评测→Harness),强调从业务提炼不变量、设计抗偏预言机、转化线上失败为回归用例。建议以熟悉业务为锚点,通过四周实操升级能力——不比AI写得快,而比AI改得稳。
- 团队做了一次看起来无害的优化:把 embedding 模型换成新版本,顺手把分块从 512 改到 1024,理由是「大段落语义更完整」。上线后抽查了几条问答,回答依旧流畅、语气依旧专业,没人觉得有问题。可两周后客服反馈,一批老问题的答案开始答非所问——问「退货运费谁承担」,答的却是「退货流程怎么走」。去查生成层,Prompt 没动、模型没换、温度没调。真正变了的,是检索层召回的段落:分块一改... 团队做了一次看起来无害的优化:把 embedding 模型换成新版本,顺手把分块从 512 改到 1024,理由是「大段落语义更完整」。上线后抽查了几条问答,回答依旧流畅、语气依旧专业,没人觉得有问题。可两周后客服反馈,一批老问题的答案开始答非所问——问「退货运费谁承担」,答的却是「退货流程怎么走」。去查生成层,Prompt 没动、模型没换、温度没调。真正变了的,是检索层召回的段落:分块一改...
- 本文揭示“高覆盖率仍漏测”的根源:用例数量≠测试有效性。提出风险驱动测试(RBT)方法——以“出问题概率×代价”为标尺,通过四象限风险矩阵与测试深度对照表,将有限资源精准投向高危区。不求全覆盖,而求关键处测深、测透。 本文揭示“高覆盖率仍漏测”的根源:用例数量≠测试有效性。提出风险驱动测试(RBT)方法——以“出问题概率×代价”为标尺,通过四象限风险矩阵与测试深度对照表,将有限资源精准投向高危区。不求全覆盖,而求关键处测深、测透。
- 本文揭秘微服务中“契约漂移”这一隐形杀手:字段名未变、返回码仍是200,但`amount`从number变成string,导致下游三处静默崩溃。提出用Pact实现消费者驱动契约测试——下游声明期望,上游构建时自动校验,让接口约定从“我以为”变为“不满足即失败”的CI门禁,彻底拦截结构漂移。 本文揭秘微服务中“契约漂移”这一隐形杀手:字段名未变、返回码仍是200,但`amount`从number变成string,导致下游三处静默崩溃。提出用Pact实现消费者驱动契约测试——下游声明期望,上游构建时自动校验,让接口约定从“我以为”变为“不满足即失败”的CI门禁,彻底拦截结构漂移。
- 本文揭示大模型测试中“固定值断言”的致命缺陷:因模型输出天然非确定(字段顺序、类型漂移、冗余文本等),`assert == 固定字典` 导致假红或漏检。提出用属性测试(Hypothesis + Pydantic)替代——聚焦守业务不变量(如金额非负、必填字段存在、不泄露提示),而非形态一致。解耦“输出长什么样”与“输出对不对”,让测试真正守住底线。 本文揭示大模型测试中“固定值断言”的致命缺陷:因模型输出天然非确定(字段顺序、类型漂移、冗余文本等),`assert == 固定字典` 导致假红或漏检。提出用属性测试(Hypothesis + Pydantic)替代——聚焦守业务不变量(如金额非负、必填字段存在、不泄露提示),而非形态一致。解耦“输出长什么样”与“输出对不对”,让测试真正守住底线。
- 本文厘清测试替身的五大分类(Dummy/Stub/Spy/Mock/Fake),指出滥用“万能Mock”导致测试脆弱或假绿的根源:混淆“提供数据”与“验证交互”。强调选型核心原则——**先明确断言对象(数据?交互?真实行为?),再决定替身类型**,并结合AI场景(如Agent轨迹验证、假模型替代)赋予经典模式新生命力。 本文厘清测试替身的五大分类(Dummy/Stub/Spy/Mock/Fake),指出滥用“万能Mock”导致测试脆弱或假绿的根源:混淆“提供数据”与“验证交互”。强调选型核心原则——**先明确断言对象(数据?交互?真实行为?),再决定替身类型**,并结合AI场景(如Agent轨迹验证、假模型替代)赋予经典模式新生命力。
- 本文详解如何将 axe-core 无障碍扫描集成到 Playwright 测试中,利用浏览器原生 accessibility tree 自动检测 WCAG 违规(如对比度不足、缺 alt/label、标题跳级等),并通过 CI 基线门禁拦截新增问题,让无障碍从“上线后被投诉”变为“合并前被拦截”。 本文详解如何将 axe-core 无障碍扫描集成到 Playwright 测试中,利用浏览器原生 accessibility tree 自动检测 WCAG 违规(如对比度不足、缺 alt/label、标题跳级等),并通过 CI 基线门禁拦截新增问题,让无障碍从“上线后被投诉”变为“合并前被拦截”。
- 本文揭示RAG客服应用因缺乏Prompt注入防护而致系统提示词泄露的事故,指出问题根源在于测试只关注“答得对”,却忽视“会不会答不该答的”。提出将注入测试升级为可回归的红队用例集:结构化存于jsonl,覆盖四类注入;用pytest参数化断言输出、工具调用与拒答行为;接入CI自动拦截。安全不是模型天赋,而是靠可执行、可演进的断言守出来的。 本文揭示RAG客服应用因缺乏Prompt注入防护而致系统提示词泄露的事故,指出问题根源在于测试只关注“答得对”,却忽视“会不会答不该答的”。提出将注入测试升级为可回归的红队用例集:结构化存于jsonl,覆盖四类注入;用pytest参数化断言输出、工具调用与拒答行为;接入CI自动拦截。安全不是模型天赋,而是靠可执行、可演进的断言守出来的。
- 本文介绍Agent测试新范式——行为评估(Behavioral Evaluation):摒弃仅校验最终结果的“outcome-only”方式,转而对工具调用轨迹(Trajectory)进行三层断言——工具选择、调用顺序与参数、过程与结果一致性。通过jsonl落库、pytest回归、CI门禁,实现可复现、可归因、防蒙对的高可信测试,让Agent能力而非运气成为上线依据。 本文介绍Agent测试新范式——行为评估(Behavioral Evaluation):摒弃仅校验最终结果的“outcome-only”方式,转而对工具调用轨迹(Trajectory)进行三层断言——工具选择、调用顺序与参数、过程与结果一致性。通过jsonl落库、pytest回归、CI门禁,实现可复现、可归因、防蒙对的高可信测试,让Agent能力而非运气成为上线依据。
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签