- 本文系统介绍 Nginx 与 OpenResty 高并发反向代理调优实践,涵盖进程与 epoll 事件模型、TCP 内核参数、Upstream keepalive 长连接池配置、基于 lua-resty-limit-traffic 的动态令牌桶限流以及灰度热重载与监控排查要点。 本文系统介绍 Nginx 与 OpenResty 高并发反向代理调优实践,涵盖进程与 epoll 事件模型、TCP 内核参数、Upstream keepalive 长连接池配置、基于 lua-resty-limit-traffic 的动态令牌桶限流以及灰度热重载与监控排查要点。
- 上下文越长,单次调用越贵,而且贵的方式不止一种。除了 token 变多,还有缓存失效和重试放大两个隐形成本。 上下文越长,单次调用越贵,而且贵的方式不止一种。除了 token 变多,还有缓存失效和重试放大两个隐形成本。
- 上下文超限是最常见也最容易被误解的错误。它不是「你的请求格式错了」,而是「你给模型的东西太多了」。 上下文超限是最常见也最容易被误解的错误。它不是「你的请求格式错了」,而是「你给模型的东西太多了」。
- 中转站的定价必须同时满足两件矛盾的事:覆盖上游成本,以及比官方直连更有吸引力。纯按官方价打折必然亏,纯加价则没有理由绕道。 中转站的定价必须同时满足两件矛盾的事:覆盖上游成本,以及比官方直连更有吸引力。纯按官方价打折必然亏,纯加价则没有理由绕道。
- 用户最想知道的其实只有一句话:这个月我花了多少、花在哪、还剩多少。把这三件事做清楚,用量系统就完成了它的使命。 用户最想知道的其实只有一句话:这个月我花了多少、花在哪、还剩多少。把这三件事做清楚,用量系统就完成了它的使命。
- 额度耗尽前给用户一个提醒,比额度耗尽后让他发现服务挂了要好得多。这是一个只需要几行代码就能做好的体验提升。 额度耗尽前给用户一个提醒,比额度耗尽后让他发现服务挂了要好得多。这是一个只需要几行代码就能做好的体验提升。
- 很多网关在设计上就把「上游实际消耗」和「用户应扣额度」混成一个数字。这会在两个地方同时出错:账单算不准,监控也说不清。 很多网关在设计上就把「上游实际消耗」和「用户应扣额度」混成一个数字。这会在两个地方同时出错:账单算不准,监控也说不清。
- 如果成本控制逻辑散落在各个业务方,它就一定会失控。正确的位置是网关——因为那里是所有流量的必经之处。 如果成本控制逻辑散落在各个业务方,它就一定会失控。正确的位置是网关——因为那里是所有流量的必经之处。
- 额度规则本身不难,难的是「用户能不能自己算清楚」。一条让用户需要提工单才能算明白的规则,就是一条坏规则。 额度规则本身不难,难的是「用户能不能自己算清楚」。一条让用户需要提工单才能算明白的规则,就是一条坏规则。
- 多租户的 AI 应用,定价和配额是绕不开的两道坎。定价决定你能不能活,配额决定你的用户会不会把你用垮。这两件事要在同一个系统里想。 多租户的 AI 应用,定价和配额是绕不开的两道坎。定价决定你能不能活,配额决定你的用户会不会把你用垮。这两件事要在同一个系统里想。
- 「卡住不动」是流式最常见的投诉,而且它往往不是真的卡住——而是某个环节把数据攒着不发出来。等一分钟后突然整段蹦出来,用户体验极差。 「卡住不动」是流式最常见的投诉,而且它往往不是真的卡住——而是某个环节把数据攒着不发出来。等一分钟后突然整段蹦出来,用户体验极差。
- 「我的额度怎么少了」是这类系统最高频的客服问题,而它的根源往往是产品侧把三个不同概念用同一个词表达。用户说额度,你说的是余额;系统拦他的是限流。 「我的额度怎么少了」是这类系统最高频的客服问题,而它的根源往往是产品侧把三个不同概念用同一个词表达。用户说额度,你说的是余额;系统拦他的是限流。
- 流式接口是所有网关功能里最容易「看起来能用、实际一塌糊涂」的部分。Demo 阶段一切正常,上了生产开始出现「偶尔卡住」「最后一段丢了」「明明上游报错了却显示成功」。 流式接口是所有网关功能里最容易「看起来能用、实际一塌糊涂」的部分。Demo 阶段一切正常,上了生产开始出现「偶尔卡住」「最后一段丢了」「明明上游报错了却显示成功」。
- 长列表首屏布局与绘制开销大时,可用 CSS content-visibility: auto 跳过屏外列表项渲染,并用 contain-intrinsic-size 提供占位高度。本文给出可运行示例,说明性能面板对比方法,以及锚点跳转、Ctrl+F 查找与打印等边界验证。 长列表首屏布局与绘制开销大时,可用 CSS content-visibility: auto 跳过屏外列表项渲染,并用 contain-intrinsic-size 提供占位高度。本文给出可运行示例,说明性能面板对比方法,以及锚点跳转、Ctrl+F 查找与打印等边界验证。
- 理解 int、embstr 与共享对象池,看清 Redis 省内存的细节 理解 int、embstr 与共享对象池,看清 Redis 省内存的细节
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签