• [技术干货] 多桶共用带宽,关键业务总被挤占?OBS 推出QoS 流控管理,保障核心业务平稳运行
    QoS 流控管理是 OBS 面向多桶共资源场景推出的限流保护能力,支持为单个桶设定 QPS、带宽、并发请求数上限,并按总请求/公网/内网分别配置策略,约束非核心桶的资源占用,降低对关键业务的干扰。在云上,核心交易业务与日志备份、离线分析任务运行在同一账号下,带宽和请求数缺乏约束机制,非核心桶的流量洪峰可能导致关键业务响应时延上升,严重时触发丢包;突发异常流量还可能推高带宽成本。OBS 推出的 QoS 流控管理,正是为约束这类干扰源而设计。功能定位:约束单个桶的资源占用,降低业务间干扰QoS 流控管理是一套限流保护机制,核心价值在于按业务与流量特征为桶设置资源占用上限,无需修改业务代码即可约束非核心桶的流量,降低其对关键业务的干扰。流控设置上限:被限制的桶释放出的资源回到公共池,并非锁定给某个核心业务桶。它保证的是“非核心桶不会占用过多资源”,核心业务的保障则依赖于集群整体资源水位与自身配置。典型适用场景包括:约束非核心业务的资源占用:为日志备份、离线计算等桶设置明确的 QPS、带宽、并发上限,防止其流量洪峰挤占关键业务可用的资源。公网与内网流量分别管控:桶级规则支持按总请求、公网请求、内网请求分别配置策略,内网大数据传输与公网访问可以各自独立设限。异常流量防护:当某个桶遭遇异常高频请求时,流控可限制其 QPS 和并发数,降低对同账号下其他业务的影响面。带宽成本约束:通过带宽上限约束大流量任务,使成本可预期。需要明确的是,流控触发后的行为因指标而异:QPS 或带宽超限时,请求不会立即失败,而是被延迟处理,响应头 x-obs-qos-delay-time 携带被流控的时长(上传类请求返回精确值,下载类返回估算值);并发请求数超限时,请求立即失败并返回 429。因此,流控是保护性手段,而非精确的流量整形工具,阈值设定需结合业务实际请求模型。配置流程:两步完成第一步:确认账号级 QoS 的资源上限配置桶级规则前,需先了解账号在集群层面的可用资源。在 OBS 控制台左侧导航栏选择 “用量分析 > 流控管理”,页面列出账号下所有桶的流控配置;单击桶所在的集群名称,右侧弹框显示账号在该集群的 QPS、带宽、并发请求数上限。账号级 QoS 规则仅支持查看、不支持自定义,如需扩容请提交工单申请。如果桶未配置桶级规则,则该桶最大可使用到账号下集群资源的最大值——因此,对需要约束的非核心桶应显式配置上限,而非依赖默认行为。第二步:为单个桶配置桶级规则在“流控管理”页面找到目标桶,单击操作列的 “编辑”,在弹窗中完成:选择请求类型:勾选需要限流的请求范围——总请求(公网+内网)、公网请求、内网请求,三者可分别配置独立策略。配置指标:可分别设置QPS、 BPS、并发请求数。每个指标最大可配置到桶所属集群对应指标的最大值。配置完成后可在流控管理列表中查看各桶的指标配置情况。桶级流控目前支持通过管理控制台和 API 配置。设计逻辑与运维要点1. 两级规则:账号级是天花板,桶级是约束器桶级规则的自定义值不能超过桶所在集群的账号级 QoS 限制。配置前的第一步永远是确认账号级配额,而非直接为桶设值。2. 指标联动:QPS/带宽流控会推高并发数QPS 或带宽超限导致请求时延上升,正在处理的请求滞留时间变长,并发请求数随之增加,可能进一步触发并发流控。调优时不宜孤立地看待单一指标。3. 监控告警:用 CES 把水位管起来配置规则后需持续观测。通过云监控 CES 可查看桶级和账号级指标:进入“云服务监控 > 对象存储服务 OBS”,资源维度选择“桶名称”或“用户”,查看运行值。告警阈值建议:使用率 ≥80% 设为重要告警,评估业务影响并考虑下调非核心桶的资源配置;使用率 ≥90% 设为紧急告警,已接近拥塞,需立即调整资源配置或提工单申请扩容。实践建议:优先为日志备份、离线计算等非核心桶显式配置上限;公网与内网按实际访问模式分开设限;为桶级 QoS 配置 80%/90% 两级告警;保留客户端日志中的 x-obs-qos-delay-time,据此反向校准阈值。结语OBS QoS 流控管理通过约束非核心桶的资源占用,降低其对关键业务的干扰,为多业务共用 OBS 的场景提供了一种高效的稳定性治理手段,尤其适合核心与非核心业务混跑、对时延敏感、需要防范异常流量冲击的架构。 相关链接:[1] QoS 流控管理概述:cid:link_0[2] 查看账号级 QoS:cid:link_1[3] 桶级 QoS 管理:cid:link_2
  • [问题求助] 共享预发环境微服务性能基准测试如何设计环境指纹与仲裁状态机?
    假设团队在共享预发环境对同一组微服务做性能基准测试,压测流量与人工验收、定时任务、其他团队灰度共用集群;压测执行器可弹性伸缩;指标采集可能丢点、时钟漂移;缓存与连接池预热状态可能不同。约束:不绑定压测工具、监控实现或云厂商;不新增专用隔离集群;允许分钟级最终一致;不能影响真实用户关键路径;同一基准重复执行应尽量可比较,但环境噪声不可完全消除。目标:设计基准批次、环境指纹、预热与冷却、噪声标记、异常中止和结果仲裁状态机,使重复执行幂等、中断可恢复、结果可审计。请讨论: 1)环境指纹应包含哪些维度,何时判定批次不可比较; 2)共享资源如何按命名空间、租户或流量比例隔离,最小样本与置信边界如何界定; 3)指标缺失、时钟漂移与缓存预热差异如何区分系统回归与环境噪声; 4)中断或资源争用时的重跑、部分结果合并与降级边界; 5)自动判定通过、警告、人工复核的阈值与防抖策略。 只讨论协议、状态机、超时与失败边界。
  • [问题求助] 分库分表按用户ID哈希时,如何为商户订单按时间倒序分页设计跨分片游标协议?
    假设一个订单系统采用分库分表,按用户 ID 哈希拆成 64 个分片。业务方需要按创建时间倒序分页查询某个商户下的全部订单,每页 50 条,并支持跳页到第 N 页。约束:不能引入 Elasticsearch 或其他外部索引,不能修改分片键,查询需在 500ms 内返回,数据允许秒级延迟。 请给出一个跨分片分页与排序的可落地协议,重点说明: 1)排序键与游标应如何选择?例如创建时间相同时用什么字段打破平局,游标是否包含分片标识,跳页时如何避免偏移量累积导致越翻越慢; 2)各分片如何返回局部有序结果,协调层如何合并,保证不重不漏,并处理某分片返回超时或失败; 3)深度分页允许哪些降级边界?如最大跳页数、仅保留下一页/上一页、超时后返回部分结果并标记不完整,还是必须严格全量; 4)全局二级索引与广播查询如何取舍?在不能引入外部索引的前提下,能否用数据库内索引表配合异步同步实现秒级延迟; 5)分片数据倾斜时,如何避免单个慢分片拖垮整体查询; 6)游标失效与数据更新之间如何界定一致性,幂等重试和快照读能否缓解。 目标是在不依赖外部索引且不改分片键的前提下,给出可实现的协议、状态机和权衡边界,而不是绑定某个数据库版本。
  • [区域复赛赛题问题] SIMD并行算法是否合规?
    规则中禁止“并行计算等任何并行方案”,请问单线程下使用 SIMD/向量化指令(如 SSE/AVX/NEON)是否允许?若由编译器自动向量化,是否视为违规?
  • [交流吐槽] 为什么不支持wsl
    缺少wsl的连接功能,也不能远程。基础核心功能缺少,请快速更新
  • [交流吐槽] 内置的GLM5实在是太慢了
    对比字节的trae,华为codearts内置的GLM5实在是太慢了,导致软件也卡的不行;并且没有类似trae的solo模式,导致复杂任务效果也不太好;同时还缺少mcp市场,没发调用mcp功能。希望能够尽快补全功能,向cc靠齐
  • [技术干货] 【赛后分享】从训练到推理,从框架到算子:昇腾 NPU 大模型推理加速全栈优化
    一、赛题理解与总体思路我们是本次华为“揭榜挂帅”赛道的“全都对队”,我们在本次比赛中取得了擂主奖项。在对赛题进行分析时,我们意识到,面对的是一项覆盖 训练—推理—算子级优化 的全流程性能挑战。赛题要求选手不仅能调优模型效果,更需深入昇腾 NPU 底层,对推理链路进行系统级重构。我们的判断是:只有从训练端减负、推理端提效、算子端深挖三个层面同时发力,才能在 NPU 上发挥出模型的极致性能。二、训推一体:从源头降低计算压力我们先从训练侧着手,目标是在不显著牺牲精度的前提下,减少模型在推理阶段的无效计算。SFT 阶段的输出规范化在 SFT 中,我们将 CoT(Chain-of-Thought)和最终答案严格约束为比赛指定格式,使模型从训练阶段就习惯于“结构化回答”。强化学习阶段加入长度惩罚在 RL 中,我们设计了带 长度惩罚项 的 Reward Function:冗余输出将触发指数级负奖励。这种训练策略促使模型自然收敛为“简洁表达”。实验显示:输出 Token 数量减少约 30%,有效降低了推理端的算力压力,同时保持了接近原精度。三、底层打磨:深度利用 CANN 软件栈在推理侧,我们利用 CANN 软件栈,对算子、图模式、内存等维度进行了深入优化。启用 torch.npu 图模式小 batch 推理时,算子下发的开销会显著影响吞吐。我们将 PyTorch 动态图编译为 NPU 静态计算图:原理: 将执行流固化,使编译器能够进行更激进的融合与调度优化。收益: 消除 Python Launch Overhead,并提升算子融合、内存复用效率。FFN 多算子融合我们基于 CANN 自定义算子,将 FFN 中若干线性变换与激活操作 融合为单一 Kernel,从而显著减少 NPU 显存 ↔ 计算单元之间的往返。四、架构级创新:推理吞吐的倍增策略在推理架构层,我们通过引入新技术与调整策略,突破了吞吐瓶颈。EAGLE 3 投机解码传统自回归逐 Token 解码速度受限。我们采用 EAGLE 3 架构:Draft Model 并行生成候选序列;大模型一次性并行验证。结果: 在不损失精度的前提下,解码速度提升约 1.5 倍。取消 Chunked Prefill(基于赛题场景的反直觉选择)行业内常用 Chunked Prefill 用于降低单次 Prefill 对延迟的影响,但它并不提高硬件利用率。在本次评测“侧重高吞吐、并行请求充足”的条件下,Prefill 拆分反而带来调度开销,降低整体 TPS。因此我们选择完全关闭 Chunked Prefill,吞吐量得到提升。KV Cache 前缀缓存 + 输入截断针对赛题大量重复 System Prompt,我们引入 Prefix Cache:相同前缀自动复用 KV Cache,免去重复计算。严格控制输入长度,避免少量长尾请求拖慢整个 Batch。五、效果验证与最终成绩通过“算法优化 → 架构创新 → 底层算子融合”的三级联动,我们实现了最终性能突破:吞吐性能: B 榜达到 707 tokens/s,排名第一。输出质量: 在严格格式约束下,模型保持精度且无冗余废话。关键经验:性能优化必须坚持 算法—系统—硬件协同设计(Co-Design),任何单一层面的调优都难以实现全局最优。结语技术优化永无止境。本次比赛中,感谢老师的指导、队友的投入,以及华为云成熟的算力基础与 CANN 生态。未来,我们将继续探索 NPU 推理优化的更多可能,为大模型的真实应用场景带来更高效的系统性能。
  • [问题求助] 【32期】缺少参数数据
    比赛缺少仿真参数,但是又官方限制了若干阈值,如-108,-110。总所周知,仿真参数不同,信号强度大相径庭,难以和官方仿真平台中的结果贴合。感觉比赛不是很合理
  • [问题求助] GAUSSDB集中式数据库,是否可以实现指定只对SQL中涉及的某些表使用并行
    假设有一条SQL: select * from t1,t2 where t1.id=t2.id 是否可以通过某种方法,实现只对其中的t2表开启并行处理?
  • [互动交流] 鲲鹏920的64核云实例在高并发场景(如Web服务器、大数据处理)下,如何通过NUMA绑定或调度策略减少核间延迟?
    鲲鹏920的64核云实例在高并发场景(如Web服务器、大数据处理)下,如何通过NUMA绑定或调度策略减少核间延迟?
  • [生态对接] spark --jars提交依赖冲突,有没有办法忽略集群中的依赖。只使用fat-jar和--jar提供的
         我最近开发了一个maven项目,想使用spark读取/写入greenplum的数据,但是由于jdbc的传输速度限制。所以想采用greenplum-spark connect这个连接器。当我使用--jars将项目和这个依赖包一起提交上去的时候出现了jar包冲突 报错:classnotfound。  同时自己搭建了一套开源集群,相同的步骤 spark读取/写入greenplum 并且也使用这个连接器--jars提供第三方依赖包,正常读取数据。    所以我想有没有办法忽略集群中的依赖。只使用fat-jar和--jar提供的