• [问题求助] CCE Turbo 集群 Pod 一直 ContainerCreating,事件报 insufficient ENI / 子网 IP 不足,ENI 上限和预热池该怎么规划?
    背景: CCE Turbo 集群,3 个节点(8C16G),业务是 60 个 Pod 的微服务,用的都是默认的容器网络(Turbo 的 ENI 模式,不是 VPC 原生那种 pod 独立子网)。 昨晚做滚动发布,新 Pod 一直起不来,`kubectl describe pod` 的 Events 里是: ```FailedCreatePodSandBox: failed to create pod sandbox: rpc error: code = Unknowndesc = failed to setup network for sandbox: failed to allocate ENI: insufficient ENI``` 等了几分钟之后部分 Pod 起来了,但还是有 5 个卡着。我看了下节点上已经绑定的 ENI 数量,单节点到了 12 个左右。 想确认几个问题: 1. **ENI 上限到底怎么算?** 我知道和 ECS 规格有关(8C16G 大概是 12~16 个弹性网卡),但 Turbo 下一个 Pod 是不是独占一个 ENI?还是多个 Pod 共享?如果是共享,为什么 60 个 Pod 就把 36 个 ENI 用光了?2. **ENI 预热池(warm pool)怎么配?** 控制台的节点池里有个「容器网络」相关的参数,但没说清楚预热多少个合适。配小了发布时来不及创建,配大了又占 IP。3. **子网 IP 是不是也会耗尽?** 我们的节点子网是 /24(250 个可用 IP),如果 ENI 都从这个子网分配,60 个 Pod + 扩容余量会不会撞到子网上限?4. 有没有办法在发布前就知道「这个节点池的 ENI 余量不够了」,而不是等 Pod 卡住? 现在的处置是删掉几个旧 Pod 腾出 ENI 再重试,但不是长久办法。想请教一下规范的容量规划做法。
  • [问题求助] CCE 1.25 节点 NotReady 后 Pod 一直卡在 Terminating,新 Pod 报 volume is already used,怎么让它正常重建?
    背景: CCE 1.25 集群,3 节点,业务是 StatefulSet + 云硬盘(EVS)PVC,accessModes 是 ReadWriteOnce。 昨晚一台节点因为宿主机网络问题 NotReady(控制台显示节点异常,kubelet 心跳断了)。按我的理解,节点失联后 Pod 应该被驱逐并在其它节点重建,但实际情况是: 1. 原节点上的 Pod 状态变成 Terminating,`kubectl get pod` 里还一直挂着,超过 20 分钟没有消失;2. StatefulSet 的同名 Pod 因为是固定名字,新 Pod 根本没有创建;3. 我手工把这台节点上的容器停掉(云上做了关机),Pod 终于被删了,但新 Pod 起来后卡在 ContainerCreating,Events 里是 `volume is already used` / `Multi-Attach error for volume`;4. 又等了大约 5 分钟卷才 detach 成功,Pod 才真正 Running。 想问几个问题: - CCE 1.25 上节点 NotReady 的驱逐时间到底由哪个参数决定?我看有些文章说要调 `pod-eviction-timeout`,但 1.25 的 kube-controller-manager 里已经没有这个参数了;- `tolerationSeconds` 默认 300 秒是哪里给的?我在自己的 Deployment 里没写过 tolerations,但也确实在 5 分钟左右才开始驱逐;- 有状态副本(尤其 RWO 云硬盘)在节点失联时,能不能让卷的 detach 快一点,或者至少让新 Pod 不要卡在 ContainerCreating?- 有没有办法提前知道「这个 Pod 会卡在 Terminating」,而不是等业务方来报障? 现在的做法是每次都要人工 `delete pod --force` + 等卷 detach,恢复时间太长,想找一条更规范的处置流程。
  • [技术干货] ALL in SSL 免费SSL,实现华为云WAF、ELB、CCE的SSL证书自动化更新,再也不用担心SSL证书过期!
    把 SSL 证书续期彻底自动化(测试版,欢迎体验)⚠️ 先说清楚三件事(请务必读完):1. 这个华为云插件是我个人开发的,不是华为云官方产品,目前处于测试阶段,接口和参数还会变;2. 请先在测试环境跑通,再考虑用在生产,用法和风险请自行评估;3. 文中出现的账号、域名、项目 ID 都是示例。测试插件下载链接:插件下载链接:https://pan.quark.cn/s/87edd66b88a4?pwd=cXra30 秒看完怎么用:把 huaweicloud 放进 ALLinSSL 的 plugins/ 目录,chmod 755;ALLinSSL → 授权 API → 新增 → 类型「插件」→ 插件名 huaweicloud → 填 AK/SK 两个框,完事;授 IAM 权限(第三节抄 JSON)→ 跑一次「权限测试」看报告 → 建部署节点(配置模式记得切「自定义」)。AK/SK 就在界面上填,不需要写任何配置文件。 只有 IAM 策略需要贴 JSON。一、它解决什么问题证书申请早就不难了,certbot、acme.sh、ALLinSSL 都能自动续。真正烦的是续完之后:WAF 要传新证书再绑回防护域名,ELB 要更新证书内容,CCE 里 ingress 的 TLS Secret 也要换一份——三个控制台,每个季度来一次,还怕漏。这个插件就是把最后这一段也交给程序:ALLinSSL 续期成功后,自动把证书推到华为云的 WAF / ELB / CCE,不用登录控制台。它一共 4 个动作:动作干什么waf上传新证书 → 覆盖绑定到 WAF 防护域名elb原地更新 ELB 证书内容(监听器、SNI 完全不动)cce更新 CCE 集群里的 kubernetes.io/tls Secretping(界面显示「权限测试」)只读自检,不改任何东西,按产品给结论(装完先跑这个)二、上手:4 步,10 分钟第 1 步:把插件放进 plugins 目录tar -xzf huaweicloud-linux-amd64.tar.gz cp huaweicloud /www/allinssl/plugins/huaweicloud # 路径按你的实际安装位置 chmod 755 /www/allinssl/plugins/huaweicloud ls -l /www/allinssl/plugins/huaweicloud # 必须是 -rwxr-xr-x # 验证能跑(这个插件走 stdin/stdout 的 JSON 协议,没有 -h、没有 --version) echo '{"action":"get_metadata"}' | /www/allinssl/plugins/huaweicloud返回一大段 JSON,能看到 “version”:“1.7.2” 就说明插件正常。三个注意点:每次重传都必须重新 chmod 755。用 SFTP / 面板覆盖上传会丢掉执行位,文件变成 -rw-r–r-- 时 ALLinSSL 直接不识别插件(进程根本起不来),而且报错不明显;ARM 机器传 huaweicloud-arm64,改名为 huaweicloud;plugins/ 里只留一个 huaweicloud。ALLinSSL 是实时扫描这个目录的(放进去就识别、不用重启),旧版同名文件留着会被后注册、把新版覆盖掉,看起来就像「升级没生效」。第 2 步:加授权 API,填 AK/SK(不用写配置文件)ALLinSSL 控制台 → 授权 API → 新增,按下图填:名称: 随便起,比如 华为云-证书部署 类型: 插件 插件名称: huaweicloud 配置模式: 默认 华为云 AK: 控制台 → 我的凭证 → 访问密钥 里的 Access Key ID 华为云 SK: 同一处的 Secret Access Key就填 AK/SK 这两个框,不需要写任何配置文件(区域、项目 ID 都挪到部署节点表单里了,这里不出现)。填完点确认,跑一次权限测试(第 3 步)后,插件会把 AK/SK 加密保存到服务器本地(/www/allinssl/.huaweicloud-vault,权限 0600),之后两个框可以清空,插件自动解密使用。这里的「配置模式:默认」指授权 API 这一处。部署节点里也有一个同名选项,作用是另一回事,见第 3、4 步。AK/SK 建议用独立的 IAM 子账号,别用主账号,别给 admin。需要哪几条权限见第三节。第 3 步:跑一次权限测试(只读,别跳)工作流 → 部署节点 → 部署类型「插件」→ 选刚建的授权 → 方法选「权限测试」,填两项:区域ID: cn-north-4 (只填区域 ID,不要带 .myhuaweicloud.com 后缀) 项目ID: 32 位 (我的凭证 → 项目列表,切到同一区域后查看)⚠️ 保存前先把「配置模式」切到「自定义」,再点确定。 这一步不是可选项,原因见第 4 步。报告是按产品给结论的,不用自己逐条猜:✅ WAF 可以部署(4/4 通过) ⚠️ ELB 可以部署,但有 1 项降级 缺 elb:listeners:list → 无法判断证书是否被监听器引用 ❌ CCE 无法部署 缺 cce:cluster:get → 换不到集群访问证书 【不影响】EPS 缺了只是效率变低,仍能部署看到 ❌ 就照着提示补权限;看到「🔑 AK/SK 或签名校验失败」,那不是权限问题,先检查 AK/SK 有没有多空格、服务器时间是否偏差超过 15 分钟。第 4 步:建真正的部署节点方法选「部署到华为云 WAF / ELB / CCE」,区域和项目 ID 可以留空(自动用权限测试保存的值),部署域名是下拉框、实时从云上拉的,选一下就行,不用手打。⚠️ 保存时同样把「配置模式」切到「自定义」,再点确定。不切的话,执行时会报「插件参数错误:params」。这是 ALLinSSL v1.1.x 的已知问题:前端「默认」模式把参数存成对象,后端只接受字符串,而报错发生在调用插件之前,插件侧没法绕过。切换时前端会自动做 JSON 序列化,表单填的内容不会丢。如果已经报错了,回头编辑这个部署节点,切「自定义」再保存一次就恢复。这一步我卡了很久,先写在这里帮你省时间。三、IAM 授权:照抄一段 JSON 就行要授哪几条你要部署的目标需要授条数WAF / ELB / CCE 全都要下面那份完整 JSON老版 16 / 新版 17只 WAFWAF 5 条 + EPS 1 条6只 ELBELB 9 条(日常只用其中 4 条)9 / 4只 CCE(更新 Secret)cce:cluster:get老版 1 / 新版 2一次性讲清 17 条分别干什么:产品授权项缺了会怎样WAFwaf:host:list无法部署(定位不到防护域名)WAFwaf:certificate:get能部署但每次新建证书,云上会堆重复证书WAFwaf:certificate:create无法部署WAFwaf:certificate:apply无法部署(覆盖绑定用)WAFwaf:certificate:delete只影响「清理旧证书」勾选框ELBelb:certificates:list无法部署ELBelb:certificates:show无法部署(更新前后都要查一次)ELBelb:certificates:update无法部署(原地更新)ELBelb:certificates:create / delete只影响 replace 模式ELBelb:listeners:list能更新,但无法判断证书是否在用ELBelb:listeners:show / update只影响 replace 模式ELBelb:loadbalancers:show只影响 replace 模式预检EPSeps:enterpriseProjects:list只查默认企业项目,域名不在 default 时找不到CCEcce:cluster:getCCE 无法部署(换不到集群证书)CCEcce:cluster:generateClientCredential新版身份策略才需要,和上一条一起给完整 JSON(WAF + ELB + CCE 全功能)先确认你的 IAM 是哪一版——控制台里是「IAM → 权限 → 策略」就是老版,是「IAM → 权限 → 身份策略」就是新版。差别只在 ELB 那几个动作名和 Resource:差别老版(1.1)新版(5.0)Resource不写必写 [“*”]查/改证书get / putshow / update查/改监听器get / putshow / update查负载均衡器getshowWAF / EPS / CCE两版同名两版同名老版自定义策略(Version 1.1,16 条):{ "Version": "1.1", "Statement": [{ "Effect": "Allow", "Action": [ "waf:host:list", "waf:certificate:get", "waf:certificate:create", "waf:certificate:apply", "waf:certificate:delete", "elb:certificates:list", "elb:certificates:get", "elb:certificates:put", "elb:certificates:create", "elb:certificates:delete", "elb:listeners:list", "elb:listeners:get", "elb:listeners:put", "elb:loadbalancers:get", "eps:enterpriseProjects:list", "cce:cluster:get" ] }] } 新版身份策略(Version 5.0,17 条):{ "Version": "5.0", "Statement": [{ "Effect": "Allow", "Action": [ "waf:host:list", "waf:certificate:get", "waf:certificate:create", "waf:certificate:apply", "waf:certificate:delete", "elb:certificates:list", "elb:certificates:show", "elb:certificates:update", "elb:certificates:create", "elb:certificates:delete", "elb:listeners:list", "elb:listeners:show", "elb:listeners:update", "elb:loadbalancers:show", "eps:enterpriseProjects:list", "cce:cluster:get", "cce:cluster:generateClientCredential" ], "Resource": ["*"] }] } 老版比新版少 1 条,只是老版不需要 generateClientCredential,不是漏写。只部署一个产品时的 JSON只 WAF(6 条,两版同名):{ "Version": "1.1", "Statement": [{ "Effect": "Allow", "Action": [ "waf:host:list", "waf:certificate:get", "waf:certificate:create", "waf:certificate:apply", "waf:certificate:delete", "eps:enterpriseProjects:list" ] }] } 只 ELB(老版 9 条;★ 是日常原地更新必需的 4 条,其余 5 条只在 replace 模式用):{ "Version": "1.1", "Statement": [{ "Effect": "Allow", "Action": [ "elb:certificates:list", "elb:certificates:get", "elb:certificates:put", "elb:listeners:list", "elb:certificates:create", "elb:certificates:delete", "elb:listeners:get", "elb:listeners:put", "elb:loadbalancers:get" ] }] } 新版把 get→show、put→update,加 “Resource”: [“*”],条数不变。只 CCE(更新 Secret):{"Version": "1.1", "Statement": [{"Effect": "Allow", "Action": ["cce:cluster:get"]}]} 新版改成:{ "Version": "5.0", "Statement": [{ "Effect": "Allow", "Action": ["cce:cluster:get", "cce:cluster:generateClientCredential"], "Resource": ["*"] }] } 只做 CCE 时,WAF 那 5 条、ELB 那 9 条、EPS 那 1 条一条都不用给。两个最容易配错的点① 企业项目(EPS):all_granted_eps 只能用于查询,写操作必须落到具体企业项目。域名不在默认企业项目时,除了授 eps:enterpriseProjects:list,还要把子账号加进那个企业项目,否则报「未找到防护域名」。这一步最容易漏。② CCE 是两条路,二选一,不要叠加:你的情况表单填什么IAM 要给只有 AK/SKcluster_idcce:cluster:get(新版 +1 条),不用配 K8s Role能拿到 kubeconfigkubeconfig(文件路径 / base64 / 内联)0 条 cce:*,但要配 K8s RBACcluster_id 换到的是集群管理员级证书,改 Secret 时 K8s 侧天然放行,不用配 Role——这就是「纯 IAM 路线」。kubeconfig 方式插件完全不碰 CCE API,权限由这份 kubeconfig 的 RBAC 决定。注意 kubeconfig 本身就是凭证,控制台直接下载的那份是管理员级,风险比 cce:cluster:get 还大。推荐让管理员建一个 ServiceAccount + 单命名空间 Role 再签发:apiVersion: v1 kind: ServiceAccount metadata: name: allinssl namespace: yfsrm-test # 换成你的命名空间 --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: allinssl-secret-writer namespace: yfsrm-test rules: - apiGroups: [""] resources: ["secrets"] verbs: ["get", "list", "create", "update"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: allinssl-secret-writer namespace: yfsrm-test subjects: - kind: ServiceAccount name: allinssl namespace: yfsrm-test roleRef: kind: Role name: allinssl-secret-writer apiGroup: rbac.authorization.k8s.io只需要 get / list / create / update 四个 verb,不需要 delete——插件从不删 Secret。四、几个容易踩的坑(挑重点说)WAF:不原地改旧证书,也不先删后传。WAF 有 UpdateCertificate,能改,但改的那一瞬间所有绑着它的域名一起变,出问题没有缓冲期,也没法只给其中一个域名换证。所以插件的顺序是:上传新证书 → apply-to-hosts 覆盖绑定 → 复核。旧证书全程可用,删不删由你决定。「清理被替换的旧证书」默认不勾。勾了才会删,而且只删「本次替换下来、且此刻已无任何域名绑定」的那几张,删之前会重查一遍。私钥丢了找不回来,删证书不可逆——前几次建议先不勾。ELB 更新时不能带 domain。只 PUT certificate + private_key 两个字段,带上 domain 会报 409。监听器和 SNI 一律不动,这是默认的 in_place 模式。只有必须换证书对象 ID 时才用 replace(要在「自定义」里写 “mode”:“replace” 并给 listener_id)。幂等靠指纹,不靠名字。同名证书只有内容指纹完全一致才复用,名字相同内容不同一律新建——避免「名字对了但证书是旧的」这种最难查的问题。五、出问题怎么查现象原因怎么办报「插件参数错误:params」配置模式没切「自定义」,参数被存成对象切「自定义」再保存(见第 3、4 步)授权界面选不到 huaweicloud二进制没有执行位,或 plugins/ 里有旧版同名文件chmod 755;删掉旧版只留一个,实时扫描不用重启❌ 403缺对应授权项按权限测试报告里的 → 提示补🔑 401 / 签名失败AK/SK 错、有多余空格、服务器时间偏差 >15 分钟不是权限问题,先修凭证🌐 域名解析失败区域拼错(如 cn-north-d)或服务器 DNS 不可用报告会列候选区域;确认区域无误再查出网WAF「未找到防护域名」域名在非默认企业项目,或确实没接 WAF把子账号加进该企业项目CCE is forbiddenkubeconfig 的 RBAC 不够补 Role 的 secrets 权限ELB 报 409更新时带了 domain用默认 in_place,别自己拼 domain六、写在最后技术上没什么高深的,难的都是细节:WAF 不能先删后传、ELB 不能带 domain、CCE 只改 data 别动别的字段、指纹要用 DER 而不是 PEM。每一条都是踩过才知道的。再强调一次定位:这是个人自研的测试版插件,不是华为云官方能力,请自行测试、自行评估风险,别直接接到生产域名上。遇到问题欢迎在评论区交流,尤其是你踩到的坑——多一个环境验证过,这东西才更靠谱。最省事的结论就三句:三个产品全都要 → 抄第三节那份完整 JSON,注意老版/新版别抄错;只做 CCE 更新 Secret → 只要 cce:cluster:get 一条(新版两条);装完先跑一次「权限测试」,它会直接告诉你哪个产品能部署、缺什么;建部署节点时记得把配置模式切「自定义」再保存。
  • [技术干货] 使用ALL in SSL 申请免费SSL并实现华为云WAF、ELB、CCE的SSL证书自动化更新,再也不用担心SSL证书过期!
    把 SSL 证书续期彻底自动化(测试版,欢迎体验)⚠️ 先说清楚三件事(请务必读完):1. 这个华为云插件是我个人开发的,不是华为云官方产品,目前处于测试阶段,接口和参数还会变;2. 请先在测试环境跑通,再考虑用在生产,用法和风险请自行评估;3. 文中出现的账号、域名、项目 ID 都是示例。测试插件下载链接:插件下载链接:https://pan.quark.cn/s/87edd66b88a4?pwd=cXra30 秒看完怎么用:把 huaweicloud 放进 ALLinSSL 的 plugins/ 目录,chmod 755;ALLinSSL → 授权 API → 新增 → 类型「插件」→ 插件名 huaweicloud → 填 AK/SK 两个框,完事;授 IAM 权限(第三节抄 JSON)→ 跑一次「权限测试」看报告 → 建部署节点(配置模式记得切「自定义」)。AK/SK 就在界面上填,不需要写任何配置文件。 只有 IAM 策略需要贴 JSON。一、它解决什么问题证书申请早就不难了,certbot、acme.sh、ALLinSSL 都能自动续。真正烦的是续完之后:WAF 要传新证书再绑回防护域名,ELB 要更新证书内容,CCE 里 ingress 的 TLS Secret 也要换一份——三个控制台,每个季度来一次,还怕漏。这个插件就是把最后这一段也交给程序:ALLinSSL 续期成功后,自动把证书推到华为云的 WAF / ELB / CCE,不用登录控制台。它一共 4 个动作:动作干什么waf上传新证书 → 覆盖绑定到 WAF 防护域名elb原地更新 ELB 证书内容(监听器、SNI 完全不动)cce更新 CCE 集群里的 kubernetes.io/tls Secretping(界面显示「权限测试」)只读自检,不改任何东西,按产品给结论(装完先跑这个)二、上手:4 步,10 分钟第 1 步:把插件放进 plugins 目录tar -xzf huaweicloud-linux-amd64.tar.gz cp huaweicloud /www/allinssl/plugins/huaweicloud # 路径按你的实际安装位置 chmod 755 /www/allinssl/plugins/huaweicloud ls -l /www/allinssl/plugins/huaweicloud # 必须是 -rwxr-xr-x # 验证能跑(这个插件走 stdin/stdout 的 JSON 协议,没有 -h、没有 --version) echo '{"action":"get_metadata"}' | /www/allinssl/plugins/huaweicloud返回一大段 JSON,能看到 “version”:“1.7.2” 就说明插件正常。三个注意点:每次重传都必须重新 chmod 755。用 SFTP / 面板覆盖上传会丢掉执行位,文件变成 -rw-r–r-- 时 ALLinSSL 直接不识别插件(进程根本起不来),而且报错不明显;ARM 机器传 huaweicloud-arm64,改名为 huaweicloud;plugins/ 里只留一个 huaweicloud。ALLinSSL 是实时扫描这个目录的(放进去就识别、不用重启),旧版同名文件留着会被后注册、把新版覆盖掉,看起来就像「升级没生效」。第 2 步:加授权 API,填 AK/SK(不用写配置文件)ALLinSSL 控制台 → 授权 API → 新增,按下图填:名称: 随便起,比如 华为云-证书部署 类型: 插件 插件名称: huaweicloud 配置模式: 默认 华为云 AK: 控制台 → 我的凭证 → 访问密钥 里的 Access Key ID 华为云 SK: 同一处的 Secret Access Key就填 AK/SK 这两个框,不需要写任何配置文件(区域、项目 ID 都挪到部署节点表单里了,这里不出现)。填完点确认,跑一次权限测试(第 3 步)后,插件会把 AK/SK 加密保存到服务器本地(/www/allinssl/.huaweicloud-vault,权限 0600),之后两个框可以清空,插件自动解密使用。这里的「配置模式:默认」指授权 API 这一处。部署节点里也有一个同名选项,作用是另一回事,见第 3、4 步。AK/SK 建议用独立的 IAM 子账号,别用主账号,别给 admin。需要哪几条权限见第三节。第 3 步:跑一次权限测试(只读,别跳)工作流 → 部署节点 → 部署类型「插件」→ 选刚建的授权 → 方法选「权限测试」,填两项:区域ID: cn-north-4 (只填区域 ID,不要带 .myhuaweicloud.com 后缀) 项目ID: 32 位 (我的凭证 → 项目列表,切到同一区域后查看)⚠️ 保存前先把「配置模式」切到「自定义」,再点确定。 这一步不是可选项,原因见第 4 步。报告是按产品给结论的,不用自己逐条猜:✅ WAF 可以部署(4/4 通过) ⚠️ ELB 可以部署,但有 1 项降级 缺 elb:listeners:list → 无法判断证书是否被监听器引用 ❌ CCE 无法部署 缺 cce:cluster:get → 换不到集群访问证书 【不影响】EPS 缺了只是效率变低,仍能部署看到 ❌ 就照着提示补权限;看到「🔑 AK/SK 或签名校验失败」,那不是权限问题,先检查 AK/SK 有没有多空格、服务器时间是否偏差超过 15 分钟。第 4 步:建真正的部署节点方法选「部署到华为云 WAF / ELB / CCE」,区域和项目 ID 可以留空(自动用权限测试保存的值),部署域名是下拉框、实时从云上拉的,选一下就行,不用手打。⚠️ 保存时同样把「配置模式」切到「自定义」,再点确定。不切的话,执行时会报「插件参数错误:params」。这是 ALLinSSL v1.1.x 的已知问题:前端「默认」模式把参数存成对象,后端只接受字符串,而报错发生在调用插件之前,插件侧没法绕过。切换时前端会自动做 JSON 序列化,表单填的内容不会丢。如果已经报错了,回头编辑这个部署节点,切「自定义」再保存一次就恢复。这一步我卡了很久,先写在这里帮你省时间。三、IAM 授权:照抄一段 JSON 就行要授哪几条你要部署的目标需要授条数WAF / ELB / CCE 全都要下面那份完整 JSON老版 16 / 新版 17只 WAFWAF 5 条 + EPS 1 条6只 ELBELB 9 条(日常只用其中 4 条)9 / 4只 CCE(更新 Secret)cce:cluster:get老版 1 / 新版 2一次性讲清 17 条分别干什么:产品授权项缺了会怎样WAFwaf:host:list无法部署(定位不到防护域名)WAFwaf:certificate:get能部署但每次新建证书,云上会堆重复证书WAFwaf:certificate:create无法部署WAFwaf:certificate:apply无法部署(覆盖绑定用)WAFwaf:certificate:delete只影响「清理旧证书」勾选框ELBelb:certificates:list无法部署ELBelb:certificates:show无法部署(更新前后都要查一次)ELBelb:certificates:update无法部署(原地更新)ELBelb:certificates:create / delete只影响 replace 模式ELBelb:listeners:list能更新,但无法判断证书是否在用ELBelb:listeners:show / update只影响 replace 模式ELBelb:loadbalancers:show只影响 replace 模式预检EPSeps:enterpriseProjects:list只查默认企业项目,域名不在 default 时找不到CCEcce:cluster:getCCE 无法部署(换不到集群证书)CCEcce:cluster:generateClientCredential新版身份策略才需要,和上一条一起给完整 JSON(WAF + ELB + CCE 全功能)先确认你的 IAM 是哪一版——控制台里是「IAM → 权限 → 策略」就是老版,是「IAM → 权限 → 身份策略」就是新版。差别只在 ELB 那几个动作名和 Resource:差别老版(1.1)新版(5.0)Resource不写必写 [“*”]查/改证书get / putshow / update查/改监听器get / putshow / update查负载均衡器getshowWAF / EPS / CCE两版同名两版同名老版自定义策略(Version 1.1,16 条):{ "Version": "1.1", "Statement": [{ "Effect": "Allow", "Action": [ "waf:host:list", "waf:certificate:get", "waf:certificate:create", "waf:certificate:apply", "waf:certificate:delete", "elb:certificates:list", "elb:certificates:get", "elb:certificates:put", "elb:certificates:create", "elb:certificates:delete", "elb:listeners:list", "elb:listeners:get", "elb:listeners:put", "elb:loadbalancers:get", "eps:enterpriseProjects:list", "cce:cluster:get" ] }] } 新版身份策略(Version 5.0,17 条):{ "Version": "5.0", "Statement": [{ "Effect": "Allow", "Action": [ "waf:host:list", "waf:certificate:get", "waf:certificate:create", "waf:certificate:apply", "waf:certificate:delete", "elb:certificates:list", "elb:certificates:show", "elb:certificates:update", "elb:certificates:create", "elb:certificates:delete", "elb:listeners:list", "elb:listeners:show", "elb:listeners:update", "elb:loadbalancers:show", "eps:enterpriseProjects:list", "cce:cluster:get", "cce:cluster:generateClientCredential" ], "Resource": ["*"] }] } 老版比新版少 1 条,只是老版不需要 generateClientCredential,不是漏写。只部署一个产品时的 JSON只 WAF(6 条,两版同名):{ "Version": "1.1", "Statement": [{ "Effect": "Allow", "Action": [ "waf:host:list", "waf:certificate:get", "waf:certificate:create", "waf:certificate:apply", "waf:certificate:delete", "eps:enterpriseProjects:list" ] }] } 只 ELB(老版 9 条;★ 是日常原地更新必需的 4 条,其余 5 条只在 replace 模式用):{ "Version": "1.1", "Statement": [{ "Effect": "Allow", "Action": [ "elb:certificates:list", "elb:certificates:get", "elb:certificates:put", "elb:listeners:list", "elb:certificates:create", "elb:certificates:delete", "elb:listeners:get", "elb:listeners:put", "elb:loadbalancers:get" ] }] } 新版把 get→show、put→update,加 “Resource”: [“*”],条数不变。只 CCE(更新 Secret):{"Version": "1.1", "Statement": [{"Effect": "Allow", "Action": ["cce:cluster:get"]}]} 新版改成:{ "Version": "5.0", "Statement": [{ "Effect": "Allow", "Action": ["cce:cluster:get", "cce:cluster:generateClientCredential"], "Resource": ["*"] }] } 只做 CCE 时,WAF 那 5 条、ELB 那 9 条、EPS 那 1 条一条都不用给。两个最容易配错的点① 企业项目(EPS):all_granted_eps 只能用于查询,写操作必须落到具体企业项目。域名不在默认企业项目时,除了授 eps:enterpriseProjects:list,还要把子账号加进那个企业项目,否则报「未找到防护域名」。这一步最容易漏。② CCE 是两条路,二选一,不要叠加:你的情况表单填什么IAM 要给只有 AK/SKcluster_idcce:cluster:get(新版 +1 条),不用配 K8s Role能拿到 kubeconfigkubeconfig(文件路径 / base64 / 内联)0 条 cce:*,但要配 K8s RBACcluster_id 换到的是集群管理员级证书,改 Secret 时 K8s 侧天然放行,不用配 Role——这就是「纯 IAM 路线」。kubeconfig 方式插件完全不碰 CCE API,权限由这份 kubeconfig 的 RBAC 决定。注意 kubeconfig 本身就是凭证,控制台直接下载的那份是管理员级,风险比 cce:cluster:get 还大。推荐让管理员建一个 ServiceAccount + 单命名空间 Role 再签发:apiVersion: v1 kind: ServiceAccount metadata: name: allinssl namespace: yfsrm-test # 换成你的命名空间 --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: allinssl-secret-writer namespace: yfsrm-test rules: - apiGroups: [""] resources: ["secrets"] verbs: ["get", "list", "create", "update"] --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: allinssl-secret-writer namespace: yfsrm-test subjects: - kind: ServiceAccount name: allinssl namespace: yfsrm-test roleRef: kind: Role name: allinssl-secret-writer apiGroup: rbac.authorization.k8s.io只需要 get / list / create / update 四个 verb,不需要 delete——插件从不删 Secret。四、几个容易踩的坑(挑重点说)WAF:不原地改旧证书,也不先删后传。WAF 有 UpdateCertificate,能改,但改的那一瞬间所有绑着它的域名一起变,出问题没有缓冲期,也没法只给其中一个域名换证。所以插件的顺序是:上传新证书 → apply-to-hosts 覆盖绑定 → 复核。旧证书全程可用,删不删由你决定。「清理被替换的旧证书」默认不勾。勾了才会删,而且只删「本次替换下来、且此刻已无任何域名绑定」的那几张,删之前会重查一遍。私钥丢了找不回来,删证书不可逆——前几次建议先不勾。ELB 更新时不能带 domain。只 PUT certificate + private_key 两个字段,带上 domain 会报 409。监听器和 SNI 一律不动,这是默认的 in_place 模式。只有必须换证书对象 ID 时才用 replace(要在「自定义」里写 “mode”:“replace” 并给 listener_id)。幂等靠指纹,不靠名字。同名证书只有内容指纹完全一致才复用,名字相同内容不同一律新建——避免「名字对了但证书是旧的」这种最难查的问题。五、出问题怎么查现象原因怎么办报「插件参数错误:params」配置模式没切「自定义」,参数被存成对象切「自定义」再保存(见第 3、4 步)授权界面选不到 huaweicloud二进制没有执行位,或 plugins/ 里有旧版同名文件chmod 755;删掉旧版只留一个,实时扫描不用重启❌ 403缺对应授权项按权限测试报告里的 → 提示补🔑 401 / 签名失败AK/SK 错、有多余空格、服务器时间偏差 >15 分钟不是权限问题,先修凭证🌐 域名解析失败区域拼错(如 cn-north-d)或服务器 DNS 不可用报告会列候选区域;确认区域无误再查出网WAF「未找到防护域名」域名在非默认企业项目,或确实没接 WAF把子账号加进该企业项目CCE is forbiddenkubeconfig 的 RBAC 不够补 Role 的 secrets 权限ELB 报 409更新时带了 domain用默认 in_place,别自己拼 domain六、写在最后技术上没什么高深的,难的都是细节:WAF 不能先删后传、ELB 不能带 domain、CCE 只改 data 别动别的字段、指纹要用 DER 而不是 PEM。每一条都是踩过才知道的。再强调一次定位:这是个人自研的测试版插件,不是华为云官方能力,请自行测试、自行评估风险,别直接接到生产域名上。遇到问题欢迎在评论区交流,尤其是你踩到的坑——多一个环境验证过,这东西才更靠谱。最省事的结论就三句:三个产品全都要 → 抄第三节那份完整 JSON,注意老版/新版别抄错;只做 CCE 更新 Secret → 只要 cce:cluster:get 一条(新版两条);装完先跑一次「权限测试」,它会直接告诉你哪个产品能部署、缺什么;建部署节点时记得把配置模式切「自定义」再保存。
  • [问题求助] CCE 上用 ReadWriteOncePod 的云硬盘 PVC,滚动更新时新 Pod 一直 ContainerCreating 报 volume is already used
    背景:CCE 1.25 集群,StatefulSet 挂 EVS 云硬盘做数据盘。之前 accessModes 写的是 ReadWriteOnce,结果滚动发布时同节点起了两个副本,两个进程同时写同一个数据目录,索引文件损坏了。 查了文档才知道 RWO 只保证「一个节点」,不保证「一个 Pod」。于是把 PVC 改成 ReadWriteOncePod 重建(先缩容到 0,删 PVC 保留 PV,用原 PV 建新 PVC 指定 RWOP)。 改完之后独占是生效了,但出现了新问题:滚动更新时新 Pod 一直起不来,事件是: ```Warning FailedAttachVolume volume is already used by pod(s) xxx-0``` 旧的 Pod 还在 Terminating(terminationGracePeriodSeconds 设的 60),新的要 attach 同一块盘,attach 不上,而旧的又不会因为新的没 Ready 而被删,就这么卡住,最后 progressDeadlineSeconds 超时。 想问几个点: 1. 这个「attach 排他」的判定是在 VolumeAttachment 层还是 CSI 层?为什么同节点也会被挡住?2. 官方推荐的更新方式是什么?我现在能想到的是把 Deployment 改成 Recreate 策略(有停机窗口),或者把 gracePeriod 收到 15 秒让旧 Pod 快点退出。还有别的办法吗?3. 有没有可能做到「几乎不停机」?比如先让旧 Pod 卸载卷(umount)再让新的 attach?K8s 有没有类似的钩子?4. 如果业务其实需要多副本共享数据,是不是一开始就不该用 EVS,而应该换 SFS?换 SFS 之后 RWX 的并发写一致性靠什么保证(还是说根本不该依赖它)?5. RWOP 对 CSI 驱动版本有没有要求?我这套驱动是从老集群升级上来的,担心是「看起来支持其实不支持」。 补充:StatefulSet 的 podManagementPolicy 是默认的 OrderedReady,副本数 1(单分片),所以理论上不会同时有两个同序号 Pod,但滚动更新时新序号的 Pod 会先创建吗?这点我也不太确定,求解释更新顺序。
  • [问题求助] CCE 里 Ingress 转发 gRPC 长连接,滚动发布时客户端成片 UNAVAILABLE,怎么做到无损
    背景:CCE 1.25 集群,入口用 ingress-nginx(社区版 chart 部署),后端是 6 个副本的 gRPC 服务(Go,grpc-go 客户端)。服务之间走 ClusterIP + Ingress 两种入口,内部调用占 90%,外部客户端走 Ingress + ELB。 现象:每次滚动发布(maxSurge=1、maxUnavailable=0),大约有 30~60 秒的窗口,客户端会拿到 `rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp ...: connect: connection refused"`,以及一部分 `transport is closing`。发布完成后自动恢复,不需要人工介入。 已经做过的:1. Deployment 里加了 preStop:`sleep 15`,`terminationGracePeriodSeconds: 60`;2. 应用侧实现了 graceful stop(收到 SIGTERM 后 `GracefulStop()`,等 in-flight RPC 结束);3. readinessProbe 指向 gRPC health check,失败阈值 3 次;4. Ingress 的 annotation 里配了 `nginx.ingress.kubernetes.io/backend-protocol: "GRPC"`,`proxy-read-timeout` 和 `proxy-send-timeout` 都调到了 3600。 疑问有几个: 1. gRPC 是 HTTP/2 长连接,客户端跟 ingress-nginx 之间是一条连接复用所有 RPC。滚动发布时 ingress-nginx 到旧 Pod 的连接是怎么处理的?nginx 会不会主动发 GOAWAY?如果不会,客户端只能等 TCP 超时或者连接被 RST,这中间必然有一批请求失败。这块有没有推荐的配置(比如 `upstream-keepalive-*`、`keepalive-requests`、`graceful-shutdown` 相关参数)? 2. nginx 到 upstream 的连接默认是短连接,但 gRPC 需要长连接,`upstream-keepalive-connections` 这类参数在 gRPC 场景下到底该不该开?开了之后旧 Pod 的连接怎么优雅断开? 3. 客户端侧除了加重试,还有没有更彻底的做法?我现在配了 `grpc.WithDefaultServiceConfig` 的 retryPolicy(只对 UNAVAILABLE 重试 3 次,退避 100ms),但只在「连接建立失败」时有效,已经建立的 stream 断了还是会失败。用 `wait_for_ready` 能不能覆盖这种情况? 4. 我怀疑还有一层问题:Pod 进入 Terminating 后,Endpoint 摘除和 kube-proxy/ELB 的规则更新有延迟,这期间新连接还会被转发到正在关闭的 Pod。这个延迟在 CCE 上大概是多少?需要额外加 readinessGate 或者 `publishNotReadyAddresses: false` 之类的配置吗? 5. 有没有必要把 Ingress 换成 ELB 直连(四层)来绕开 nginx 的 HTTP/2 连接管理?如果换,gRPC 的负载均衡粒度会从「连接级」变成「连接级」,是不是反而更难均衡? 想听听实际做过 gRPC 无损发布的人的经验,理论上「客户端重试 + 优雅停机」应该够,但实测窗口里还是有一批失败。
  • [问题求助] CCE 节点 conntrack 表满导致 Service 访问偶发 connection reset,怎么确认并调优?
    背景:CCE 1.25 集群,3 个 worker 节点(8C16G),单节点跑 60~80 个 Pod,网络插件是默认的 calico + iptables 模式。业务是一个短连接为主的 HTTP 网关,QPS 峰值 3000 左右。 现象:1. 高峰期每隔十几分钟出现一批 `connection reset by peer`,集中在访问同命名空间的 ClusterIP Service 时;2. 节点 `dmesg` 里能看到 `nf_conntrack: table full, dropping packet`;3. `cat /proc/sys/net/netfilter/nf_conntrack_count` 在故障时接近 `nf_conntrack_max`(当前 131072);4. 同一时刻 Pod 自身 CPU、内存都正常,后端服务日志里没有对应请求,说明请求根本没到应用;5. 重启 kube-proxy 能缓解几分钟,之后又复现。 已经查过的:1. Service 的 `sessionAffinity` 是 `None`,没有开 ClientIP;2. 后端 Pod 的 readiness 正常,Endpoints 列表没有抖动;3. 节点上没有跑大量短连接扫描类任务;4. `nf_conntrack_tcp_timeout_established` 还是默认的 432000(5 天),`nf_conntrack_tcp_timeout_time_wait` 是 120。 具体想问:1. 怎么把“conntrack 满”和“后端/网络问题”区分开?除了 dmesg 和 count/max,有没有更直接的指标(比如 `conntrack -S` 里的 insert_failed、drop)能作为判定依据?2. `nf_conntrack_max` 在 CCE 节点上怎么改才是持久的?我直接改 `/etc/sysctl.conf` 之后,节点池扩容出来的新节点又变回默认值了;用 DaemonSet 跑 `sysctl -w` 能生效但不持久,节点重启就丢。官方推荐的方式是节点池的自定义初始化脚本吗?3. `nf_conntrack_max` 调大之后内存开销怎么估算?我看到有说每条 300 字节左右,1M 条就是 300MB,但这是 SLAB 不可回收的内存,节点内存本来就紧张,这个换算准吗?4. `nf_conntrack_tcp_timeout_established` 从 5 天调到 1 小时,对长连接业务(比如 WebSocket、gRPC 流式)会不会有影响?调小之后 conntrack 是立刻回收还是等连接真正关闭?5. iptables 模式下每个 Service 的规则数是线性的,Pod 数量到 200+ 之后 kube-proxy 同步规则的耗时也会变长。这种情况是不是应该直接换 IPVS 或者 eBPF 数据面?换 IPVS 之后 conntrack 的压力会小一些吗?6. 有没有办法只对“新建连接速率”做限流,而不是等表满了才开始丢包?比如在节点上限制某个 Pod 的出向 SYN 速率。
  • [问题求助] StatefulSet 滚动更新新 Pod 一直 Pending:报 volume node affinity conflict,PVC 绑在另一个可用区
    背景:CCE 1.25 集群,一个节点池跨了两个可用区(az1 两个节点、az2 一个节点),跑一个有状态服务。StatefulSet 用 volumeClaimTemplates 自动建 EVS 云硬盘,3 个副本,每个副本 100G。 现象:1. 改了 StatefulSet 的镜像做滚动更新,第 1 个 Pod 删掉之后,新的 Pod 一直 Pending,事件里是:   `0/3 nodes are available: 1 node(s) had volume node affinity conflict, 2 node(s) didn't match Pod's node affinity/selector.`2. 但老 Pod 之前跑得好好的,说明存储本身没问题。3. 只有 1 个副本能更新成功,就是原来落在 az1 的那个(它删了之后新建的 Pod 恰好又被调度到 az1)。另外两个(原本在 az2)一直起不来。4. `kubectl get pv` 看,这几个 PV 的 `spec.nodeAffinity.required.nodeSelectorTerms` 里 `topology.kubernetes.io/zone` 全是 `az1`,但 Pod 原本是可用的。 我推断是:PVC 当初是用 Immediate 模式绑定的,PV 直接钉在了 az1 的某个 EVS 上;后来 Pod 被调度到 az2 时其实一直在跨 AZ 挂载(或者当时是另一个盘),现在重新创建 Pod 时调度器按 PV 的 nodeAffinity 去过滤,就找不到节点了。 已经查过的:1. StorageClass 的 `volumeBindingMode` 是 `Immediate`,不是 `WaitForFirstConsumer`。2. 三个 PVC 的 `status.phase` 都是 Bound,没有 Pending 的。3. 节点池的标签里,az1 的节点有 `topology.kubernetes.io/zone=az1`,az2 的是 `az2`,标签正常。4. 没有给 Pod 配 nodeSelector / nodeAffinity / 反亲和。5. StatefulSet 的 `podManagementPolicy` 是 OrderedReady。 具体想问:1. `Immediate` 和 `WaitForFirstConsumer` 在这个场景下的差别到底是什么?如果改成 `WaitForFirstConsumer`,已经 Bound 的 PVC 会不会重新调度?还是只有新建的 PVC 才生效?2. 现在这批 PV 已经钉死在 az1 了,除了删掉重建 PVC 丢数据,有没有办法把它们"迁"到 az2?我查到 EVS 支持从快照在另一个 AZ 创建云硬盘,那条路径在 CCE 里怎么走——是先手工建 PV/PVC 再挂,还是有别的做法?3. 跨 AZ 的节点池跑有状态服务,官方推荐姿势是什么?是给 StatefulSet 加 `nodeSelector: topology.kubernetes.io/zone=az1` 把 Pod 都压在 az1,还是每个 AZ 各建一个 StatefulSet?前者会浪费 az2 的节点,后者运维成本高。4. 那个"2 node(s) didn't match Pod's node affinity/selector"是什么意思?我明明没配 nodeAffinity,这个 selector 是哪来的?是不是调度器把 PV 的 nodeAffinity 算进了 Pod 的约束里?5. 现在有两个 Pod 卡在 Pending,滚动更新就停在那里不动了。有没有办法让它别卡住(比如回滚),同时不影响已经在跑的那个新 Pod?6. 如果我把 az2 的那台节点从节点池里摘掉,让节点池只剩 az1,这些 Pending 的 Pod 会自动调度成功吗?还是需要重建 PVC?
  • [问题求助] CCE 节点池缩容一直卡在 PDB:3 副本 minAvailable=2,ALLOWED DISRUPTIONS 却是 0
    背景:CCE 集群 1.25,节点池开了自动缩容,池里 3 个节点,每个节点跑一个 3 副本 Deployment 的 Pod(requests 1 核 2G,反亲和按节点打散)。为了让滚动升级时服务不断,给这个 Deployment 配了 PodDisruptionBudget:   apiVersion: policy/v1  kind: PodDisruptionBudget  metadata:    name: api-pdb    namespace: prod  spec:    minAvailable: 2    selector:      matchLabels:        app: api 现象:1. 节点池缩容一直不成功,事件里反复出现 `Cannot evict pod as it would violate the pod's disruption budget`。2. `kubectl get pdb -n prod` 显示 MIN AVAILABLE 2、ALLOWED DISRUPTIONS 0。3. `kubectl describe pdb api-pdb` 里 currentHealthy=3、desiredHealthy=2、expectedPods=3、disruptionsAllowed=0。4. 我手动 `kubectl drain` 一个节点,也被同样的原因拒绝,最后只能加 --ignore-daemonsets --force 才驱逐掉。5. 把 PDB 删掉之后缩容立刻就成功了,说明确实是它在拦。 按我的理解,3 个副本、minAvailable=2,允许 1 个不可用,那 disruptionsAllowed 应该是 1 才对。现在是 0,说明哪里算错了,但我看不出是哪一项。 已经查过的:1. selector 用 `kubectl get pods -l app=api` 能匹配到正好 3 个 Pod,没有多余标签误命中(比如把 cronjob 的 Pod 也算进来了)。2. 三个 Pod 都是 Running 且 3/3 Ready,readinessProbe 正常。3. 没有配 maxUnavailable,只写了 minAvailable。4. apiVersion 是 policy/v1,不是已废弃的 v1beta1。 具体想问:1. disruptionsAllowed 的计算公式到底是什么?是 `currentHealthy - desiredHealthy` 吗?如果是,3-2=1 为什么显示 0?有没有可能是 currentHealthy 只统计了「Ready 且不在终止中」的 Pod,而当时正好有一个 Pod 在重启?2. 有一种说法是「PDB 只在 eviction API 生效,drain 默认走 eviction,但 cluster-autoscaler / CCE 节点池缩容走的是先 cordon 再删除节点,可能绕过 PDB 或者被 PDB 反向卡住」。CCE 的节点池缩容到底走不走 eviction?如果走,为什么和手动 drain 的表现不一致(一个一直重试,一个直接失败)?3. 反亲和 + 每节点 1 Pod 的布局下,缩容意味着必然有节点上的 Pod 要被驱逐。这种场景 PDB 应该怎么配才既不阻塞缩容、又保证升级时不断服?用 minAvailable: 50% 和 maxUnavailable: 1 在语义上有什么区别?4. 有没有可能是我把 PDB 的 selector 和 Deployment 的 selector 写重了,导致 PDB 匹配到了别的 namespace 里的同名 Pod?PDB 的作用域是 namespace 内还是集群级?5. 缩容卡住时,除了看 PDB 事件,还有什么地方能看到「为什么不允许驱逐」的详细原因?CCE 控制台的节点池事件里只显示一句笼统的失败。6. 如果业务确实需要「任意时刻至少 2 个可用」,而节点只有 3 个、又必须缩到 2 个节点,这个约束本身是不是矛盾的?这时候是不是应该改成「先扩容再缩容」,或者干脆关掉自动缩容、按时间段手动调?
  • [问题求助] CCE 里 HPA 配了 CPU 70% 触发,压测时 CPU 明明打上去了却一直不扩容
    背景:CCE 集群(1.25),一个 Java 服务,Deployment 3 副本,单副本 requests cpu 500m、limit 1000m。按官方文档配了 HPA,目标 CPU 利用率 70%,minReplicas 3,maxReplicas 10。 现象:1. 用 wrk 压测,单个 Pod 的 CPU 从 0.2 核一路涨到 0.95 核,已经贴着 limit 了,但副本数一直是 3,没有扩容。2. kubectl get hpa 显示 TARGETS 那一列是 `<unknown>/70%`,不是具体的百分比。3. 有时候会突然扩到 4~5 个副本,但压测早就结束了,扩出来的 Pod 又慢慢缩回去。4. kubectl describe hpa 的 Events 里能看到 `failed to get cpu utilization: missing request for cpu` 之类的信息,但不确定是不是关键。 已经查过的:1. 确认 HPA 关联的 Deployment 名字和 namespace 都对,kubectl get hpa -o yaml 里 scaleTargetRef 正确。2. 确认 maxReplicas 不是 3,确实是 10。3. 服务本身没有做限流,压测的 QPS 能正常打到 Pod 上。4. 集群装了 metrics-server,kubectl top pod 能看到数据。 具体想问:1. TARGETS 显示 `<unknown>` 是什么原因?我看到 describe 里有 `missing request for cpu`,但我明明在 Deployment 里写了 requests。有没有可能是 HPA 读的是另一个字段,或者写的位置不对(比如写在 initContainer 上、或者被 LimitRange 覆盖了)?2. HPA 算 CPU 利用率的公式到底是什么?是 `实际用量 / requests` 还是 `实际用量 / limit`?如果我的 requests 是 500m,实际跑到 0.95 核,按前者算应该是 190%,为什么反而不触发?3. 现象 3 里那种「压测结束后才扩容」的延迟是怎么来的?是不是指标采集有滞后?默认的 sync-period 和 metrics 的采集间隔是多少,需要调吗?4. 如果把 requests 调大(比如调到 1 核),HPA 的利用率算出来会变小,反而更难触发扩容——这种理解对吗?那 requests 和 HPA 目标值应该怎么配合着设才合理?5. 有没有办法让 HPA 在 CPU 之外也参考内存或者自定义指标(比如 QPS)?CCE 上配自定义指标需要额外装什么组件?6. 扩容后 Pod 从 Pending 到 Ready 要 20 多秒(镜像拉取 + JVM 启动),这段时间流量已经打过来了,HPA 扩容其实救不了急。这种场景是不是应该用别的方案(比如提前扩容、或者调大 minReplicas)?
  • [问题求助] CCE 里给容器设了 CPU limit 之后接口 P99 反而变高,监控显示 CPU 用量却一直很低
    背景:CCE 集群,节点是 8C16G 的通用型,业务是一个 Go 写的 HTTP 服务,副本数 6。上线前只设了 requests(cpu 500m / memory 1Gi),没设 limit。为了做资源隔离,最近按平台建议补上了 limits(cpu 1000m / memory 2Gi),结果出问题了。 现象:1. 补 limit 之后,服务整体 QPS 没变、错误率没变,但 P99 从 80ms 涨到了 400ms 左右,P50 基本没动(还是 20ms 上下)。2. 看 AOM 里的容器 CPU 使用率,一直稳定在 0.3~0.5 核,离 1 核的 limit 差得远,看起来完全没到瓶颈。3. 只有一部分 Pod 慢,不是全部。6 个副本里大概 2 个的 P99 明显偏高。4. 把 limit 去掉之后 P99 立刻恢复。 自己查过的方向:1. 一开始怀疑是节点资源不足导致调度问题,看了节点 allocatable 和实际用量,节点还有 3 核空闲,不像。2. 怀疑是 Go 的 GC,因为 GOGC 默认 100,限制内存后 GC 变频繁。调了 GOGC 和 GOMEMLIMIT,有所缓解但没解决。3. 怀疑是 limit 设太小导致 OOMKilled,但 kubectl get pod 里 restart 次数是 0,没有 OOM 记录。 具体想问:1. 「CPU 使用率只有 0.5 核但 limit 是 1 核」这种情况下也会被 cgroup 限流吗?我理解的限流应该是用量打到上限才触发,这个理解对吗?如果不对,限流的具体判定依据是什么?2. Go 这种多线程 runtime 的服务,在 CPU limit 下是不是特别容易吃到限流?有没有办法在不去掉 limit 的前提下缓解(比如调整 GOMAXPROCS)?3. 怎么确认真的发生了限流?CCE 的监控里我只看到 CPU 使用率和使用率百分比,没找到 throttling 相关的指标。有没有办法在容器内或者节点上直接看到被 throttled 的时间?4. 如果确认是限流,limit 应该怎么设比较合理?是和 requests 设成一样(Guaranteed),还是留一定倍数?我们现在的 requests 是 500m、limit 是 1000m,这个比例有没有问题?
  • [问题求助] CCE 集群里 Pod 偶发 DNS 解析耗时 5 秒整,业务日志显示 connect timeout 后又成功
    背景:CCE 集群,3 个节点,业务是 Java 微服务,服务间通过 Service 名互相调用。最近监控上出现一类很有规律的抖动:调用下游服务的 P99 从 20ms 跳到 5000ms 出头,日志里是 UnknownHostException 或者 connect timeout,但重试一次就成功。 现象细节:1. 耗时基本固定在 5.0 秒左右,非常整齐,不像网络拥塞;2. 发生频率不高,一天十几次,集中在业务低峰期;3. 受影响的不止一个服务,但同一个 Pod 出过一次之后,短时间内不会再出;4. CoreDNS 有 2 个副本,两个都在 Running,没重启过,CPU 和内存都很低。 自己怀疑的方向:1. 是不是 CoreDNS 副本数不够,高并发查询打满了?但集群 QPS 并不高,CoreDNS 的 CPU 一直在 5% 以下。2. 是不是 conntrack 表满了导致 UDP 包被丢,然后按超时重试?查了 node 上的 nf_conntrack_count,离上限还有距离。3. 5 秒这个数字很眼熟,像 resolv.conf 里的 timeout 和 attempts 组合出来的(timeout:5 attempts:2 或者两次 2.5 秒),但容器里的 resolv.conf 是平台自动生成的,我没改过。 具体想问:1. CCE 默认给 Pod 注入的 resolv.conf 里 ndots 是几?options 具体是什么?如果 ndots:5,那解析一个外部域名(比如 OBS 的 endpoint)是不是会先尝试 4 次 search 域拼接,全失败后才查绝对域名?这种放大在实际查询量上大概是多少倍?2. 5 秒整这个现象,最可能是「第一次查询超时后重试成功」还是「search 域逐个尝试累加」?怎么用抓包或日志把这两者区分开?3. 如果确认是 search 域放大,除了在 Deployment 里显式设置 dnsConfig 的 ndots:2,还有没有别的推荐做法?改小 ndots 会不会影响集群内部 Service 名的解析?4. CoreDNS 侧有没有可以加的观测项,能直接看到「某次查询被 NXDOMAIN 了几次才成功」?现在只有 CoreDNS 自带的 prometheus 指标,看起来颗粒度不够。
  • [问题求助] CCE 滚动更新时偶发 502,terminationGracePeriodSeconds 已调到 60 还是复现
    线上一个 Java 服务跑在 CCE 集群里,Deployment 配了 3 副本,滚动更新策略是 maxSurge=1、maxUnavailable=0。每次发版期间监控上会出现个位数到十几次的 502,持续时间大约 10~30 秒,发版结束后自动恢复。 已经做过的调整:1. terminationGracePeriodSeconds 从默认 30 调到 60;2. 容器里加了 preStop,内容是 sleep 15;3. readinessProbe 配的是 httpGet /health,initialDelaySeconds 10、periodSeconds 5,失败阈值 3;4. Service 通过 ELB 的 7 层监听暴露,后端直接指向 Pod IP(没有经过 ingress-nginx)。 疑问:1. 从「Pod 进入 Terminating」到「从 Endpoints 摘除」这两件事的先后顺序到底是怎样的?我理解应该先摘流量再发 SIGTERM,但现象看起来像是先停了进程。2. preStop sleep 15 和 terminationGracePeriodSeconds 60 的关系是什么?preStop 的耗时算不算在 grace period 里面?如果算,那 sleep 15 是不是相当于从 60 里扣掉了 15?3. ELB 后端摘除会不会有额外的生效延迟(比如健康检查周期导致要等几十秒才真正不再转发)?这部分延迟该由谁来覆盖?4. 有没有办法在不改代码的前提下,确认 502 到底是「连接被重置」还是「上游无可用后端」?现在看 ELB 的监控只有 5xx 总数。
  • [问题求助] CCE 节点池滚动升级,如何保证长连接业务不中断?
    集群里有几个节点跑的是 WebSocket 长连接服务(每台大概 3 万个连接)。现在要做节点池的 Kubernetes 版本升级,担心的是排空(drain)时 Pod 被重建,长连接会成批断开,客户端重连风暴把新 Pod 压垮。 目前的做法:1. 给 Deployment 配了 PodDisruptionBudget,minAvailable 设成 80%;2. 容器里加了 preStop,sleep 30 秒后主动关闭监听并等待已有连接自然结束;3. 用节点池的「分批升级」,一次只升 1 台。 想确认几点:1. CCE 节点池升级时的 drain 是否会遵守 PodDisruptionBudget?还是按节点粒度直接驱逐?2. preStop 的执行时长有没有上限?gracePeriodSeconds 设成 120 秒够不够?3. 有没有官方推荐的「先摘流量再排空」做法,比如配合 ELB 的健康检查下线延迟? 如果大家有类似长连接业务在 CCE 上升级的经验,欢迎指点一下具体参数怎么配。
  • [问题求助] CCE 集群节点 NotReady 后 Pod 驱逐的阈值和顺序是怎么定的,DaemonSet 会被驱逐吗
    在使用 CCE 集群时遇到节点 NotReady 后 Pod 被驱逐的情况,想了解驱逐(eviction)的触发阈值和最佳实践。比如节点内存/磁盘压力达到多少比例会触发 kubelet 驱逐,驱逐顺序是怎么排的(先驱逐个 Pod 还是按 QoS),以及有没有办法只驱逐特定命名空间的 Pod?另外对于 DaemonSet 类型的 Pod,默认是不是不会被驱逐,需要额外配置 toleration 吗?
总条数:507 到第 页
上滑加载中