【云上运维9月月刊】云上运维社区月刊，每月更新一刊，欢迎大家品读技术实践【云上运维工具箱】【第1讲】应用运维管理服务架构浅析&概念简介【云上运维工具箱】【第2讲】超全面的云上运维使用引导图【云上运维工具箱】【第3讲】应用运维管理AOM使用流程【云上运维工具箱】【第4讲】应用运维管理服务AOM的使用注意事项【云上运维工具箱】【第5讲】基础运维——如何安装ICAgent热点资讯华为全联接大会20192019入门级云主机选型测试报告敲黑板 | 一图看懂全面升级的华为云基础服务华为云首款鲲鹏弹性云服务器KC1正式商用，性价比提升30%华为张顺茂：与鲲鹏共展翅，昇腾九万里华为云成为全球唯一通过TL9000的云服务商华为云发布超高性能分布式缓存鲲鹏Redis，软硬件全系升级ABB与华为宣布战略合作，基于华为云推进中国工业数字化华为云邓涛：Cloud+AI+5G+IoT新裂变，创造新体验、新应用、新产业重新定义混合云：全新混合云解决方案华为云Stack 8.0发布视频专区7天转型运维实战营华为云活动免费试用特惠专区限时秒杀常见咨询类问题FAQAOM如何计费？AOM有哪些使用限制？AOM与APM有何区别？如何区分告警和事件？时间范围和统计周期的关系？AOM展示的日志是否为实时日志？日志转储成功后，容器中的原日志会删除吗？配置了阈值规则告警，却没收到邮件通知。APM如何收费？什么是Apdex和Apdex阈值?如何区分告警和事件？JVM监控数据里GC次数为什么有小数？

通过前面的几讲，想必大家对云上运维服务AOM有了一定的了解。本次，我们来介绍一下使用AOM服务之前的注意事项。 1、  操作系统在第一讲架构与概念中，介绍了数据采集层的数据来源有两种，一种是采集器ICAgent，一种是API接入。针对API接入，需要遵循API的使用约束，具体见API参考手册。对于采集器ICAgent，它的主要能力就是数据采集，安装在服务器上。当前采集器支持较多的操作系统，详见下表。操作系统版本SUSESUSE   Enterprise 11 SP4 64bitSUSE   Enterprise 12 SP1 64bitSUSE   Enterprise 12 SP2 64bitSUSE   Enterprise 12 SP3 64bitOpenSUSE13.2 64bit42.2 64bit15.0 64bit（该版本暂不支持syslog日志采集）EulerOS2.2 64bit2.3 64bitCentOS6.3 64bit6.5 64bit6.8 64bit6.9 64bit6.10 64bit7.1 64bit7.2 64bit7.3 64bit7.4 64bit7.5 64bit7.6 64bitUbuntu14.04 server   64bit16.04 server   64bit18.04 server   64bitFedora24 64bit25 64bit29 64bitDebian7.5.0 32bit7.5.0 64bit8.2.0 64bit8.8.0 64bit9.0.0 64bit2、  规格注意事项所谓的规格注意事项，实际上指的是在资源使用时候的一些注意事项，比如在创建仪表盘的时候，一个region最多可以创建50个仪表盘，1个仪表盘中最多可以添加20个图表等等的这些注意事项。比较多，具体的可以在使用过程中摸索。3、  性能管理的注意事项性能管理其实是一种高级运维能力，它的使用注意事项我们在后面介绍了性能管理之后再做注意事项介绍。 本次就先介绍这么多，关于更多的疑问或者注意事项，欢迎您留言历史：【云上运维工具箱】【第1讲】应用运维管理服务架构浅析&概念简介      【云上运维工具箱】【第2讲】超全面的云上运维使用引导图【云上运维工具箱】【第3讲】应用运维管理AOM使用流程  

AOM是一个以资源数据为中心并关联日志、指标、资源、告警和事件等数据的立体运维服务。本次，我们从其架构和基本概念上做个简单的介绍。架构首先来看架构图。 从架构上，主要分为3层，分别是数据采集接入层、传输存储层、业务计算层。数据采集接入层数据采集接入层负责数据的来源，有两种方式：1、Icagent采集：icagent是插件式的数据采集器，主要安装在云服务器上。对于容器集群，会默认安装icagent；对于单独购买的虚拟机，则需要手动方式安装。具体的安装方式后面我们会做详细的介绍。2、API接入：华为云上目前有较多的服务的接入了AOM，此类服务的指标就是通过API方式接入的。另外，AOM要提供了openapi接口或者exporter接口，您可以将自己的业务指标作为自定义指标，接入到AOM中。 传输存储层数据传输：AOM Access是用来接收运维数据的代理服务，运维数据接收上来之后，会将数据投放到Kafka队列中，利用Kafka高吞吐的能力，实时将数据传输给业务计算层。数据存储：运维数据经过AOM后端服务的处理，将数据写入到数据库中，其中Cassandra用来存储时序的指标数据，Redis用来查询缓存，ETCD用来存储AOM的配置数据，ElasticSearch用来存储资源、日志、告警和事件。 业务计算层AOM提供告警、日志、指标等。业务计算层提供的能力，后面我们会为大家做详细的介绍。 下面来介绍下基本概念。基本概念ICAgentICAgent是AOM的采集器，分别运行在每台主机上用于实时采集指标、日志和应用性能数据。安装ICAgent是使用AOM的前提，否则将无法正常使用AOM。 指标指标是对资源、性能的数据描述或状态描述，指标由命名空间、维度、指标名称和单位组成。其中，命名空间特指指标的命名空间，可将其理解为存放指标的容器，不同命名空间中的指标彼此独立，因此来自不同应用程序的指标不会被错误地聚合到相同的统计信息中。维度是指标的分类，每个指标都包含用于描述该指标的特定特征，可以将维度理解为这些特征的类别。下图以集群指标为例，介绍了命名空间、维度和指标的关系。 集群指标主机AOM的每一台主机对应一台虚拟机或物理机。主机可以是您自己的虚拟机或物理机，也可以是您通过华为云购买的虚拟机（例如：弹性云服务器，简称ECS）或物理机（例如：裸金属服务器，简称BMS）。只要主机的操作系统满足AOM支持的操作系统（AOM支持的操作系统详见操作系统使用限制）且主机已安装ICAgent，即可将主机接入到AOM中进行监控。日志AOM提供了海量运行日志的检索和分析功能，支持日志采集、下载、转储、搜索，并提供报表分析、SQL查询、实时监控、关键词告警等能力。告警告警是某些异常情况的警示。当系统的状态达到告警条件时自动上报的信息，告警条件通常是来自AOM服务自身或者是您自己定义的。告警清除方式包括自动清除和手动清除两种。·         自动清除：产生告警的故障消除后，AOM会自动清除告警，您不需要做任何操作，例如：阈值告警。阈值告警如何理解呢？其实就是事先设置了阈值即告警条件，达到阈值时就会上报告警。比如我们事先设置了某服务器的CPU使用率达到70%时上报告警，那么这个就是阈值规则。AOM一旦检测到该服务器当前符合这个阈值规则了，就会上报一条告警。·         手动清除：产生告警的故障消除后，AOM不会自动清除告警，您需要手动清除告警，例如：ICAgent安装失败告警。像这类告警，是需要先去排查解决异常的，解决了异常之后，再返回界面选择手动清除。事件事件告诉您系统发生了某种变化，但不一定会引起业务异常，事件一般用来表达一些重要信息。您不用对事件进行处理。下期预告：【云上运维工具箱】【第2讲】超全面的云上运维使用引导图  这里是广告：想要获得以下权益吗？那我们去领证吧！华为云云上运维微认证已经上线，一起去领证吧~

您好，原来的应用运维论坛已经搬迁，欢迎来新阵营：https://bbs.huaweicloud.com/forum/forum-872-1.html

应用运维管理服务AOM使用流程应用运维管理（Application Operations Management，以下简称AOM）是云上应用的一站式立体化运维管理平台，实时监控您的应用及相关云资源，采集并关联资源的各项指标、日志及事件等数据共同分析应用健康状态，提供灵活的告警及丰富的数据可视化功能，帮助您及时发现故障，全面掌握应用、资源及业务的实时运行状况。通过开通AOM和安装ICAgent两个基础必选操作即可快速体验AOM，本快速入门详细介绍如何开通AOM及如何安装ICAgent，且主机以在弹性云服务器（Elastic Cloud Server，以下简称ECS）控制台购买的一台ECS为例。需要注意的是下面的使用流程是通用的华为云上流程，即主机是华为云主机。如果是线下主机，即您想监控线下的某主机情况，则请关注后面的混合云场景的监控。AOM完整的使用流程如图1所示。图1 AOM使用流程 1.    开通AOM（必选）您需先开通AOM，才能使用AOM，操作详见开通AOM。2.    安装ICAgent（必选）ICAgent是AOM的采集器，分别运行在每台主机上用于实时采集指标、日志和应用性能数据。安装ICAgent是使用AOM的前提，操作详见安装ICAgent，否则将无法正常使用AOM。3.    配置服务发现规则（可选）对于运行在主机上满足内置服务发现规则的服务，安装ICAgent后该类服务会自动被发现；对于运行在主机上不满足内置服务发现规则的服务，您则需配置服务发现规则，操作详见配置服务发现。配置服务发现规则即把服务的命令行参数、进程、环境变量等配置为一条服务发现规则，当主机上运行了符合规则的进程时，ICAgent会采集进程指标数据并展示在AOM界面。4.    配置日志采集路径（可选）如果您需使用AOM监控主机的日志，则需配置日志采集路径，操作详见配置虚机日志采集路径，ICAgent会采集您配置路径下主机的日志并展示在AOM界面，以供您检索。5.    开通应用性能管理（可选）AOM除了基础功能外还集成了应用性能管理服务（Application Performance Management，以下简称APM）的相关功能（例如：拓扑图、调用链、端测分析、异常SQL分析等），通过与APM配合实现更高级监控，帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为您的体验保驾护航。如果您需要使用AOM进行应用性能监控，则需开通APM，并在开通APM后将您的应用接入到APM，操作详见《APM快速入门》。6.    运维（可选）在日常运维中您可使用AOM的仪表盘、阈值规则、通知规则等功能。o    仪表盘：通过仪表盘可将不同图表展示到同一个屏幕上，通过不同的仪表形式来展示资源数据，例如，曲线图、数字图、TopN图表等，进而全面、深入地掌握监控数据。创建仪表盘操作详见仪表盘。o    阈值规则：通过阈值规则，当指标数据满足阈值条件时，会产生阈值告警；当没有指标数据上报时，会产生数据不足事件，以便您在第一时间发现异常并进行处理。创建阈值规则操作详见创建静态阈值规则、创建智能阈值规则。通知规则：通过通知规则可进行告警通知，当AOM自身或外部服务存在异常或可能存在异常而产生告警时，可将告警信息通过邮件或短信 发送给您指定的人员，以便提醒相关人员及时采取措施清除故障，避免造成业务损失。创建通知规则操作详见告警通知。本次就先介绍这么多，关于更多的疑问或者注意事项，欢迎您留言历史：【云上运维工具箱】【第1讲】应用运维管理服务架构浅析&概念简介 【云上运维工具箱】【第2讲】超全面的云上运维使用引导图

CCIGPU共享型AI容器相比开源我们做了哪些优化？为什么说我们当前优化效果比较好？1）优化Kata的硬件直通挂载技术，将物理GPU直接挂载到安全容器内，降低虚拟化层资源损耗，最大化利用GPU算力；2）对接华为云高性能存储和NVMe本地高性能盘，实现AI场景数据高性能存取（低时延、高IOPS），降低计算过程中的数据存取时间，提升AI计算性能；3）优化Kubernetes的调度框架，充分利用GPU服务器的NVLink和IB网络等通信拓扑信息，实现AI实例间最优网络通信能力，线性加速比高达0.95；CCICCI支持哪些存储类型，之间的区别是什么？如何选择？CCI支持EVS\SFS\SFS   Turbo三种类型，EVS只支持单pod挂载，有普通IO/高IO/超高IO模式；SFS、SFS   Turbo为共享型存储，读写性能高；适合大量小文件或大日志文件。CCI存储与容器的挂载逻辑，存储盘是否需要额外购买，挂载后即可在容器中使用？存储与计算的计费是独立的，可使用已有的存储卷或者购买新的卷，挂载使用。CPTS云性能测试服务CPTS必须使用CCE的k8s集群资源吗？华东需要，华北可以用CCI资源组，用共享资源压测内网的话需指定对应的VPC和子网。CSE微服务和容器的关系？微服务和容器是两个相互独立的概念。不过容器的快速启动、快速弹性伸缩等优势正是微服务框架得以快速发展的基础。CSEServicestage构建如何使用私有镜像作为基础镜像？1.目前阶段，servicestage进行构建的时候，拉镜像没有使用认证信息，因此只能拉公开镜像。Servicestage已经提需求对这个地方进行优化。    2.如果使用私有集群进行构建，在必须使用私有镜像的情况下，需要手动先把镜像拉到构建节点上。如果使用公共集群进行构建，目前无法使用私有镜像。CSE基于微服务框架进行开发，如何进行版本控制？在yalm文件中配置servicecomb.references.{provider端微服务服务名}.version-rule指定版本匹配规则，有四种格式：    精确版本匹配：例如version-rule: 0.0.1，表示只匹配版本号为0.0.1的服务提供者    后续版本匹配：例如version-rule: 1.0.0+，表示匹配版本号大于或等于1.0.0的服务提供者    最新版本：version-rule: latest，表示匹配最新版本的服务提供者    版本范围：例如1.0.0-2.0.2，表示匹配版本号在1.0.0至2.0.2之间的服务提供者，包含1.0.0和2.0.2    此配置项默认为latestCSE基于微服务框架进行开发，如何进行环境隔离？1.在yalm文件中service_description.   Environment:[环境名称]指定服务发布环境；2.不同环境即使注册在同一个服务中心，相互之间也是隔离的，不会被发现。CSE使用ServiceStage进行构建，依赖的快照更新策略怎么样？默认快照的更新策略是一天更新一次，如果需要每次都更新，需要在构建命令中加入-i参数，maven   -ICSE微服务框架进行开发，如何返回html页面？建议使用重定向解决，直接返回html页面有额外的性能消耗，不推荐。CSE部署多环境时，如何指定不同的启动参数，加载不同的配置文件？微服务yaml文件中的所有配置项都优先从环境变量读取，所以不必要使用不同的配置文件，只需要在部署的时候设置不同的环境变量值即可。CSE基于微服务框架进行开发，如何跨应用调用？1.首先需在provider端的microservice.yaml文件开启跨应用调用配置：service_description.   Properties.allowCrossApp:=true;2.consumer端指定微服务名称调用provider的时候，需要加上provider所属的应用ID，格式变为[appID]:[microserviceName]CSE微服务平台专业版本，能不能升级到专享版?专业版本不能升级到专享版，专业版本可以手工升级到新的专享版本，只需要在CCE里修改新的CSE的注册中心地址。CSEcse://server/v2/server/interface通过这种方式实现服务间调用，怎么能够获取本次调用时所调用的具体服务？能否获取所调用服务的地址？1.可以到CSE的控制台看一下调用的监控数据。2.从代码的角度，可以考虑出现错误的时候，打印日志，把对端的地址打印出现。具体可以通过实现handler，放到最前面，捕获异常，从invocation里面读取地址信息输出。CSE使用CSE-SDK开发的微服务，如何进行服务超时设置？可以通过下面的配置修改超时时间：    servicecomb.rest.client.connection.idleTimeoutInSeconds: 30    cse.request.timeout: 30000    请求超时时间需要比IdelTimeout大一点    参照：https://bbs.huaweicloud.com/forum/thread-11031-1-1.htmlCSE是否可以在EdgeService执行阻塞性操作？不要在Edge执行阻塞操作，否则会线程挂死，建议改为线程池模式      https://docs.servicecomb.io/java-chassis/zh_CN/build-provider/protocol/thread-model.htmlCSE如何同时发布ServiceComb   Restful和SpringBoot的Servlet接口？如何同时发布ServiceComb   Restful和SpringBoot的Servlet接口：    https://github.com/yhs0092/SpringBoot1.5-ServiceCombDemo-2GCS使用Docker是否需要考虑登录与认证？任务投递正常是需要配置登录认证，目前我们的方案好像没考虑？Master节点Linux用户信息，可自动同步至整个集群（如/etc/passwd文件），所以登录认证与本地机器使用方式一致。GCSARM替代X86英特尔芯片，是否全部适用？基因测序领域的应用前景怎么样？ARM服务器，软件需要重新编译。Python语言可直接跑。生信软件容器化是趋势，可独立维护升级，运行互相隔离。IstioISTIO服务网格与ServiceComb的区别在哪里，为什么ISTIO算是容器类服务全栈产品之一？1）ServiceComb是华为开源的微服务开发与治理框架，通过SDK封装微服务治理接口，简化微服务开发。ServiceComb并不依赖Kubernetes，通过SDK与应用结合。2）ISTIO是Google开源的服务网格项目，华为也参与了此项目，服务网格更专注于服务之间的通信、流量控制、可视化与安全，通过Sidecar的方式与应用结合，无需修改业务代码。3）Istio与k8s结合紧密，k8s负责容器基础设施，istio实现服务治理，两者配合完成容器应用的部署、运行、治理的全流程。当前Istio只支持Kubernetes，且所有业界产品中，Istio均运行在Kubernetes平台之上，因此，Istio属于华为容器全栈平台一部分。Istio如果客户直接做容器化改造是否可以直接使用ISTIO？可以，CCE容器集群将ISTIO作为插件，与集群无缝集成，用户可以根据需要开启和关闭。Istio如果客户已经做了微服务改造，是否可以容器化后用自己的微服务治理框架？可以继续使用，相互之间不冲突。Istioistio   是否已集成在AOM和APM中？还是需要单独去配置。istio默认会对接AOM、APM（网格型）。istio的拓扑页面（微服务治理）依赖APM（网格型），显示各个微服务流量状态，客户可以从这个图中看到微服务治理（比如熔断、限流、伸缩）的效果。    如果客户要看应用的调用链、事务信息，则需要再额外使用APM探针型版本（跟语言相关）。Istio是否支持istio   egress？istio支持egress，目前后台已配置egress，默认放通对外访问能力，如果需要关闭的话，需要在后台修改。    kubectl edit cm -n istio-system istio-sidecar-injector      查找traffic.sidecar.istio.io/includeOutboundIPRanges字段，将其修改为"*"，则与原生一致IstioIstio服务提供哪些灰度发布能力？目前支持http/grpc/tcp协议的灰度升级，tcp仅支持基于流量比例的灰度发布SWR是否有便捷的方式指导用户制作容器镜像？我们的镜像构建是否客户就不用自己写dockerfile？1）CCE容器服务的官方说明文档有个最佳实践，有详细镜像制作的指导（https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_0001.html）；  2）ContainerOps提供镜像Step by   Step能力，可实现源码、二进制到镜像的制作。用户可以选择自行编写dockerfile，也可以选择由ContainerOps自动生成Dockerfile。SWRSWR是否支持对接私有仓库？SWR支持对接自建Gitlab，要求版本在8.10.0-rc1.ce.0以上SWRswr镜像仓库的地址在哪里获取？可以在SWR界面的总览里面的获取登入指令看到。具体调用的接口可以查看API文档。如获取命名空间：https://swr-api.cn-north-1.myhuaweicloud.com/v2/manage/namespaces

服务问题回答AOM应用全景菜单里面服务与实例的关系是什么？1）每个服务由若干个实例组成。2）存在系统服务与系统实例，在服务列表下点击将隐藏系统服务勾选点掉后，实例数与应用全景保持一致。AOM日志桶是否支持多个关键字的搜索？支持。可以使用“&&”进行与查询。AOM不同格式的日志是否有归一化的解决方案？不同格式的日志建议放到不同的日志桶中。每个日志桶中日志格式建议尽量保持一致。AOM事务是否可以关联到业务流？事务功能可以监控到用户的下面每一条事务的运行情况。但是每一条事务的详细业务数据，APM是不感知的。如果客户需要获取对应业务流（事务）的入参来进行业务内容的详细监控，可以在“调用追踪”“方法追踪”页面采集相关的入参来区分每次事务调用的详细内容。AOM容器、服务、实例的对应关系是什么？容器监控页面有不同的工作负载，每个工作负载对应若干个容器实例。AOM的服务列表中，每个服务对应若干个服务实例。服务实例和容器实例是对等的关系。AOM容器监控里面的工作负载与服务的关系是什么？一个工作负载对应到AOM中是一个服务。AOM私有云的HCS是否可以监控起来？混合云场景下的监控问题怎么解决？AOM/APM有混合云监控方案，可以将私有云的监控数据通过专线传到公有云后台。AOM监控指标是否支持QPS，有哪些数据库类的指标？中间件监控RDS页面下支持查看数据库的QPS。具体指标详见https://support.huaweicloud.com/usermanual-rds/rds_06_0001.htmlAOM监控数据是不是实时的，时间间隔是多少？监控数据的默认采样周期为1分钟。可以设置为实时监控。AOMAOM/APM与Cloudeye的区别是什么   ，功能上是否有重合部分？AOM/APM是一套完整的立体运维解决方案，包含底层资源状态、应用状态、应用性能、用户体验等方面监控。CloudEye只有资源与部分应用资源情况的监控。AOMAOM/APM是否免费？报价在哪里看？   是否默认开通就要收费？ 如果出现突然超规格，如何处理？AOM/APM有基础规格，可以供客户免费使用。默认开通使用的是基础规格。如果出现突然超规格，会给客户提示是否切换到收费规格。    AOM价格说明 https://support.huaweicloud.com/price-aom/aom_01_0002.html    APM价格说明 https://support.huaweicloud.com/price-apm/apm_01_0001.htmlAOM配置告警，短信收费不？配置告警短信的费用是由SMN计算费用的。海外区是否支持短信通知依赖于SMN是否开通海外短信服务。AOM结构化日志是否只能查询最新的日志，结构化规则之前的日志是否可以结构化查询？当前只支持查看结构化规则之后新产生的结构化日志。AOMICAgent能否关掉指标采集，只打开日志采集?产品不支持。AOMAOM日志最多可以查看历史多少天日志？按需版本30天，基础版本7天。AOM日志文件stdout.log是怎么出来的？该日志为打印控制台的日志。AOMAOM日志查询是否可以组合条件查询？可以支持多个与条件或者或条件过滤查询的。AOM能否直接采集容器里面的日志？支持，在工作负载里面配置容器路径。AOSAOS编排的定位是什么，AWS是否有类似的产品？AOS属于应用编排服务，目前集成了70+云服务，提供可视化、可编辑的方式，自动创建开通云服务资源，是华为云上的自动化能力平台；   AWS是CloudFormation。CCECCE的helm模板的属性列表？官方helm模板是否可以支持部署？模板包目录包括templates、   values.yaml、README.md、Chart.yaml、.helmignore等。官方helm支持部署。具体的部署方法见资料CCE-10.2节。CCE容器网络在docker层面开放是什么类型的：none、host、bridge？两种网络模式：  1）隧道网络：容器与主机之间只有bridge，性能稍微差点2）VPC网络：自研，容器与主机之间使用ipvlan模式通信，整体性能更高CCECCE支持哪些持久化存储？支持容器使用EVS块存储、SFS/SFS   Turbo文件存储以及OBS对象存储。CCE相比客户自建的开源K8S集群，CCE的优势是什么？1） 客户自建K8S技术门槛高，较难满足服务SLA要求，对K8S集群的运维挑战大；华为CCE实现全面的高可用与高可靠实现，可提供稳定的K8S集群；  2） 开源版本产品化能力较薄弱，系统集成问题多（网络、存储，监控等），开源网络性能与管理规模有限，华为CCE容器网络与存储功能全面，支持高速网络与存储；3） 开源K8S对异构环境支持一般，华为CCE对GPU、ARM、Windows、裸金属等异构环境支持全面，适应各类客户场景。CCE对比友商，CCE的优势是什么？1）我们提供应用镜像构建、应用部署、应用运维、应用流量治理等全栈容器服务能力含CCE/CCI/AOS/ISTIO/SWR等，而很多厂商仅提供开源或者稍微少量能力增强的K8S服务。2）底层资源异构上我们支持裸金属、ARM/GPU/FPGA等多样化基础设施3）容器网络方面，自研ican，性能比开源flannel提高20%4）容器存储上集成公有云的evs、sfs、obs、efs等多类型存储满足不同应用场景诉求，且页面可配置，易用性高，相比友商性能基本持平。5）全球首发mcp多云、混合云管理平台，提高集群可靠性、容灾能力。6）GPU共享型AI容器，32块GPU线性加速比超0.95，128块线性加速比超0.8，在人工智能领域广泛应用，提供高性价比AI算力。CCE是否存在容器无法处理的某些应用场景？经过多年发展，当前容器可以作为一种通用计算平台，适合各类应用场景，当前除Windows操作系统下部分应用场景受限（比如GUI类应用），绝大部分场景下应用都可以实现容器化。CCE容器隧道网络   、VPC -router 与Flannel、Calico怎么对应？底层技术实现都是什么？ 1）容器隧道网络与Flannel类似，隧道网络基于openvswitch，Flannel基于内核，性能基本持平，但是我们特性更多一些比如网络策略配置、安全性等做了比较大的增强； 2）VPC -router与Calico类似，VPC   -router基于IPVLAN，Calico 基于veth口，VPC -router整体性能高20%CCE对比阿里的共享集群，存在哪些优缺点？阿里AKS的k8s托管集群：                   • 存在公共的资源池（k8s集群）                   • 租户集群的master以容器形式跑在这个公共资源池里这样的缺点是共享资源池，池子所在的k8s集群挂了，会影响多个租户的集群，不同租户的master   pod可能共享一个节点的计算资源，多租户的node链接master也可能共享带宽。而我们的租户集群是独占资源的。CCE直接用centos镜像起容器为何全部失败？没有前台进程维持容器一直持续跑，容器跑完即结束。CCE调用更新deployment的API接口，为何会把原有deployment中容器的设置刷成默认值？需要在API接口的content-type那里merge-path改为strategic-merge-path。CCE如何保存业务日志，除了挂载本地盘，还有其他方式吗？推荐使用华为云的存储来保存日志，挂载在本地盘不够安全，如果节点故障本地存储的日志将会丢失，保存在存储盘中节点故障也不影响。CCEcoredns支持自定义域名解析吗？前台不支持，后台可以修改，在coredns的configmap中hosts下添加需要增加的自定义域名解析。CCE单pod挂载一块EVS，假如把工作负载扩容成2个pod，会怎么样？EVS不支持多pod共享，不支持扩容成多个实例，有多pod共享存储的场景建议使用SFS   Turbo。CCE是否支持web界面的方式进入容器查看日志文件？可以使用CCE的dashboard插件。当前想要进入容器使用命令行，需要后台帮助客户开一下权限，当前dashboard赋予的是只读权限，无法操作。CCE集群下扩容出来的新节点需要手动安装TOA插件后才能获取源IP吗？是的，当前新增的节点需要每个都手动安装TOA插件。CCE如何从容器中更改core文件存放地址？用特权容器可以修改/proc/sys/kernel/core_pattern，但是会把容器所在节点上的这个路径下的内容刷成修改的内容，会影响其他部署在该节点上的容器存储core文件的路径。CCE集群内访问的clusterip是否会变？只要service不删除重建的话，clusterip不会变化。CCEKube   API是否支持Pod admission controller？支持。默认开启admission   controller。包括NamespaceLifecycle,NamespaceExists,LimitRanger,ResourceQuota,ServiceAccount,MutatingAdmissionWebhook,ValidatingAdmissionWebhook,DefaultTolerationSeconds,ServiceAnnotations,IngressAnnotations,PersistentVolumeAnnotations这些组件。CCE用户是否有kube   System 的access 权限？拥有，用户拥有kubernetes资源的全部权限。CCECCE前端采用ELB，是否支持在web类的容器中获取到访问地址的源IP？针对7层（HTTP协议）服务，ELB通过Http   Header:X-Forwarded-For获取来访者真实IP，该功能已经默认开启，无需配置，也不用修改。针对4层（TCP协议）服务，需要配置TOA插件获取。配置TOA插件请参考TOA插件配置。CCE1.如何设置容器的申请值和限制值？    2.如何设置应用级别的弹性伸缩，支持的指标有哪些？    3.如何设置节点级别的弹性伸缩，工作原理如何？    4.autoScaler如何使用？1.申请值：业务正常运行时所需的资源值*1.2；限制值：业务峰值的资源2.应用级别的弹性伸缩可通过工作负载的伸缩页面进行配置，当前支持指标、定时、周期伸缩策略。支持的指标包括CPU使用率、内存使用率、磁盘写入速率、数据发送速率等常见指标。3.节点级别的弹性伸缩包括集群的弹性扩容和autoscaler。集群的弹性扩容可以设置指标、定时、周期扩容策略，指标只有CPU分配量和内存分配量两个指标，而且不支持缩容。Autoscaler支持Node在可分配量不足时自动扩容节点，在Node节点可分配量充足时缩容节点。4.autoscaler通过插件安装。通过“插件管理”—>“插件市场”中可以安装使用autoscaler   CCE如何配置容器内的源IP获取功能？   CCE单节点集群coredns插件一直显示安装中，是否影响使用？由于coredns默认安装2个实例并且反亲和，导致其中一个实例启动不了，不影响使用CCE能不能修改容器网络的网段？VPC网段、子网网段和容器网段创建成功后不支持修改，若需要修改，请重新创建集群。服务网段默认为10.247.0.0/16，容器网段不能选择此网段。CCE工作负载的域名在哪里查看？可以通过网络管理-service查看。CCE华为日志支持采集能否直接采集容器里面的日志？支持，在工作负载里面配置容器路径。CCE同一个工作负载在同一个节点的多个实例是否存在容器端口冲突？不会冲突，但不同负载的访问端口需要配置不一样CCECCE   master节点是否可以控制？master节点用户无法控制。CCE如何使用helm模板创建statfulset，并挂载存储？1.添加云硬盘，需要1)修改区域和AZ，云硬盘只能部署在该指定区域节点   2）指定存储PVC ((storage-class 和 provisioner)   如果没有vloumeClaminTempltes，需要整体添加； 2. 添加云硬盘之外的类型，只需要添加指定存储PVC ((storage-class 和 provisioner)   ，如果没有vloumeClaminTempltes，需要整体添加CCE实例由于工作负载硬反亲和没有起来，配置成软性反亲和后如何处理？由于触发滚动升级以及反亲和是相互的，旧pod是硬反亲和，会导致新pod调度不上，可以先把实例数调成0，再调整实例个数。CCE集群是否可以修改节点管理规模?当前界面不支持，可以提工单扩容节点管理规模或者修改单个节点的性能规格。CCECCE服务和函数服务需要向外发送验证码到用户的邮箱，发送失败可能的原因？TCP  25端口出的方向默认被封禁，需要申请工单填写解封。CCE原来的CCE节点还有2天到期，用新购买的8U16G的节点如何替换，原来节点的实例是否自动迁移到新购买的节点？1.   首先添加新的节点到集群2. kubectl cordon<node name>不再调度POD3. kubectl drain<node name> 驱除节点上的POD4. 观察节点上的pod是否都被驱除了5. 在CCE界面上删除节点 如果驱除失败，可恢复节点未可调度POD  kubectl   uncordon<node name>CCE 存储要如何选择，如何使用？华为云有四种存储，EVS、SFS、SFS   Turbo、OBS，EVS不支持多pod共享，多pod共享的情况下如果是小文件场景推荐用SFS   Turbo，CCE侧使用存储的话可以直接从容器中挂载存储，不需要把存储先挂载到节点上再挂载到容器里CCE 容器化的改造过程中针对配置文件有什么建议？可以把经常需要修改的配置文件剥离出来用configmap挂到容器中，不直接打包到镜像里，这样更改配置文件后不用每次都重新打包镜像CCE 节点可以扩容规格吗，是否需要手动将容器迁移到其他节点上？可以，先到ECS找到对应的机器，关机后变更规格，提交后到CCE节点管理找到对应机器的更多，选择同步节点信息即可。不需要手动迁移，假如容器没有设置亲和性，在关机的时候节点上的容器会自动迁移到其他节点上，假如设置了亲和性，关机的时候容器会不可用，重新开机后容器又会重新起来。

华为云立体运维解决方案包含AOM、APM服务，这两个服务都是协助云应用运维的，其功能主要侧重点不同，如下图示：本文将介绍虚机应用如何使用应用运维的各功能（包括AOM服务、APM服务）。容器应用请移步容器应用中如何接入应用运维功能。当前，AOM、APM服务使用的都是统一的采集代理去获取节点、应用状态等数据，将应用运维功能接入容器应用，实际上就是将采集代理安装到应用所在的节点上，这样就表示应用中已经接入了AOM、APM服务了，节点的状态、资源情况、应用的健康状态、拓扑&调用关系等数据展现在AOM、APM界面中。采集代理的核心就是采集探针，关于采集代理的原理及介绍，您可以查看采集知多少。至于将AOM、APM接入到应用中之后更加详细的操作，本文不做描述，请查看AOM用户指南、APM用户指南。将虚机应用部署在弹性云服务器或裸金属服务上之后，要使用应用运维功能，则需要进行如下操作。操作流程1、开通。2、安装ICAgent：安装采集代理ICAgent（用于实时采集应用数据）。什么是ICAgent3、配置应用发现规则使AOM发现应用：配置应用发现规则即把应用的命令行参数、进程、环境变量等配置为一条应用发现规则，当弹性云服务器上运行了符合规则的进程时，AOM将自动监控进程指标数据并上报到界面中。4、使用AOM、APM运维。本文不再详细讲解如何使用，具体的操作可以查看AOM用户指南、APM用户指南。操作前提1、安装了应用的弹性云服务器的操作系统为Linux操作系统。2、安装了应用的弹性云服务器绑定了弹性IP地址。如果您拥有多台弹性云服务器，则只需要确保其中一台已经绑定弹性IP即可。如何绑定弹性IP操作请参见为弹性云服务器申请和绑定弹性IP3、已获取了AK/SK。AK/SK用于安装ICAgent采集代理，获取AK/SK请参考如何获取AK/SK4、确保本地浏览器的时间与弹性云服务器的时区、时间一致。如果时间不一致，则可能导致AOM监控到的指标数据异常。操作步骤1、开通。访问AOM会自动为您开通，访问APM会自动开通。（因为AOM、APM是两个服务，所以要分别访问开通。）2、安装ICAgent，详见安装ICAgent。3、配置应用发现规则以便AOM可发现应用，详见应用发现。4、使用AOM、APM运维。本文不再详细讲解如何使用，具体的操作可以查看AOM用户指南、APM用户指南。现在就使用AOM、APM服务：体验馆免费体验——使用您自己的账号登录AOM，通过体验馆免费体验AOM、APM功能。demo免费体验——使用应用性能管理提供的免费账号登录并了解应用性能管理服务功能。使用应用运维——使用您自己的账号登录AOM，进一步了解AOM、APM服务功能或将AOM、APM服务接入您自己的应用。

树要长得高，根要渗得深。应用要做好，深入化监测不可少。树的医生，是啄木鸟，应用的医生，是应用运维管理AOM~应用实时可监控，异常处处可诊断！扫码了解华为云AOM服务更多能力：当然，如果不能扫码看，访问以下地址也是可以的：http://huawei.21epub.com/v2/manage/book/pjckqk/希望每一个运维er，都有自己的神器，工作事半功倍~通过图说了解更多APM更多：【云图说】H5动画格式   华为云APM-云应用运维神器【云图说】第28期   初识应用性能管理服务【云图说】第31期   应用性能管理服务的采集介绍【云图说】第36期   应用性能管理服务的拓扑介绍【云图说】第43期   云上运维——帮你解决所有运维烦恼【云图说】H5动画格式    华为云AOM-云应用专属医生

前言在公有云方面，华为云已经率先将 Istio 作为产品投入到公有云中进行商业应用中，保持和开源istio高度兼容，做了商业化的运维管理界面，同时进行了性能优化。这里我们做一次验证测试。Bookinfo 应用这里我们部署一个demo，由四个单独的微服务构成**（注意这里的四个微服务是由不同的语言编写的）**，用来演示多种 Istio 特性。这个应用模仿在线书店的一个分类，显示一本书的信息。页面上会显示一本书的描述，书籍的细节（ISBN、页数等），以及关于这本书的一些评论。Bookinfo 应用分为四个单独的微服务：productpage：productpage微服务会调用details和reviews两个微服务，用来生成页面。details：这个微服务包含了书籍的信息。reviews：这个微服务包含了书籍相关的评论。它还会调用 ratings 微服务。ratings：ratings 微服务中包含了由书籍评价组成的评级信息。这里主要使用reviews来演示 Istio 特性，reviews微服务有 3 个版本：v1 版本不会调用ratings服务。v2 版本会调用ratings服务，并使用 1 到 5 个黑色星形图标来显示评分信息。v3 版本会调用ratings服务，并使用 1 到 5 个红色星形图标来显示评分信息。下图展示了这个应用的端到端架构。 Istio 注入之前的 Bookinfo 应用Bookinfo 是一个异构应用，几个微服务是由不同的语言编写的。这些服务对 Istio 并无依赖，但是构成了一个有代表性的服务网格的例子：它由多个服务、多个语言构成，并且 reviews 服务具有多个版本。部署应用这里 Istio 的安装部署就不在赘述了。值得注意的是：如果使用的是开源K8s服务安装的 Istio ，要配置负载均衡。在 Istio 中运行这一应用，无需对应用自身做出任何改变。我们只要简单的在 Istio 环境中对服务进行配置和运行，具体一点说就是把 Envoy sidecar 注入到每个服务之中。这个过程所需的具体命令和配置方法由运行时环境决定，而部署结果较为一致，如下图所示：Bookinfo 应用所有的微服务都和 **idecar 集成在一起，被集成服务所有的出入流量都被 sidecar 所劫持，这样就为外部控制准备了所需的 Hook，然后就可以利用 Istio 控制平面为应用提供服务路由、遥测数据收集以及策略实施等功能。下载安装到 GitHub 中 istio 的 release 中下载相应版本的 istio包，下载后将 bin目录配置到环境变量 PATH中 export PATH="/istio/bin:$PATH"，这里我们使用的是 istio 1.0.5版本Bookinfo 这个应用就在samples/目录下 在华为云（CCE）上运行华为云率先将 Istio 作为产品投入到公有云中进行商业应用，开通方式十分简单，只要在华为云CCE上创建集群，然后申请 Istio 公测即可。为了方便测试Bookinfo 应用在华为云上提供了一键体验应用，点击即可省去刚刚那一系列的kubectl操作       一键创建体验应用       点击灰度发布即可       创建金丝雀发布       选择灰度发布的组件       填写版本号       选择镜像版本       版本创建完成后配置灰度策略       选择相应策略，策略下发即可总的来说，华为云的Istio 确实已经是商业化应用，这里只是展示了部分灰度发布的功能。其他比如流量治理，流量监控等功能还没展示，这些功能做的十分细致，值得尝试。参考基于ISTIO服务网格的灰度发布https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_0012.html

作者：桑酱写在前面随着越来越多企业应用上云，云上应用的规模与复杂度日趋增长，对云上应用的运维，也提出了新的挑战。华为云AOM服务面向大规模企业应用的运维，在实践中演进并构建了一套完整的面向云上应用的立体化运维系统。下面以一个典型的云上应用架构为例，分享华为云AOM立体运维的架构与定位。后续会有立体运维系列的文章，讲述各子系统的技术细节及优秀实践，欢迎持续关注。目录一、常见云上应用的架构二、华为云立体运维的定位及架构1、立体运维定位2、资源模型化3、数据可视化4、服务平台化5、分析智能化6、华为云AOM整体架构一、常见云上应用的架构云上应用早期较多的是购买云服务I层资源（多为基础设施如主机等计算资源）自建各种集群，运维人员多以主机监控为中心进行运维，同时自己搭建应用及数据库等监控系统进行应用层和业务层运维。随着容器技术的普及，越来越多的企业转向CaaS和PaaS来管理应用，通过微服务框架开发，业务的实现也更多的使用云上服务，如分布式中间件，函数服务，AI服务等，同时运维也转向云上的运维服务。一个典型的现代云上应用架构： 经过域名解析阶段后，静态资源命中CDN后直接返回，无命中时会回源去拉取，动态请求直接访问WEB服务，在请求到达四层和七层ELB之前，多数企业应用也会选择WAF来清洗异常流量。经过ELB后，请求到达业务应用服务器，业务实例多为分布式构架，微服务之间相互调用，一般情况下企业运维人员较多的关注点是应用实例这一层，多为企业自行开发的服务。持久化层当前各CSP提供的中间件不一样，华为云上用户使用较多的如分布式缓存，分布式数据库等。由于提供动态扩容及较高级别的SLA，越来越多的企业不再需要专业的DBA，转而使用云上的服务，开发上也更加敏捷。如此多的云服务和各种资源，任何一个环节出现问题，都将导致应用KPI异常，用户体验下降，进而导致企业运营受到影响，而每个使用公有云服务的企业，如果投入大量人力去自建运维系统并且将整个请求的各个环节关联起来，成本会非常高。因此华为云AOM在帮助企业对应用运维的过程中，通过实践构建了一套立体运维体系，帮助企业更好的进行一站式运维。下面章节将为您介绍立体运维的定位及架构。二、立体运维的定位及架构1、立体运维定位AOM立体化运维主要是围绕用户应用进行监控，一站式完成用户体验监控，应用性能监控，基础设施监控。参考以上典型云应用架构，通过将业务请求路径上经过的不同资源进行分层，围绕分层设计不同的专业运维服务子系统，将不同数据在不同子系统上串联协同、关联分析，构筑一个云上的运维平台，从而最大化的实现数据价值，为运维人员提供一个统一的运维中心，达到一站式立体化运维的目的。如下为AOM立体运维分层： 图为华为云AOM立体运维分层构建AOM立体运维，除了要覆盖应用的端到端资源以外，重点还要通过多种运维数据进行数据分析，通过多种可视化手段进行友好的界面展示。因此AOM立体运维体系建设包括以下工作： 2、资源模型化其实就是将应用依赖的资源接入CMDB，但是云上业务的CMDB与自建数据中心运维有所区别，后者多对应的是SRE（网站可靠性工程师）层面的CMDB，而AOM所需要的CMDB是面向云资源的量身打造的CMDB。主要有以下特征分离业务模型与存量资源模型（后续文章后详细解读）存量模型能表述不同的云服务下的不同云资源支持对云服务内云资源建立映射关系支持对跨云服务的资源建立映射关系支持云资源标签管理（打标签，同步标签，按标签查询）支持历史资源快照资源模型化这一步是所有数据关联及运维平台化的基础，通过统一的模型将不同资源关联起来后，可以帮助用户快速的找到故障的根因，也能通过关联关系对大量告警进行分析，抑制重复告警等。3、数据可视化良好的可视化界面不但能提高运维人员运维效率，还可以通过直观的展示查看各种资源消耗趋势，帮助企业分析运营走势，预测未来资源使用情况等。AOM数据可视化遵从以下原则进行设计·          建立左右逢源的资源拓扑图资源拓扑是指一个资源与其他资源的关联关系，如ECS与应用，服务，实例及数据库的关系，通过一个资源拓扑图进行展示。如下所谓左右逢源是指以一个资源为中心，拓扑图展示其上下各一层的关联资源即可，避免拓扑过大，但又能通过一个资源找到上层或者下层资源。·          关联资源下钻建立拓扑后，通过图上的资源链接，可以跳转到选中的另一个资源的拓扑图中去，而新的拓扑图是以新的资源为中心，如此来达到通过关联资源不断下钻的目标，方便运维人员查找问题。·          云资源快速跳转一个云资源可能涉及到多个云服务，如ELB实例，涉及ELB服务本身，VPC，CDN，ECS，而各个云服务入口较分散，需要在资源名称增加超链接快速跳转到云服务console。·          视图模板化各资源监控数据的展示，由AOM默认提供模板，但同时要支持用户自定义模板，由于运维人员关注的指标或其他数据侧重点不一样，因此要能通过模板支持同一个资源不同视角的查看方式。·          功能向导化复杂功能需要通过向导快速指导用户进行设置或配置，以减少用户学习文档或者视频的时间成本。 4、服务平台化平台化目标要支持用户通过各子系统通过开放API实现自动化运维。指标，日志，事件告警等数据要支持用户通过接口订阅，转发到外部系统供用户运维平台进行分析，分析结果通过API输入立体运维平台并通过事件驱动平台业务持续分析。也就是通过数据流，实现平台与用户运维系统的协同，实现流程化自动化。自动化将会协助用户实现故障自动恢复，如通过数据分析后发现需要扩容，可以通过事件触发或者API调用弹性伸缩子系统进行实例扩容。还可以在资源空闲时缩容以节省企业运营成本。5、分析智能化针对指标数据提供动态阈值计算能力，无需用户设置阈值，通过机器学习进行异常检测，对于大型系统的运维可以有效的降低人工配置成本。同时也避免静态阈值设置不合理需要不断调整的重复工作。针对日志数据，智能提取模板，分析可变参数与静态文本，通过日志关键字监控，实时掌握应用异常情况。 6、AOM整体架构以下为AOM整体的架构，主要分为五个子系统，每个子系统通过多个微服务提供不同功能，整体协同实现立体运维目标。 ALM模块负责事件告警的管理及相关性分析，支持用户配置通知策略以及时将告警发送给运维人员。ALS模块负责分析日志。INV模块即CMDB模块，实现资源的管理及资源的映射及查询等能力。AMS模块主要负责指标数据的管理，提供阈值配置能力。DPA模块主要负责智能化能力，在线和离线分析数据，以事件驱动各子系统运行。 另外架构图中的底座环境，展示了AOM运维范围，从基础设施到PaaS层应用及容器和VM应用，覆盖了应用运行所依赖各层资源。后续文章将针对不同模块的设计进行解读，敬请期待。更多干货可关注公众号阅读

尊敬的华为云客户：华为云对应用运维管理服务（AOM）、应用性能管理服务（APM）进行价格调整，新价格于2019/01/16 00:00（北京时间）正式生效，生效后AOM、APM的新购、续费均按调整后价格收取费用。具体价格详情请参考产品的AOM帮助中心-计费介绍页、APM帮助中心-计费介绍页。如您有任何问题，欢迎您拨打华为云服务热线:4000-955-988。感谢您对华为云的支持！

我们的告警解决方案是通过AOM把告警消息推送到SMN，然后由SMN把消息推送到我们消息接收平台（http），最后推送到微信。现在有个问题是，AOM推给SMN的告警信息中没有包含告警等级，导致我们无法根据告警的级别来决定消息推送的对象。希望AOM能尽快解决这个问题，谢谢。

【问题】CCE界面上集群的CPU分配量和内存分配量在AOM页面哪里可以查看并设置阈值？【答】CCE集群的CPU分配量和内存分配量是CCE的自定义指标，可以在AOM页面的设置->指标监控->自定义指标处进行查看以及设置阈值规则

我问大师：“我懂很多道理，阅过海量书籍，为什么还是不能过好这一生？”大师不说话，默默倒了杯茶递于我。我顿悟：“您是说我看太多，想太多，却如无根之水，转瞬即逝？”大师不说话，默默饮了口茶，擦了擦唇角。我顿悟：“您是说我说太多，愁太多，不如举杯封口，悄然行动？”大师不说话，默默张了张口，凝视着我。我顿悟：“您是要我观六路，听八方，慈目看众生，施恩莫放松？”大师站起身，这次终于开口了，“施主啊，相识即是缘分，但是你让我全面“解析应用运维分布式追踪技术”，我是真的不懂啊，我这里有份宝典，可以赠与你！”宝典地址：https://bbs.huaweicloud.com/topic/detail?id=ec4e75aed6ee406e8575c85f47dd1dca完美顿悟玄机，专题中都有了！服务介绍——包含应用运维解决方案、挑战等（知识太杂太广，整合集中，剔出精华，让大脑结构化学习）快速入门——包含立即使用、快速入门、使用指导（语言平淡，动手操作，实践入门，才能事半功倍）技术分享——大师也解决不了的“解析应用运维分布式追踪技术”，超全面分享！（外在的学习，总归要沉淀积累，技术分享不容缓）跟着宝典步步指引，助你更进一步！现在就使用立体运维的AOM、APM服务：体验馆免费体验——使用您自己的账号登录AOM，通过体验馆免费体验AOM、APM功能。demo免费体验——使用应用性能管理提供的免费账号登录并了解应用性能管理服务功能。使用应用运维——使用您自己的账号登录AOM，进一步了解AOM、APM服务功能或将AOM、APM服务接入您自己的应用。