【问题来源】星网【问题简要】CCDIS话单推送至cms失败【问题类别】CCDIS【AICC解决方案版本】AICC22.200【CTI可选择版本：ICD V300R008C25SPC017】【期望解决时间】尽快【问题现象描述】有少部分话单推送成功【日志或错误截图】 

安装前准备【主机部署要求】主机部署要求：应用主机的网络连通。主机系统要求：EulerOS操作步骤如下为采用JOIN_TO_OPS流水线，将主机挂载到运维监控平台ABC主机群组下步骤：1、登录Zabbix web前台，选择“Configuration > Actions”页面，为“Autoregistration actions”配置的注册动作（ABC_Hostgroup_Autoreg），并确保注册动作状态为Enabled。2、获取ops运维平台pipeline地址，登录pipeline。3、登录Jenkins-pipeline后，单击Join_To_OPS，进入Jobs后单击Build with Parameters，在右侧依次填入各个参数后单击开始构建。表1 参数说明序号参数名称配置样例配置说明1ALL_NODE_IP10.137.166.20610.137.166.207待接入的主机IP地址，换行分隔。2SSH_USERroot已存在的有ssh权限的用户，一般为root，若root不允许ssh，则一般为paas。3SSH_USER_PWAbc1234%目标主机SSH_USER的密码。4ROOT_PWAbc1234%目标主机root用户的密码。举例说明：job执行流程图如下：若执行流程显示失败，请参见FAQ章节。4、非预安装场景，完成主机接入后，需执行“配置后清理sudo权限”，取消自动部署时提取的sudo权限。登录Jenkins-pipeline，单击OPS_closeSudo，进入Jobs后单击"Build Now"，等待执行完成。

伙伴接入OPS运维监控平台的具体操作，与伙伴应用部署场景以及伙伴需要监控的指标相关。伙伴可根据本身情况参照图1和图2中场景，选择对应接入方案，具体实施步骤如下：首先伙伴根据应用的部署场景，例如是否Euler OS操作系统，选择主机接入的对应场景：然后伙伴根据监控指标的实时性要求，设计监控指标上报方式，如实时性要求较高的建议主动上报，如周期采集的指标建议被动采集。图1 第三方应用(Euler OS)接入OPS场景分析图2 第三方应用(非Euler OS)接入OPS场景分析

园区总体运维监控方案如下图所示，其提供线上、线下2种运维方式，本次项目仅聚焦线下交付（即图中所示线下运维界面，以下简称OPS运维平台）。通过OPS运维平台可对OS、容器平台和应用进行资源、日志的监控和告警管理。在线下运维场景下，为实现XX应用（XX产品）接入，需要完成下图中园区线下运维台+XX产品中组件的部署。其中在园区线下运维台中部署的组件华为侧提供预安装，XX产品中组件分为应用监控（KPI&告警）、应用日志2种场景，这一部分需要华为+伙伴一起完成，具体的实现与伙伴应用部署情况有关，可参见下一章节介绍。

监控平台监控数据采集和告警触发流程如下图：1.1 当主机上的zabbix agent启动后，会根据/home/zabbix/etc/zabbix_agent2.conf文件中配置的ServerActive地址，向目标zabbix proxy发送一条注册请求。1.2 Zabbix proxy收到1.1的注册请求后，根据容器环境变量中配置的ZBX_SERVER_HOST和ZBX_SERVER_PORT将请求转发到目标zabbix server。Zabbix server根据Zabbix web前台Configuration->Action页面Event source为“Auto registration”中配置的注册动作，将该zabbix agent添加到对应的主机组，并关联相关模板。此时就能够在zabbix web前台的Configuration->Hosts页面查询到该zabbix agent对应的主机了。2.1 Zabbix proxy根据环境变量中配置的ZBX_CONFIGFREQUENCY同步频率（单位秒），定时从zabbix server获取最新的配置数据，包括主机和监控项。因此在zabbix server上新增了主机或监控项后，需要等待一个同步周期，待配置更新到zabbix proxy上之后才能真正生效。2.2 对于被动采集（zabbix agent）类型的监控项，zabbix proxy根据每个监控项配置的采集频率（Update interval），向目标主机的zabbix agent发送数据采集请求。2.3 Zabbix agent收到proxy的数据采集请求，判断目标监控项是否是预置监控项（预置监控项支持列表参考https://www.zabbix.com/documentation/5.0/manual/config/items/itemtypes/zabbix_agent），如果是预置监控项，则直接采集。如果是自定义监控项，则根据/home/zabbix/etc/zabbix_agentd.conf.d目录下自定义配置文件中定义的采集项和脚本的关系，调用目标自定义脚本，获取监控数据。2.4 对于主动上报（zabbix_trapper）类型的监控项，由应用/脚本按需触发，将数据通过zabbix sender发送到zabbix proxy。2.5 Zabbix proxy从zabbix agent/zabbix sender获取到数据后，立刻将数据发送到zabbix server。此时就可以在zabbix web前台查询到最新的监控数据了。3.1 如果对应的监控项有配置告警规则，则每当收到新的监控数据时候zabbix server就会去判断是否满足告警触发/恢复条件，如果满足告警触发/恢复条件，则会产生/消除对应的告警，并根据Zabbix web前台Configuration->Action页面Event source为“Triggers”中配置的action进行对应的动作，例如发送告警/恢复通知或执行远程命令。如果是发送通知，则会根据被通知用户信息中配置的媒体类型，调用对应的自定义通知脚本进行通知发送。

按照华为开源镜像站安装docker-ce问题如下：

日志采集和分析流程如下图所示：filebeat采集日志的配置文件默认地址是/home/filebeat/config，在该目录下新增yml文件用来设置日志采集配置，此处以nginx采集为例子：- type: log # 类型 为log类型 paths: - /var/log/applogs/nginx*/*access*.log #将要采集的日志的地址，可以填写多个 - /var/log/applogs/access.log fields: #向日志中增加字段【为了之后分组】 document_type: nginxaccess fields_under_root: true # 设定增加的字段格式，为true时："document_type": "nginxaccess"，为false时："filelds":{"document_type":"nginxaccess"} close_inactive: 24h # 如果文件未在指定的持续时间内采集，则关闭监控的handle。本参数设定时间基于最后采集时间 close_timeout: 24h # 如果目标日志文件在设置的时间内未更新，则关闭监控的handle。本参数设定时间基于最后更新时间 close_renamed: true #设置为true时，如果文件重命名或移动则关闭监控的handle。为false时，文件重命名或移动不关闭监控的handle close_removed: true #设置为true时，如果文件被删除则关闭监控的handle。为false时，文件被删除不关闭监控的handle ignore_older: 24h #设置Filebeat忽略指定时间段以外修改的日志内容，本参数指定时间段

巡检任务执行完成后，可以在界面查看并下载巡检报告。1、使用admin用户登录OPS运维平台。2、选择“运维中心 > 运维任务 > 历史任务”。说明：非Cube场景下菜单路径为“自动化任务>历史任务”。3、选择已经执行的定期任务名，单击“巡检结果”。4、检查巡检项执行结果。检查“巡检结果”如果为F，需要进一步定位。说明：巡检真实值符合期望值时，“巡检结果”为“T”，否则为“F”。巡检报告可以选择“下载”到本地查看。

1、以admin用户登录OPS运维台。2、选择“运维中心 > 运维任务 > 任务审批工单”。说明：非Cube场景下菜单路径为“工单 > 任务审批工单”。3、勾选创建的巡检任务工单，单击“批量通过”。

场景描述业务主机已经接入运维平台后（详细接入步骤参考新增业务主机接入运维、监控、日志平台），假设需要每天对该主机的业务进行巡检，检查该主机的系统内存占用率是否超过80%。开发巡检脚本1、使用admin用户登录OPS运维平台。2、选择“运维中心 > 运维任务 > 脚本管理”。说明：非Cube场景下菜单路径为“自动化任务 > 脚本管理”。“脚本名称”：自定义，例如test_mem_check。“脚本类型”：选择“巡检脚本”“指定管理员”：选择“user:admin()”“是否审批”：选择“是”编辑脚本(shell)：配置巡检的shell脚本#!/bin/bash ################################################################################### # Function : write_result() # Description : Writing Inspection Results # Params : # $1: inspect_item : Inspection Item Name; # $2: expect_result : Expected Value; # $3: real_result : Actual Value; # $4: inspect_result : Inspection Results,T/F; # check_result.log : Result file name. The value is fixed; ################################################################################### function write_result(){ echo "$1 || $2 || $3 || $4" >> check_result.log } ######################## Inspection Script Example ################################# function check_mem_usage(){ mem_total=`free -m | awk -F '[ :]+' 'NR==2{print $2}'` mem_used=`free -m | awk -F '[ :]+' 'NR==2{print $3}'` #计算统计内存使用率 mem_used_persent=`awk 'BEGIN{printf "%.0f\n",('$mem_used'/'$mem_total')*100}'` if (( "80" < "$mem_used_persent" )) then result="F" else result="T" fi write_result "HI1500101B: MEM_USAGE_RATE_Check" "less than 80%" "${mem_used_persent}%" ${result} } function main(){ check_mem_usage } main

1、以admin用户登录OPS运维台。2、选择“运维中心 > 运维任务 > 周期任务”。说明：非Cube场景下菜单路径为“自动化任务 > 周期任务”。3、单击“定时计划”页签后单击“新增”4、创建按天的定时计划。分钟、小时：根据项目实际配置，建议选择业务闲时运行。其他参数：配置为*。5、单击“周期任务”页签后单击“新增”创建周期任务。a、“选择脚本”页面设置以下参数后单击“下一步”。任务名称：自定义，例如：HealthCheckByDay。调度类型：选择“定时”。定时：选择4创建好的定时计划。描述：周期任务的描述信息，自定义。是否启用：选择“启用”。过期时间：根据实际项目要求设置定时任务的过期时间。站点：选择系统接入的站点名称：默认为“abc_site”。脚本文件：选择需要执行定时任务的脚本文件“test_mem_check”。b、“选择主机”的页面，需要勾选所有主机后单击“下一步”。c、点击“提交”。

工单审批组只需要配置一次即可，如果已配置过审批组，无需重复配置。1、使用admin用户登录OPS运维平台。2、选择“运维中心 > 运维任务 > 工单配置”。说明：非Cube场景下菜单路径为“工单 > 工单配置”。3、设置审批组站点：选择“全局默认”审批组：选择“user:admin()”

查看问题1、登录Zabbix前端Portal。2、选择“Monitoring > Problems”，按照问题名称在Problem输入“记录数大于5”并单击“Apply”按钮查看问题。查看监控项1、登录Zabbix前端Portal。2、选择“Monitoring > Dashboard”，打开创建模板页面查看监控问题。

查看数据库1、登录MySQL，红色的字段根据实际情况修改：mysql -h 192.168.50.201 -u root -P 3306 -p密码：输入密码2、创建数据库（若已存在则不创建）：CREATE DATABASE test;3、查看数据库：SHOW DATABASES;4、选择数据库：use test;5、创建表（若已存在则不创建）：CREATE TABLE testtable ( `userid` bigint unsigned NOT NULL, `alias` varchar(100) DEFAULT '' NOT NULL, `name` varchar(100) DEFAULT '' NOT NULL );6、插入数据（仅作示例使用）：insert into testtable (`userid`,`alias`,`name`) values (1,'a','aa'),(2,'b','bb'),(3,'c','cc'),(4,'d','dd'),(5,'e','ee'),(6,'f','ff');7、查看表：select * from testtable;通过在表中创建数据来触发告警监控创建脚本1、以sysomc用户登录Zabbix主机，登录后切换到root用户（这里的主机为关联主机中选择的主机）。2、切换目录。cd /home/zabbix_cust/3、创建脚本（若已存在则不创建）：touch check_records.sh4、编辑脚本：vi check_records.sh脚本内容，脚本中红色的内容根据实际情况填写：export MYSQL_PWD=Hu******3 line_nums=`/usr/local/bin/mysql -h 10.168.50.201 -P 3306 -u root -e "USE test;select count(*) from testtable\G;"|grep count|awk -F ": " '{print $2}'|grep -v '^s' | tr '\n' ' ' | sed 's/[ \t]*$//g'` echo ${line_nums}保存退出：:wq5、修改权限：chmod 550 check_records.sh6、修改属主：chown zabbix:zabbix check_records.sh7、退出root用户。# exit执行脚本1、切换zabbix用户：su - zabbix -s /bin/bash2、切换目录：cd /home/zabbix_cust/3、执行脚本：./check_records.sh4、记录数为6，已超过告警监控设定指标。配置文件1、回到安装zabbix的主机。2、切换目录：cd /home/zabbix_cust/etc/3、创建配置：touch zabbix_agent2_records.conf4、编辑配置：vi zabbix_agent2_records.conf配置内容：UserParameter=records.num, cd /home/zabbix_cust && bash ./check_records.sh5、保存退出：:wq6、修改权限：chmod 640 zabbix_agent2_records.conf7、修改属主：chown zabbix:zabbix zabbix_agent2_records.conf8、查询进程：ps -ef | grep agentd | grep -v zabbixdps -ef | grep agent2 | grep -v zabbixd9、重启进程（重启zabbix的进程）：kill 225030

配置模板1、登录zabbix。图1 登录zabbix2、选择“Configuration > Templates”，单击右上角“Create template”，新增模板。图2 新增模板3、填写模板的参数，单击“Add”。Template name（模板名称）：Template_recordsGroups（群组）：Templates/ABC/Application图3 填写模板参数4、新增完模板之后，使用创建的模板名称：“Template_records”搜索刚才新建的模板。图4 搜索模板配置监控项1、单击模板的名称，如图4所示。2、单击“Items”切换到监控页签，然后单击“Create item”按钮，新增一个监控项。3、在监控项页面填入相应配置项并单击“Add”按钮来新建一条监控项。Name（名称）：records_num（配置项的名称）Key（键值：需要唯一）：records.num（用于匹配后台执行的配置文件）Update interval（更新间隔）：10s（查询后台数据的时间间隔）History storage period（历史数据保留时长）：7dTrend storage period（趋势存储时间）：30d配置触发器1、配置完成监控项后，单击“Triggers”页签，单击右上角“Create trigger”按钮，新增一个触发器。2、在触发器页面填入响应配置项。Name（名称）：DB_100001_ {HOST.IP}_The number of records in the testtable table is greater than 5 ! [数据库表testtable记录数大于5]DB：数据库100001：为自定义的触发器IDHOST.IP：为产生告警的机器IPThe number of records in the testtable table is greater than 5 ! [数据库表testtable记录数大于5]：为触发问题名称3、填写名称后，单击“Expression”后的“Add”按钮配置表达式条件，并单击“insert”按钮进行添加。Item（上一步创建的监控项）：Template_records: records_numFunction（监控项执行的功能）：count()Last of (T)（检查最近的次数）: 2 CountV（数量）：5O（大于）：gtResult（最近次数中满足条件的次数）：2表达式（自动导出）：{Template_records:records.num.count(#2,5,gt)}=24、“Severity”类型选择“Warning”，然后单击“Add”按钮完成触发器的添加。关联主机1、登录Zabbix前端Portal。2、单击“Configuration > Hosts”，进入查看目标主机(可在Name或IP处填写目标主机的信息，点击“Apply”快速查询主机)，点击Name列的主机名进入主机配置页面。3、在“Hosts”页面，单击“Templates”进入Hosts添加模板页面。4、单击“Select”，选择此次需要关联的模板组。找到此次需要关联的模板（Template_records），勾选前面的框，点击下方“Select”。5、在下方Link new templates可以看到新添加的模板，单击“Update”。在上方Linked templates可以看到刚刚选择的模板名称，即关联模板成功。6、单击“Items”切换到监控项页签，输入Name“records_num”，单击“Apply”按钮可以查到新建的监控项。7、单击“Triggers”切换到触发器页签，输入Name“数据库用户数大于5”，单击“Apply”按钮可以查到新建的触发器。