一.本案例适合什么场景？    后台数据库查询集群状态正常；    页面显示主机故障；    可以确定为上报页面出了问题，非后端集群问题。二.如何确定是该问题？1.根据nodeagent进程确认（在页面上显示故障的节点，执行ps -ef|grep nodeagent）正确示例：错误示例：2.根据启动日志确认（tail -f /var/log/Bigdata/nodeagent/scriptlog/start-agent.log）三.问题根因Controller按30秒周期检测NodeAgent心跳。当Controller未接收到某一个NodeAgent的心跳，则尝试重启该NodeAgent进程。如果NodeAgent重启失败，则显示主机故障。四.如何解决结合报错具体信息处理，以下为上图报错处理思路，仅供参考。、/var/log/Bigdata/nodeagent/scriptlog/start-agent.log日志显示failed to start ntp。ntp启动失败tail -f /var/log/Bigdata/nodeagent/scriptlog/start_ntp.log日志，报错Failed to generate /opt/huawei/Bigdata/nodeagent/tmp/ntp/ntp.conf排查报错脚本/opt/huawei/Bigdata/om-agent_6.5.1/nodeagent/bin/start-ntp.sh，第二个红框为报错信息，第一个红框为触发报错的命令拼出报错的完整命令：sudo /var/lib/sudo/Bigdata/sudo/runtime/sudoExecute.sh agent_config_ntp /opt/huawei/Bigdata/tmp/ntp/ntp.conf 10.10.10.10（10.10.10.10替换为ntp源的ip）以上命令单独执行不报错，排查发现脚本获取ntp源ip失败，导致启动ntp启动失败ntp源ip是从/opt/huawei/Bigdata/om-agent_V100R002C80SPC200/nodeagent/etc/agent/nodeagent.properties获取从上图可以看到，该文件为空，询问客户得知之前异常下电导致配置文件丢失从正常节点拷贝该文件到该目录，并且将第23行 om.nodeagent.nodeid=本地ip@本地主机名等待30秒，Controller重启该NodeAgent进程，检查页面恢复正常

问题分析检查RegionServer运行日志(/var/log/BigData/hbase/rs/hbase-omm-regionserver-xxx.log)，其中报错该节点与HMaster节点的时间差大于30s；具体报错如下:Master rejected startup because clock is out of sync| org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDutyorg.apache.hadoop.hbase.ClockOutOfSyncException:org.apache.hadoop.hbase.ClockOutOfSyncException:Server hdfs02,21302,xxxx has been rejectd;Reported time is too far out of sync with master.Time difference of 88759ms >max allowed of 30000ms检查异常重启regionserver节点的NTP服务状态，NTP一直是初始化的状态；检查/etc/ntp.conf文件配置异常，与其他节点不一致，从正常其他regionserver节点拷贝/etc/ntp.conf文件到本节点后重启NTP服务后，NTP状态恢复正常；等时间同步后重启实例，恢复正常。问题解决参考       NTP服务异常导致RegionServer节点时间与HMaster节点时间差超过30s，从而导致RegionServer重启，恢复NTP服务，重启RegionServer实例。

最近在调试MDC300F时间同步功能，我们将GPRMC串口和PPS信号接入MDC-A的pin 2、5、7，时钟同步源尝试使用9600、115200等波特率，都没有成功进行同步。同时，尝试使用ntpdate和ntp service也没有成功配置。目前，只有使用devmtool手动设置时间没有问题。请问：接好线束，软件需不需要配置或启动？手册中明确说明TimesyncConfig配置不生效MDC推荐的GPRMC串口波特率是多少？有没有详细的指导书？如何使用NTP进行时间同步？谢谢！

问题背景与现象配置的ntp外部时钟源可以ping通，但是ntp服务不能同步时间，FusionInsight Manager 上报12012NTP 服务异常告警，告警附加信息提示：Detail=Status of upper ntp server is [.INIT.]. Upper ntp server is abnormal原因分析由于防火墙的限制，检查防火墙，可能是防火墙屏蔽了udp 123端口。解决办法检查是否开启了iptables或防火墙服务，执行命令关闭防火墙服务。Red Hat：service iptables stopSUSE：chkconfig iptables --level 3 off

问题背景与现象安装双机oms，主oms安装成功，安装备oms时报启动ntp超时。原因分析在主备oms上分别执行sh /opt/huawei/Bigdata/om-0.0.1/sbin/status-oms.sh，如果看不到对端oms状态信息，基本可以确认是HA证书过期导致。可通过下面命令查看证书的有效时间以及系统当前时间（GMT时间可以等效于UTC时间）。openssl x509 -in /opt/huawei/Bigdata/om-0.0.1/security/certHA/root-ca.crt -noout –dates。可以看到系统当前时间已经超过证书有效期，可以确定是HA证书过期导致。解决办法使用omm用户在主OMS节点上执行以下命令生成证书私钥（安装场景root安装可以使用root用户执行，非root安装则该步骤可放在执行preset之后）：openssl genrsa -aes256 -passout pass:$password -out $path/root-ca.pem 2048其中$password为证书密码，$path为存放私钥和证书文件的路径，下同。例如：openssl genrsa -aes256 -passout pass:Changeme_123 -out /home/omm/root-ca.pem 2048生成root-ca.pem（如果是升级/新安装场景，务必保证 $password是FI证书的默认密码Changeme_123）。使用omm用户在主OMS节点上执行以下命令生成证书（安装场景root安装可以使用root用户执行，非root安装则该步骤可放在执行preset之后）：openssl req -passin pass:$password -new -x509 -days $days -key $path/root-ca.pem -sha256 -out $path/root-ca.crt -subj "/C=$country/ST=$state/L=$city/O=$company/OU=$organize/CN=$commonname/emailAddress=$email"其中，$password为生成私钥时传入的密码，$days为证书的有效期天数，$path为临时存放证书的路径，均可根据实际需要进行配置。例如：生成证书openssl req -passin pass:Changeme_123 -new -x509 -days 36500 -key /home/omm/root-ca.pem -sha256 -out /home/omm/root-ca.crt -subj /C=CN/ST=guangdong/L=shenzhen/O=huawei/OU=IT/CN=HADOOP.COM/emailAddress=FI@huawei.com这样，就在 /home/omm目录下生成了root-ca.crt和root-ca.pem两个文件。使用安装/升级用户进入到升级/安装包解压后的安装目录(假定用户已经将升级/安装包解压)；cd升级(安装)包所在目录/FusionInsight/software/om/package解压缩om-0.0.1.tar.gz，执行下列命令：tar -zxvf om-0.0.1.tar.gz替换预置的HA证书。手工将上面步骤1中生成的root-ca.crt和root-ca.pem拷贝到解压缩后的om-0.0.1/security/certHA/目录下，替换掉目录下原有文件，注意文件权限不变。替换完成后，重新压缩om-0.0.1.tar.gz，注意重新压缩后权限不变。cd升级包(安装包)所在目录/FusionInsight/software/om/packagerm -f om-0.0.1.tar.gztar -czvf om-0.0.1.tar.gz om-0.0.1rm -rf om-0.0.1操作完成以后，可以按照正常的流程进行升级或安装操作。

问题背景与现象主OMS已安装成功，安装备OMS时启动ntp失败，提示Wait for ntp to startup timeout。===================================Welcome================================================== STEP 1 Preparing components...The ws_float_ip (10.103.100.106) already exists on the network.  Is it used on the active OMS HA? (y/n):yThe om_float_ip (10.103.100.104) already exists on the network. Is it used on the active OMS HA? (y/n):y=== STEP 2 Install packages. It may take several minutes. Please wait...    Waiting for ntp to satrtup.............................................................ERROR:Wait for ntp to startup timeout.ERROR:Installation failed.            Please run the following script to delete useless files:           /opt/huawei/Bigdata/om-0.0.1/inst/uninstall.sh原因分析分析NTP日志（/var/log/ntp.log），发现端口不同拒绝连接，提示connect refused。检查防火墙设置：chkconfig -lst | grep fire。解决办法先卸载已安装的备OMS。关闭防火墙设置。chkconfig SuSEfirewall2_setup offchkconfig SuSEfirewall2_init off重新安装备OMS，安装成功。

本帖最后由 Lothar 于 2018-3-27 19:34 编辑使用场景 用户在安装MRS集群后，为集群更换或重新指定新的NTP服务器，使集群从新的NTP时钟源同步时间。 注意： •更换NTP服务器是高危操作，更换后集群时间可能将会变化。 •更换NTP服务器前NTP服务器与集群当前时间偏差大于150s，则需要重启集群，防止数据丢失。 •停止集群期间服务无法访问。 前提条件 •已准备新的NTP服务器，获取IP地址，并设置好集群与新NTP服务器的网络。 •已确定主oms节点。oms主备节点查询方式，可参考https://support.huaweicloud.com/usermanual-mrs/mrs_01_0086.html 操作步骤1.在MRS Manager，单击“告警管理”，在告警列表查看是否存在未清除的告警。可参考 https://support.huaweicloud.com/usermanual-mrs/mrs_01_0113.html 是，请修复告警。告警处理完毕后，执行步骤2。 否，执行步骤2。2.登录oms主节点，使用sudo su –命令切换至root用户。 可参考https://support.huaweicloud.com/usermanual-mrs/mrs_01_0082.html3.在oms主节点执行ntpdate –d X.X.X.X命令，检查集群时间与新的NTP服务器时间偏差。单位：秒。 例如，检查与NTP服务器“10.1.1.1”的时间差，执行ntpdate -d 10.1.1.1， 界面显示： 31 Jan 10:10:10 ntpdate[6015]: adjust time server 10.1.1.1 offset -0.000020 sec 说明： 其中-0.000020表示时间偏差。正数表示NTP服务器时间比集群当前时间快，负数表示NTP服务器时间比集群当前时间慢。4.检查时间偏差的绝对值是否超过“150”。 是，执行步骤5。 否，时间偏差的绝对值不超过“150”，以omm用户执行步骤7。5.确认是否可以停止集群。 是，停止上层业务并停止集群，然后执行步骤6。 否，任务结束。6.确认NTP服务器时间是否比集群当前时间慢。 是，NTP服务器时间慢，停止集群界面显示“操作成功”后需等待，间隔大约为步骤3得到的时间偏差，再以omm用户执行步骤8。 否，NTP服务器时间快，停止集群界面显示“操作成功”后直接以omm用户执行步骤8。7.执行sh /opt/Bigdata/om-0.0.1/bin/tools/modifyntp.sh --ntp_server_ip 10.1.1.2 命令，更换NTP服务器。 8.执行sh /opt/Bigdata/om-0.0.1/bin/tools/modifyntp.sh --ntp_server_ip 10.1.1.2 --force_sync_time 命令，从NTP服务器“10.1.1.2”立即强制同步时间，并更换NTP服务器。 说明：1.当前最多允许配置2个NTP服务器以主备方式提供服务，可以用“,”将不同服务器分开。例如，sh /opt/Bigdata/om-0.0.1/bin/tools/modifyntp.sh --ntp_server_ip 10.1.1.1,10.1.1.2。2.如果停止了集群，在更换NTP服务器后需要重新启动集群。