【服务器知识】数据中心服务器常见故障分析总结(二)

xiao1314wang
发表于 2018/10/22

三.服务器故障排错的基本原则:

1. 尽量恢复系统出厂配置

a:硬件配置:去除第三方厂商备件和非标配备件

b:资源配置:清除CMOS、恢复资源初始配置

c: BIOS、F/W、驱动程序:升级最新的BIOS、F/W和相关驱动程序

d: TPL:扩展的第三方的I/O卡是否属于该机型的硬件兼容列表(TPL)

2. 从基本到复杂

a:系统上从个体到网络:首先将存在故障的服务器独立运行,待测试正常后再接入网络运行,观察故障现象变化并处理。

b:硬件上从最小系统到现实系统:指从可以运行的硬件开始逐步到现实系统为止。

c: 软件上从基本系统到现实系统:指从基本操作系统开始逐步到现实系统为止。

3. 部件交换对比测试

a:在最大可能相同的条件下,交换操作简单效果明显的部件

b:交换NOS载体,既交换软件环境

c:交换硬件,既交换硬件环境

d:交换整机,既交换整体环境

总结:

服务器的维修中,线索都会显得扑朔迷离,有的甚至按起葫芦翘起瓢。一般来说不可能一次就可以准确地判断出问题的所在。这样就要求工程师要有信心和耐心。出现错误一般的方法都是根据经验优先使用最简单排错方法测试,如果没有解决问题再找其它因素进行测试。总之,服务器出错后必须一步一步解决,没有捷径可言。

四、服务器故障排除需要收集哪些信息

1.服务器信息:

①. 机器型号: 什么厂家的机器、什么型号如:DELL R720服务器

②. 机器序列号或主机编号(如:主机编号为NC00755666)

③. 是否增加其它设备,如网卡、Raid 卡、内存、CPU等

④. 硬盘配置,如是否做磁盘阵列, 阵列级别

⑤. 安装什么操作系统及版本(win2003、Redhat等)

⑥. 在故障前有没有做过操作、或者运行了什么软件

⑦. BIOS 版本

2.故障信息:

 ①. 在POST自检时,屏幕显示的异常信息

 ②. 服务器本身指示灯的状态

 ③. 报警声和BEEP CODES

 ④. 系统的事件记录文件

 ⑤. Sel 日志

五、服务器硬件故障处理实际案例

(因厂家机型不同,在实际问题中如果遇到相似现象,也需要具体问题具体分析,请不要盲目套用)硬件故障是指服务器硬件出现异常而导致的各类错误,由于服务器构成比较复杂,因此在检查的时候必须认真、仔细。

实例一:

有一台XXX型号服务器,配有256M内存,使用一个PIIIXEON 500带2M高速缓存的处理器。

开机后没有任何显示,但系统日志上提示了一条CPU电压为0伏的信息,系统指示灯三灯不停在闪烁(指示灯三灯闪烁是服务器的另一种报警方式,我会在文后说明)。这种错误一般是处理器电压调节模块(VRM)出错或CPU出错或CPU与CPU板块接触不良,但也可能是CPU板块出错,这时情况就比较复杂了,必须经过认真慎重的思考。

因为CPU板块在整个服务器中,占有举足轻重的地位,如果它出错服务器是会报致命错误的,并且在系统日志中会提示致命错误,但报CPU电压报错的情况也有5%左右。我们立刻把CPU调换在另一CPU插槽中,开机后依然是刚才的那种故障。所以在初步判断中,可以排除是CPU板块坏。这时取出CPU仔细擦拭金手指,以及CPU板块中与CPU接触的地方后,开机依然无显示。相对处理器坏的情况来说处理器电压模块(VRM)出现故障的情况比较大。于是立即在另一台同型号服务器中取下一个处理器电压模块,安装在此服务器中。开机后,服务器依然没有任何显示,系统日志上依然提示CPU电压为0伏的信息,系统指示灯三灯依然不停在闪烁。这时的情况就比较明显了。于是立即从另一台同类型服务器中取下一个CPU安装后,开机正常。

实例二:

有一台XXX型号服务器不显示,发现开机时系统日志没有任何信息,且系统指示灯不亮。初步判断是电源方面出现了错误。经过仔细检查,发现服务器的电源是正常的,因此最大的可能就是服务器的电源管理板出现故障。更换电源管理板后,开机显示正常。但这时,新的问题来了:自检时,用CTRL+M不能检测到硬盘。

硬盘在别的服务器上是正常的,因此立即清除此服务器CMOS,但依然不正常。立刻上网找到此服务器的最新BIOS,升级BIOS后也不能解决问题。又检查硬盘笼子和服务器里的数据线及电源线后依然出错。这时,一般情况会怀疑是服务器I/O板(输入输出板块)有问题。但就在这个时候,工程师发现在I/O板上有一个非XXX型号服务器标配的旧式网卡,立即去除此网卡后服务器就一切正常。

 硬件故障并不单单指硬件有问题,它也指硬件之间不兼容。因为服务器的正常运作需要各部件之间的大力协调。建议大家在采购各元件时,都采用同一品牌原装的,并且要采用能发挥服务器性能的元件(上例中的旧式网卡即使正常也会严重影响服务器性能),这样才不会发生莫明其妙的故障。

实例三:

用户需要把他的XXX型号服务器升级到双网卡,我建议他购买原装网卡,但当他看到XXX型号服务器的网卡是采用的INTEL 82559芯片后,断然决定不使用原装网卡而采用另一品牌也采用INTEL82559的网卡。过了几天,他打电话给我说,他的新网卡不能使用网络冗余及数据校验,并怀疑服务器有问题。工程师带了一个INTEL 82559网卡到用户那里,仔细检查了服务器的环境完全正常后,把INTEL82559网卡安装到机器上后一切正常。这个例子更加说明了,要发挥服务器的最大性能及功能,必须使用原品牌原装的配件。非原品牌非原装的配件,不能支持服务器的某些功能,严重的会影响到服务器的正常使用。

 要避免硬件故障发生频率,服务器管理人员必须注意服务器的使用环境完全正常。比较重要的服务器必须在恒温、恒湿的环境;电压也要符合,不仅要采用UPS,还必须接地线,必须是左零线、右火线,零地电压在1~3伏。在开、关服务器上必须符合正常的流程。工作人员必须严格执行操作流程。

实例四:

服务器故障现象:

一台XXX型号服务器,近期频繁出现几次蓝屏幕死机故障。趁死机关闭的机会,

将内存由原来的128M升级到512M(普通内存),并且在系统CMOS设置中选择装入(Load)最优参数设置,对内存每个单元进行检测。怪异服务器故障出现了,当我开机后,内存检测正常,但是屏幕提示须重新SETUP,按指定的 [F2]键后却死机。我装个内存条招谁惹谁了,怎么会死机?而且内存检测正常啊?

服务器故障处理:

服务器出了故障就要解决,哪怕是怪异服务器故障。按照缩小故障源的思路,换回原来的内存条,逐步去掉各个部分(软驱、硬盘、光驱等),可是这个怪异服务器故障依然存在。分析可能与系统SETUP设置有关,特别是关于对内存每个单元进行检测的设置。于是,拔出电池,对电池插脚短接放电,没有奏效。看来,这个怪异服务器故障还真是顽固。后来,找到主板清除CMOS跳线设置,将插脚线由1-2改到2-3一会儿,然后恢复原位,开机正常(提示:不要轻易拔出电池,而是要找CMOS清除跳线)。再次将内存升级,调整CMOS SETUP设置,特别注意到对内存的检测,设置为检测到每兆,至此系统完全恢复正常。

服务器故障经验

这个怪异服务器故障发生的根本原因是服务器的内存缺省设置为ECC(带校验),由于使用普通不带校验的内存,而系统中设置每个单元都进行检测,所以导致了上面的故障。排除的方法是清除CMOS设置,调整有关参数设置。另外CMOSSETUP装入最优参数设置通常有2种:一种是 BIOS优化参数,这种参数稳定性最好;另一种是SETUP优化参数,优化整个系统,但是需要系统支持,其稳定性不能保证最好。所以,当系统出现故障时,不妨先将稳定性最好的参数装入,解决问题后再行

实例五:

一台XXX型号服务器 使用8708E的raid 卡  在读取某个文件或运行某个软件时经常出错,或者要经过很长时间才能成功,其间硬盘不断读盘并发出刺耳的杂音,这种现象意味着硬盘上载有数据的某些扇区已坏。

一旦硬盘有比较刺耳的杂音可以尝试使用HD软件来测试硬盘时候有坏道,进入ctrl+H配置界面进行查看,阵列是否降级

© 66xianyu.com 咸鱼论坛
本站使用Catfish(鲶鱼) CMS之鲶鱼Blog系统

点击加咸鱼论坛QQ群 [881936765]

   留言 建议 投诉
Catfish(鲶鱼) Blog V 2.2.18