业内资深人士:新浪微博机房宕机 人为原因可能性最大
昨天(6月17日)下午16点30分左右开始,新浪微博经历了“黑色一小时”,几乎全平台瘫痪,微博CIO王巍在事后回应称,这次故障的原因是“外部机房整层掉电”。
作者:IDC圈
来源:IDC圈
2017-06-19 13:08:21

昨天(6月17日)下午16点30分左右开始,新浪微博经历了“黑色一小时”,几乎全平台瘫痪,微博CIO王巍在事后回应称,这次故障的原因是“外部机房整层掉电”。作为业内人士,很难想象,支撑着上亿用户的新浪微博数据中心会出现因电力保障问题而宕机的事故。

对此,中国IDC圈第一时间联系到拥有20多年数据中心建设运维抢修经验的资深专家张洋,请他分析一下此次新浪微博机房断电宕机的可能原因。

1.人为原因方面——互锁机制流程是否顺畅?值班状态有待确认

微博3

“武装到牙齿的现代化部队,也可能存在管理漏洞,在某种情形下,被‘敌人’轻易攻陷。自动化程度很高的数据中心,在运营维护上的一点小瑕疵,就可能导致整个数据中心宕机。新浪微博机房掉电宕机,有可能是设计上存在问题,但更大的可能,则是运行维护时人为因素造成。”在电话里,张洋开门见山,认为人为原因可能性最大。

张洋向中国IDC圈记者分析说,即使数据中心有双路市电的保障,但如果一路市电失电,配电系统互锁机制方面出现问题,那么所谓双路市电只是形同虚设。正常情况下,一路市电断电,UPS将自动启用,随后另一路市电及时切入。所谓互锁机制,就是为了防止人为误操作造成两路市电之间发生短路的保障机制。

新浪微博机房这种等级的机房,一般只有两路市电都中断,才会启用发电机。如果一路市电断电时,值班人员或电力运维工程师技术能力有限,或由于其他原因应对不足,则可能直至UPS电力耗尽,仍未能切入另一路市电,最终造成数据中心电力中断。

张洋说,通常情况下,市电中断后,UPS自动启用,一般可以维持数据中心继续运行10分钟以上,在这期间,系统会发出报警警示,如果技术人员没有及时注意到系统报警,就可能造成另一路市电未能及时切入,或发电机未能及时启动,造成掉电宕机。是否存在这样的情况,还有该数据中心下一步披露的调查结论。

2.机房设计方面——办公区是否为普通市电?双路市电真伪待查

微博4

张洋认为,还有一种可能,就是设计上的瑕疵。如果机房运行维护办公区也使用普通市电供电。市电断电时,电脑、办公系统全部失灵,工作人员之间无法交流、操控,数据中心就会全面瘫痪,报警信息无法及时处理,值班抢修人员无法及时到岗开展应急工作,最终导致数据中心掉电宕机。

在设计上,大型数据中心对每年断电时间、频率有着非常严格的要求,比一般的工业用电要求供电等级更高,而且还需要双路以上(最高等级要求四路)来源于不同区域、不同变电站的市电接入,更高一级要求上两级电力接入不允许是同一路变电站或者供电回路。

“如果不是数据中心场地高压开关房及周边事故,一般不会出现两路市电同时停电的情况。但如果两路市电同属一个上级电站,那么,当该变电站出现问题时,所谓的‘双路市电’会同时中断,这也就是业内所说的‘伪双路市电’。”张洋向中国IDC圈强调。

3.回应网友猜测——发电机故障可能性很低  高温天气无需背锅

微博5

针对一些网友提出的“发电机故障或机房方面为降低成本而延迟发动机启用”的猜测,张洋认为可能性不大。

张洋告诉中国IDC圈,对于新浪微博机房这种高等级机房来说,往往都是多台发电机并机运行,发电机采用N+1配置,即使一台发电机故障,也可以完全满足系统正常运行。一般情况下,发动机启动运行1分钟内,就能正常供电,保障数据中心的运行。启动发动机的成本并不高,只需要燃油方面的花费。即使电力供应正常,数据中心每个月都要启动发电机至少一次,每次加载运行不低于十五分钟,使发电机内部润滑等部件保持状态良好,可以随时投入应急使用。

还有网友猜测,近期北京气温上升过高,达到历史同期最高水平,炎热天气会增加数据中心负荷,导致宕机概率上升。张洋认为,该种猜测也不正确。

张洋说,天气炎热,室外温度上升,在IT负载方面不会有任何变化,变化的就是空调部分的制冷效率。温度上升,导致室外冷凝器的热交换温差降低,进而降低冷凝器热转化效率,使数据中心PUE值上涨。

一般的数据中心PUE会在1.5至2.0之间,这主要就是冬季夏季因气温引起的制冷供电功率的变化,数据中心用电设计都会保留最大用电负荷的冗余设计,所以温度高了,只会影响到用电成本的增加,不会因此宕机。

发电机启动一分钟后,就能发电供数据中心机房使用,为什么这次此次新浪微博宕机时间却长达一个多小时?

张洋解释说,掉电后,发电机一分钟发电供电是没问题的,但如果数据中心路由器、核心交换机部分没有配备机柜内备用UPS的话,掉电恢复时间可能从三五分钟达到乃至十几分钟,抑或需要从根本上人工重新恢复数据再运行。一般的服务器都会设置掉电重启,这个重启时间也会从三五分钟至十几分钟不等。如果部分服务器因掉电引起数据丢失、损坏,而需要通过其他手段进行恢复才能运行,就需要更长的时间了。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2021-12-02 18:09:00
市场情报 助攻中大型数据中心转型,看山特如何与“大象”共舞
随着数据中心未来新形象的明晰,它将在新基建、各行业数字化转型中发挥更为积极的关键性作用。 <详情>
2021-11-18 13:47:43
UPS电力 山特助攻数据中心,闯关发改委红线下的“大考”
作为新基建的重要组成部分,数据中心降低能耗,加快转型,不仅是响应国家号召,体现社会责任,也是数据中心自身发展的迫切需求。 <详情>
2021-10-08 09:46:13
国际资讯 Facebook史上最严重宕机 DNS故障断服近七小时 高管推特道歉
Twitter似乎是Facebook宕机事故的最大受益者。不仅Facebook官方账号和诸多高管先后来到Twitter发表声明致歉,今天Twitter的单日访问人数也创下了新高。 <详情>
2021-09-23 14:46:00
市场情报 重磅!科华数据喜获2021年全球UPS竞争战略创新与领导力奖
经过该权威机构独立调研和评审的层层选拔,科华数据最终凭借卓越实力脱颖而出,荣膺Frost & Sullivan 2021年最佳实践奖系列之“2021年全球UPS竞争战略创新与领导者奖”!这 <详情>
2021-08-05 18:06:00
市场情报 台达 Ultron NT 系列工业级 UPS 为第三代半导体制造 提供无间断电源保障
全球提供电源管理与散热解决方案提供商台达,近日为国内某第三代半导体制造企业提供Ultron NT 系列工业级 UPS(不间断电源)系统,用于确保为厂房环境、生产设备和生产工艺 <详情>
2021-07-31 17:14:00
2021-06-17 10:07:53
UPS电力 磷酸铁锂电池产量超过三元电池
2018年以前,磷酸铁锂电池的市占率一直领先于三元电池。 <详情>
2021-06-04 17:19:17
UPS电力 台达UPS磷酸铁锂方案助电力大厦安全运维
城市发展离不开电力的支撑;信息社会的节奏,更让人们摆脱不了对电力的依靠。面对越来越多的电力服务需求,某市供电公司专门打造了一座电力综合服务大厦,包含营销部、供电 <详情>
2021-05-06 09:43:06
UPS电力 台达Ultron DPS 300-1500 kVA系列UPS 荣获 IT168“2020年度技术卓越奖”
在国内权威IT媒体----IT168举办的“2020年度技术卓越奖”评选中,备受大型数据中心和IDC运营商青睐的台达Ultron DPS 300-1500 kVA系列不间断电源(UPS)系统,以其高功率密 <详情>

IDC圈

阅读量
阅读排行榜