首页 › 案例
第一能源公司(俄亥俄州的调度控制室和 IT 支持人员) · 2003 年 8 月 14 日

两间屋子,各有半张图

2003 年大停电那天下午,俄亥俄一家电力公司的控制服务器宕机,IT 人员收到了自动呼叫;可一个多小时里,电网调度员都没意识到自己的告警已经哑了。

◷ 约 2 分钟

2003 年 8 月 14 日下午 2 点 14 分刚过,第一能源公司(FirstEnergy)在俄亥俄的控制室里,告警系统停了。它的本职,是在重要设备从正常变成异常时发出声响、在屏幕上提示。从那以后,控制台上再没收到一条告警。调查发现,调度员并不知道自己是在没有告警的情况下值班。

屏幕上看着风平浪静。2 点 27 分,一条 345 千伏的线路跳闸后又自动重合。2 点 32 分,邻近的电力公司 AEP 打来电话问这件事。第一能源这边,既没有告警,也没有跳闸记录。据调查这次停电的美加联合工作组说,第一能源的调度员认为这条信息要么不准,要么和自己的系统无关,没再追。

公司的另一头,电脑其实在报信。2 点 41 分,承载告警功能的主服务器宕机,备用机接手,系统自动呼叫了 IT 人员。2 点 54 分,备用机也宕了,又是一次呼叫。工作组查明,IT 人员没有通知控制室的调度员。

3 点 08 分,IT 人员重启完主服务器。开机自检一切正常,他们以为已经修好了。告警系统其实还冻在那里。IT 人员也没有找调度员确认告警恢复了没有。

工作组用一句话概括:「一个多小时里,第一能源控制室里没有一个人意识到他们的电脑系统没在正常运行,尽管第一能源的 IT 支持人员知道这些问题,并且正在设法解决。」调查人员推断,IT 人员应该明白,两台服务器都宕机就意味着告警没了;第一能源则对调查人员说,直到 3 点 42 分一位调度员告诉他们告警出了问题,IT 人员才知道。

这期间,调度员和现场人员、一座核电站、邻近的电力公司、区域可靠性协调机构都通过话,每一方都给了相关的信息。报告说,他们「没能从这些线索里认出正在冒头的问题」。3 点 05 分到 3 点 41 分之间,第一能源三条 345 千伏线路先后碰到树木,跳闸退出。

4 点刚过几分钟,大停电开始了。波及的地区估计住着 5000 万人,横跨美国八个州和加拿大安大略省。

工作组把原因归成四组:第一能源和它所属的区域可靠性委员会,没有弄清这套系统的薄弱环节;第一能源没有管好线路走廊里树木的生长;区域可靠性机构没能提供有效的实时诊断支持;第一能源缺乏对系统状态的感知,其中一条是:它的「计算机支持人员和调度运行人员之间,没有有效的内部沟通程序」。

这件事里藏着几个道理

交互记忆系统IT 人员知道服务器坏了;调度员手里有一通通电话和一片安静。调查发现,两拨人之间缺少有效的程序,把各自知道的告诉对方。

出处

  1. 美加电力系统停电联合工作组,Final Report on the August 14, 2003 Blackout in the United States and Canada, Causes and Recommendations,2004 年 4 月