Як зазнають збоїв складні системи: 18 тез про відмови й безпеку

Сайт how.complexsystems.fail публікує короткий есей 1998 року про збої складних систем у вигляді 18 пронумерованих тез. Аварії тут не аномалія, а нормальний наслідок того, як такі системи побудовані й експлуатуються, і текст досі цитують в обговореннях безпеки та надійності.

Відмова як нормальна властивість системи

Перші тези твердять, що складні системи — транспорт, охорона здоров'я, енергетика — небезпечні за своєю природою: частоту впливу загроз іноді можна змінити, але самі процеси залишаються небезпечними. Високі наслідки спонукають до створення багатьох шарів захисту, технічних і людських, і цей захист зазвичай працює. Катастрофа потребує кількох дрібних відмов одночасно: кожна необхідна, але достатня лише їхня сукупність.

Оскільки складність унеможливлює роботу без вад, системи працюють у деградованому режимі, несучи мінливу суміш прихованих відмов. Аналіз після аварії, за текстом, майже завжди виявляє історію давніших «протоаварій».

Проблема «першопричини»

Есей відкидає зведення аварії до однієї першопричини. Якщо для видимої відмови потрібні численні дефекти, ізольованої причини не існує — лише разом причини стають достатніми. Міркування про «першопричину» відображають суспільну потребу звинуватити локальну силу чи подію, а не технічне розуміння відмови. Ретроспектива ж спотворює оцінку дій людини: знання результату робить передумови очевиднішими, ніж вони були для операторів.

Оператори водночас виконують дві ролі — виробляють результат системи й захищають її від відмови. Сторонні рідко бачать цю подвійність: у спокійні періоди наголошують на виробництві, після аварії — на захисті. Кожна дія є ставкою за невизначеного результату, і успішні результати теж є такими ставками.

Безпека створюється безперервно

Завершальні тези стверджують, що безпека — емерджентна властивість усієї системи, а не компонент, який можна купити чи відокремити, і вона динамічна, бо небезпека та її управління постійно змінюються. Робота без відмов є результатом дій людей, які безперервно утримують систему в межах припустимої продуктивності — часто обираючи відпрацьовані рутини, іноді вигадуючи нові. Розпізнавання межі потребує тісного контакту з відмовами, тому краща безпека залежить від каліброваного уявлення операторів про загрози та вплив їхніх дій.