Computer system reliability and nuclear war

✒ Enzo SandrĂ© · 📆 25/05/2023 · ⚙ Technocritique · đŸ’© Cas d'Ă©checs

🚀 Le 3 juin 1980, un radar amĂ©ricain dĂ©tecte deux missiles nuclĂ©aires lancĂ©s par des sous-marins. 18 secondes plus tard, ils sont indĂ©nombrables. Quelques secondes plus tard 
 plus rien. Vinrent ensuite des alertes montrant des missiles intercontinentaux, au Pentagone cette fois-ci. Les pilotes de B-52 ont ordre de dĂ©coller, jusqu’à un contre-ordre quelques minutes plus tard : fausse-alerte.

🐛 Dans l’espoir de reproduire le problĂšme, le NORAD ne touche Ă  rien. L’évĂšnement se reproduit 3 jours plus tard et une puce est incriminĂ©e. Son dĂ©faut provoquait des confusions entre les scĂ©narios de test, exĂ©cutĂ©s frĂ©quemment, et de vraies attaques.

🌙 Ce bug n’est pas isolĂ©, en 1960 le NORAD confondait une attaque soviĂ©tique et la lune. Sachant cela, est-il prudent de laisser le contrĂŽle d’armes nuclĂ©aires Ă  des machines ? Compte-tenu de la consommation d’alcool et de drogues rapportĂ©e par les services de santĂ© des deux cĂŽtĂ©s du Rideau de Fer, l’humain ne ferait pas mieux.

⚛ Comment piloter la dissuasion nuclĂ©aire, alors ? Notre technologie est aussi limitĂ©e que nous, notre honte promĂ©thĂ©enne est largement psychologique. Tout systĂšme est fondamentalement limitĂ© par notre capacitĂ© Ă  Ă©crire des spĂ©cifications complĂštes. Nous ne sommes pas des dieux omniscients.

đŸ’„ Alan Borning nous rĂ©pond que la solution n’est pas technologique, mais politique. Les limitations technologiques sont indĂ©passables, c’est au politique de s’assurer de ne jamais ĂȘtre en situation oĂč une machine prend seule une dĂ©cision, surtout si celle-ci est un tir nuclĂ©aire. L’accumulation de Close Call de la guerre froide prouve l’intĂ©rĂȘt de la redondance machine-machine, machine-humain et surtout humain-humain, le plus le mieux. HĂ©las l’urgence rĂ©elle ou supposĂ©e des situations pousse Ă  rĂ©duire les redondances.

SOURCE

Borning, Alan. “Computer system reliability and nuclear war.” Commun. ACM 30 (1987): 112-131. DOI:10.1145/12527.12528

Enzo Sandré


📄 Lien public DOIs: 10.1145/12527.12528