Dorel de la British Airways

Acum o saptamana in urma unor probleme IT sute de zboruri British Airways au fost anulate, peste 75.000 de pasageri au fost afectati si pierderile sunt estimate la 150 de milioane de euro.

Se pare ca sefii British Airways au gasit vinovatul (conform BBC):

“A contractor doing maintenance work inadvertently switched off the power supply. This resulted in the total immediate loss of power to the facility, bypassing the backup generators and batteries… After a few minutes of this shutdown, it was turned back on in an unplanned and uncontrolled fashion, which created physical damage to the systems and significantly exacerbated the problem.”

In acelasi timp compania aeriana a declarat ca relocarea a 700 de joburi IT in India anul trecut nu a avut nimic de-a face cu aceasta problema.

Eu vad doua mari probleme insa:

1. Problema a fost generata de un contractor. Mi se pare extrem de grav cand o firma lasa pe mana altor firme procese interne extrem de importante.
2. Chiar daca mutarea relocarea celor 700 de joburi IT nu a fost neaparat de vina, atentia firmei in domeniul tehnic a fost in mod clar pe procesul de relocare, probabil inginerii ramasi in Anglia nu si-au mai gasit locul sau incercau sa-si gaseasca alte locuri de munca. In astfel de conditii, nu e greu de imaginat ca nimeni nu s-a mai gandit sa verifice sistemul care nu a mai functionat.

{ 12 comments to read ... please submit one more! }

  1. Lucrul cu contractori este cumva normalitatea in zilele noastre. Pur si simplu unii specialisti (IT sau din alte domenii) sunt foarte scumpi si greu de format, astfel incat putine firme isi permit sa ii angajeze full-time – pe langa faptul ca sunt scumpi, nici nu ai nevoie de ei zi de zi.
    Pe de alta parte explicatia nu sta in picioare, zic eu: primul test cand iti pui sistemul de backup este sa vezi daca functioneaza cand “se ia curentul”.

    • Eu nu sunt impotriva folosirii contractorilor. Insa in operatiuni critice, cred ca e bine sa ai angajatii proprii. Mai ales cand vorbim despre o companie aeriana. Cat despre cost, uite ca acum ii costa 150 de milioane de euro 🙂

      • @emil
        sunt total de acord cu tine dar esti impotriva curentului:

        1. Un singur contractor care a facut o greseala nu poate afecta intre sistemul. Explicatia a gasit doar un “acar paun” usor de dat afara.
        2. repornirea sistemuiui nu poate produce nici un “physical damage”. Tehnica actuala te acopera total pe vremea asta. Dar probabil ca asa cum mai existau becuri prin Londra anii trecuti de pe vremea lui Edison exista inca “agregate” electrice de pe vremea lui pasvante. Si asta pe “intregul lant”. Lucru foarte greu de crezut.
        3. Sistemele de Disaster recovery se testeaza in functie de industrie intre o data si de mai multe ori pe an. Testele costa deci societatile trebuie sa provizioneze an de an aceste costuri.
        4. Este foarte posibil ca “economia” propusa si “realizata” de catre NON MANAGERI ajunsi acolo in esenta doar pe pile si cunostinte sa fi facut ca pana si sistemele de backup sa nu mai fie testate de ani de zile. E foarte simplu din pozitia de manager sa vinzi “vise” cu profitabilitati fantasmagorice si sa ascunzi sau chiar sa nu ai habar de zonele in care “tai cheltuieli”. Norocul astora este ca “hartia” (pardon slide-urile acum) suporta orice si iti permit sa aberezi la greu(nu vb de tine).
        5. Externalizarea serviciilor este o mare moda “globalista”. Totul e ok cand merge, cand nu, stai si asteapta sa-ti rezolve problemele societatile terte in general mici, fara experienta dar cu foame mare de bani. Cate proiecte actuale facute la exterior sunt realizate la timp si intra in bugetele initiale? Aproape nici unul. Ti se promite Luna si ti se da hai o “portocala”.
        6. V-am povestit aberatiile de la un proiect european Airbus unde mai multe tari sunt in parteneriat. UK face motoarele, nemtii fac aripile si ampenajul, francezii fac corpul, restul italieni, belgieni, spanioli fac “diverse” dupa posibilitati. Marele Airbus actual a avut un astfel de episod la testele de motoare. Belgienii se ocupau de teste(aberant ca trebuiau transportate din UK in Belgia deci bani suplimentari). Unul din teste este testul cu “pui”. Da in zoborul lor reactoarele aspira frecvent pasari. Normal trebuie sa nu puna probleme. La testul asta in belgia cele 3-4 motoare trimise de englezi au capotat toate. Si costa zeci de milioane. Englezii au spus ca nu este posibil si au trimis altele (mai bine trimiteau un inginer sa vada cum se realizeze testele). Tura a doua la fel. Nemtii s-au enervat si au trimis ei o echipa de ingineri sa vada testele(caietul de sarcini era scris de ei). Nea Gica manivela (ultimul nivel – muncitorul necalificat) de la belgieni primea ordinul sa se duca la spermarket sa cumpere pui dar nu cei mai scumpi. Ei da se faceau economii. El cumpara se intorcea cu ei si ii arunca in reactoare. Doar ca arunca pui congelati.
        De vina nea Gica manivela, nici un inginer belgian ca deh le cadea rangul daca controlau si ei din timp in timp cum se faceau testele. Cum lui nea Gica manivela nu i se putea lua nimic, salariu minim pe economie, gasesti altul la fel, etc belgienii si englezii au gasit ca de vina sunt “specificatiile tehnice nemtesti care nu au specificat ca puii nu trebuie sa fie congelati. Nu poti face specificatii la milimetru. Testul la pui nu are nevoie de specificatii speciale pt ca intra de ani de zile in testele curente.

  2. “This resulted in the total immediate loss of power to the facility, bypassing the backup generators and batteries…”

    Arhitectul care a gindit solutia trebuie impuscat.
    Cei care au implementat-o fara sa testeze scenariul asta, trebuie impuscati si ei.

    Nu de alta, dar proiectul urmator vor implementa probabil aceeasi solutie la un spital sau o centrala nucleara si vor omori oameni.

    • Cica sistemul a fost proiectat prin anii ’80.

      • din anii 80 pana acuma sistemul a suferit o gramada de update-uri eu nu cred o secunda ca acel sistem nu a fost de cateva ori reproiectat. Ca mai are componente din anii 80 e posibil dar nu e acelasi sistem.

  3. Stefan Bragarea

    Domnule Stoica – există și refaceri/remedieri de proiecte. Proiectarea învechită a unui sistem în funcțiune nu este o scuză.

  4. Este o problema destul de intalnita in zilele noastre, numai ca la British Airways impactul si vizibilitatea au fost uriase. In general externalizarea unor unor activitati este un proces disruptiv si trebuie abordat extrem de prudent si cu proiecte tehnice “beton”. Din pacate, perspectivele sunt aproape exclusiv de business iar pt partea tehnica se acorda foarte putine resurse, si financiare si umane. Doar externalizarea s-a facut cu scopul de a scadea costurile operative 😉
    In mod sigur cel care a gandit solutia va fi gasit vinovat, dar el va fi acarul Paun. Fara sa cunosc cazul in detalui, din experienta, as putea insira vreo 10 motive, dar merita amintit unul: pentur un sistem din anii “80 foarte probabil ca nu au mai existat metodologii de “predare” a solutiei asa ca este posibil ca proiectantul sa nu fi stiut de acel comutator sau sa nu fi avut acces la documentatie (tinuta sub cheie in cel mai strict secret).
    Si este vizibila din nou zgarcenia. La un complex cu securitate atat de ridicata ar fi trebuit sa existe inca un nivel de alimentare electrica de rezerva (orice datacenter care se respecta are asa ceva; exista si 4 nivele, poate si mai mjulte) pentru sistemele critice, astfel incat actionarea comutatorului sa nu implice riscuri la repornire in “an unplanned and uncontrolled fashion”.
    Eu oscilez: (1) ne-au dat o poveste aproximativa care sa ne abureasca – cal mai probabil; (2) intradevar, companiile de aviatie, sub presiunea scaderi costurilor au devenit veritabili Hagi Tudose.
    Si apropo de externalizare: exista externalizari si externalizari. Uneori contractorii, mai ales in zona IT, pot oferi garantii de securitate peste ce poate implementa o firma.
    Ca sa inchei, revin cu ce am inceput: tot mai mult externalizarile sunt privite ca procese de business si mai putin ca procese tehnice (din zgarcenie).
    (lung am mai scris; sper sa nu plictiseasca 🙂 )

  5. Distrugere virtuala? 🙂

  6. Lucrul cu contractori mai ales in zona de servicii IT este in zilele noastre mai degraba regula decat exceptie. Pe acelasi rationament as putea zice ca e foarte grav ca cei de la BA nu au bucatari calificati si folosesc firme de catering
    specializate care pot imbolnavi pasagerii 🙂
    Lucrez intr-o firma mare de IT si stiu din pacate cat de fragila este uneori infrastructura in anumite puncte – iar motivul este legat de cost. Mai pica din diverse motive serverele de la firme dedicate IT – cauta istoricul problemelor de la amazon cloud … si aia nu-s amatori 🙂

{ 0 Pingbacks/Trackbacks }

Leave a Reply

Your email address will not be published. Required fields are marked *