Antud artikli kriitika on selles osas omal kohal, et järjest tõenäolisemaks muutub, et Block 3F tõesti ei saa ikkagi tähtajaks valmis, kuna enamik ajapuhvrit kulutati ära 3B peale ning see on muutnunud praktiliselt olematuks, samas kui riske veel on. Artikke ise ei ole aga kuigi hea.
Mis on DOT&E
Antud artikkel tsiteerib DOT&E't. Selleks et seda hinnata, tuleb esmalt aru saada, mida DOT&E (Director of Operational Test and Evaluation) ametikoht endast üldse kujutab. See tekitas palju segadust ka mulle, mistõttu natukene uurisin seda teemat et selgust saada. DOT&E raporteid
2014 ja
2015 aasta kohta on siin samas teemas korduvalt käsitletud (esimese osas lahmisi palju ka ise siin). Need on üsna okeid allikad programmi hetkepuudujääkide kohta info saamiseks, kuid seda peamiselt seetõttu, et kõik muud allikad, on üksteist tsiteerivad lahmivad blogijad või siis relvaprogrammi juhtkond ise, kes tahab näidata jälle ainult head.
Esimene asi millega antud artikkle eksib (ja seda tehakse pidevalt ka kõikjal mujal), on, et DOT&E juht Michael Gilmore'i
ei ole "Pentagoni peamine relvatestija". Tegu on
järelvalveameti juhigia, mitte testijaga. Tema osakonnal (kes on samuti valitsusametnikud, mitte relvatestijad), on lihtsalt täielik ligipääs relvaprogrammide infole. Oma raportites toovad nad esile infot, mis on programmi testimise käigust neile silma jäänud ning mida nad peavad oluliseks, kuid nad ise ei testi midagi (isegi mitte enda kontori kohvimasinat).
"Aga mis seal vahet on? ... Testija/šmeštija, midaiganes ..."
Tegelikult on vahe päris suur, eriti kui teab mis on antud järelvalve ametikoha kohustused ja ülesanded. DOT&E loodi 1983. aastal, eesmärgiga jälgida relvaprogrammide seisu just eelarve ja ajakulu mõttes. Asutuse enda tegevust hinnatakse põhiliselt selle järgi, mitmeid probleeme nad ette nägid, mitte probleemide ennustamise kvaliteedi järgi. Ehk siis - DOT&E peabki karjuma: "Hunt! ... HUUUUUUNT!", iga asja peale, mis tähtaja või eelarve osas natukenegi ohtlik tundub. Nende jaoks on kõik parimas korras, kui tehtud hoiatustes ja prognoosidest täitub täpselt ümmargune null (oleks alles elu Nastjale ja Igor Mang'ile
). Kui aga peaks juhtuma, et nad mingit jama ette ei näinud, hakkavad seal asutuses konkreetselt pead lendama. Relvatestijad on hoopis teised loomad, kes arusaadavalt võimalike ohtude etteennustamisega ei tegele. Nad kontrollivad kindlate testide raames mingi konkreetse funktsionaalsuse vastavust spetsifikatsioonile.
Seepärast ongi DOT&E raportid täis kõikvõimalikke negatiivseid ohuprognoose. Nende töö on kõikvõimalik (ja võimatu) välja tuua, mitte olla ennustustes täpne. Kuna sellel lisaks on tegu suhteliselt alakaugete kaitseministeeriumi bürokraatidega, tunduvad nende prognoosid tihti kummalised relvatestimise kogemusega inimeste jaoks (nagu
SMSgt Mac näiteks), seda just kasutatud meetrika poolest.
Toome konkreetse näite 2015 raportist:
Completing the full set of Block 3F WDA events by May 2017, the planned end of Block 3F flight test according to the most recent program schedule, will require an accomplishment rate of over 3 events per month, more than 3 times the rate observed in completing the 12 Block 2B WDA events (approximately 0.8 events per month). Extending by two months to the end of July 2017, as has recently been briefed by the Program Office as the end of SDD flight test, is still unrealistic. Unless the accomplishment rate increases over the rate during the Block 2B testing period, completing all Block 3F WDA events will not occur until November 2021.
Ehk, 2015.a. novembri seisuga, väitis DOT&E, et kuna keskmiselt on F-35 relvade täpsusteste (
Weapons Delivery Accuracy events) senimaani tehtud 0,8 tükki kuus, on praegune Block 3F tarkvara valmimise tähtaeg (2017 august) ebarealistlik. Selle saavutamine vajaks kolmekordset tempo kiirendamist (kolm testi kuus), seega Block 3F valmib tõenäoliselt alles 2021.
Tõin selle näite just seepärast, et kui see raport aasta alguses valmis, korrati seda meedias tõesti
ad nauseam. Minu uudiste
RSS-feed'idesse jõudis see vähemalt viiest kanalist. Igasugused IT-, Autonduse-, isegi arvutimängurite saidid kajastasid seda pealkirjadega stiilis: "Pentagoni peamine relvatestija, väidab et F-35 valmib 2021, mitte 2017, nagu udutab jätkuvalt Lockheed-Martin!"
Üsna karm ennustus. Selle ainuke häda, et ükski reaalne relvatestija ei mõõda neid asju niiviisi ja põhjusega. Antud teste ei tehta ühtlaselt läbi aasta "nii kuidas jõuame", vaid hoogtöö käigus korraga, siis kui muud kriitilisemad tarkvara ja riistvara hädad on kõrvaldatud. Püsivat ülevaadet mul ei ole, aga
just nüüd värskelt tehti kuu jooksul 12 eelmainitud WDA testi, ning nende kõrvalt veel 13 sõltumatut WSE testi (
Weapons Separation Events). Sellega ületati mainitud keskmist sagedust
viieteist, mitte kolmekordselt. Seega ei ole ka see keskmise tõstmine 3x eriline saavutus.
See on ainult üks näide. Samamoodi ennustati DOT&E 2013 raportis, et Mariinid ei saavuta F-35B esmast lahingvõimet, mitte mingil juhul, ennem 2016 aasta lõppu (tegelikult saavutati 2015 juulis), jne. Need ei ole üksikud möödapanekud, DOT&E ohustsenaariumitest
täitub reaalselt ehk paar protsenti (pole varasemad aastad seda väga jälginud, kuid koheselt ei oska nimetada ühtegi, mis
oleks täitunud).
Defektne ja piirangutega ...
Omaette teema on see kui liberaalselt käiakse ringi neis raportites sõnaga "defekt". Pange tähele kus ainuüksi säärase lause mainimine paneb mind tunduma totaalse tootja tallalakkujana! Ka mina arvasin selliste õigustajate kohta nii, aga las ma seletan: Nende jaoks on defektne kõik, mis suvalisel ajahetkel ei vasta
lõppnõuetele. See, et
konkreetsel ajahetkel pole konkreetne testlennuk iialgi mõeldud antud nõudele vastama, ei ole üldse oluline. Isegi kui nõutud meetrika järgi liigub tsiteeritud näitaja, võibolla isegi graafikust ees, õiges suunas. Nõnda on nad toonud esile näiteks probleeme
sortie-rate'iga juba esimestel testlennukitel, millele pole kunagi neid nõudeid esitatud, mis lahinglennukitele ja seda põhjusega (kas lõpetame testlennukite tähtajast kiirema modifitseerimise uue tarkvaraversiooni peale ära, et "lahinglendude arvu" suurendada?!?). DOT&E't see väga ei huvita, läheb kirja defektina: "meetrika X on Y korda alla arvestust". Seda enam on see jabur, et lennukite korral, mille puhul see meetrika on oluline see reeglina tunduvalt üle nõuete! (esimesesel F-35A lahingeskadrillil näiteks oli sortie-rate viimastel õppustel üle 95% protsendi).
See on sama hea, kui hinnata kõik ülikooli tudengid, kuni ainekava täieliku läbimiseni, üheselt defektseks:D (lisaks mainida veel, et kõigil on suur oht välja kukkuda või lõpetada hilinemisega). See on ju põhimõtteliselt korrekte, sest nad ei vasta nõutud lõppstandarditele, kuid äkki oleks veidi parem jälgida, mis on õpitulemused, kas ainete läbimisega ollakse graafikus, kas rasked ained on juba läbitud, või jäetud viimaseks, jne ... Ükski neist näitajatest ei garanteeri tähtaegset lõpetamist, kuid mõned on ehk ennem lõpetamist veidi paremad kui teised. DOT&E raportides on kõik lennukid defektsed läbivalt ja täpselt niiakau kuni ... korraga enam ei ole ja siis seda teemat enam ei puudutata.
Kokkuvõtteks:
DOT&E on järelvalve mitte testimisasutus. Ma ei taha selle pika jutuga neid kuidaginaeruvääristada. Selline järelvalve on igale suuremale avaliku sektori projektile kindlasti hädavajalik ning oma kontekstis on sellised raportid ka väga omal kohal. Aga tulebki aru saada et kontekst ei ole mitte "peamise relvatestija tõenäoliselt täituv ohuhinnang" vaid "järelvalveameti 95% tõenäosusega mittetäituv ohuhinnang". Viimane pealkiri aga ei too üldsegi nii palju klikke, mistõttu
on ajakirjanikud arusaadavalt erakordselt halvad selle konteksti mõistmisel
Probleem ei ole need raportid, vaid nende valikune sensatsiooniline tsiteerimine ohtra lisavürtsi, satiiri ja lahmimisega - "klaas on pooltühi" stiilis.
P.S.
Kui tundub et ma siin DOT&E või ajakirjaniku vastu ebaõiglane olen ja saba ja kõrvadega "müügijuttu teen", siis palun ärge vaikige
Ma võin siin ise lihtsustades väga lahmida, lihtsalt tahtsin jagada infot, mida suvaliselt uudise-saitidel nende "hädaartikite" kontekstis ei kuule, mis mulle isiklikult tunduvad usutavad. Viiteid jõudsin ka vähe panna, nii et kui keegi nõuab, otsin eraldi juurde.