Tien minuten om een satelliet te lezen

Een satelliet is maar even in contact met de aarde. Valt dan een server uit, dan bevriest het scherm van de ingenieur, ook al is er niets mis met de satelliet. Bij Redwire bouwde ik een systeem dat de storing zelf herkent en overschakelt, zonder dat iemand hoeft te klikken.

Door Jelle Smet · Applied Data Intelligence, Thomas More Mechelen

Tien minuten, dan is hij weg

Een satelliet hangt niet de hele dag boven je hoofd. Het contactvenster met een grondstation duurt typisch zo’n tien minuten. De volgende kans komt vaak pas na uren.

In die minuten stroomt de telemetrie binnen, de hartslag van het ruimtetuig: batterijspanning, temperatuur, de stand van de zonnepanelen. Ingenieurs lezen die af op grafieken.

Stel je de controlekamer voor. De satelliet raast boven je door en je volgt een batterijspanning die langzaam zakt. Dan bevriest de grafiek.

Er is niets mis met de satelliet. Een server op aarde is uitgevallen. Jij ziet niets meer terwijl het venster wegtikt.

Wachten op één grafiek

Redwire, het ruimtevaartbedrijf in Kruibeke, gebruikte voor eerdere missies een gespecialiseerde, betrouwbare visualisatie-infrastructuur. Ingenieurs merkten bij sommige visualisaties wel een wachttijd van ongeveer drie minuten. Of dat aanvaardbaar is, hangt af van het missieprofiel. Bij satellieten in een lage baan, met hun korte zichtvenster, telt elke minuut zwaarder. Dat is een operationele observatie, geen formele benchmark.

Tijdens mijn stage kreeg ik de opdracht een alternatief te bouwen dat veel sneller visualiseert. Ik ontwikkelde ORVAL zelf, in overleg met de ingenieurs die het zouden gebruiken. Het toont telemetrie op dashboards die de ingenieur zelf samenstelt. Lange periodes vat de database vooraf samen, zodat de browser niet bezwijkt onder miljoenen punten. Een typische opvraging staat binnen tien seconden op het scherm.

De scheidsrechter die zijn fluitje inhoudt

Alles hangt af van de server achter het scherm. Daarom draait ORVAL op twee: Alpha als hoofdserver en Beta als reserve. Beide bereiken dezelfde telemetrie in de database. Maar een reserve alleen volstaat niet.

Netwerken kunnen hikken. Schakelt het systeem bij elke haperende halve seconde over, dan volgt vals alarm op vals alarm. Een trage maar gezonde server, bijvoorbeeld bij een zware opvraging, mag evenmin als onbereikbaar gezien worden.

Daarom bedacht ik de 3-strikeregel. Denk aan een scheidsrechter die een lichte fout laat gaan en pas bij de derde een kaart trekt. Eén mislukte poging kan toeval zijn; drie op rij is bewijs. Mislukt een gegevensopvraging, dan probeert ORVAL het tot drie keer toe, telkens met vijf seconden wachttijd en vijf seconden pauze ertussen. Pas na de derde mislukking beschouwt het server Alpha als onbereikbaar en schakelt het over. Dat kost tien tot vijfentwintig seconden: de tijd die je koopt om zeker te zijn.

Er zit geen gokwerk in. Dezelfde storing leidt altijd tot dezelfde reactie, volgens vaste regels. Dat heet deterministisch en het maakt het systeem voorspelbaar en reproduceerbaar wanneer seconden tellen.

De omschakeling in 12,3 seconden

Dan gaat het snel. ORVAL stuurt al het verkeer naar server Beta. In de geteste scenario’s hoefde niemand te klikken, te herladen of opnieuw in te loggen.

In een volledig gemeten testrun op Redwire-hardware duurde het 12,3 seconden van de eerste mislukte poging tot de bevestiging dat server Beta het overnam. Dat is ongeveer twee procent van een typisch contactvenster. Zo’n twintig herhalingen gaven hooguit één seconde verschil. Eerlijk is eerlijk: tijdens die seconden krijgen de live-grafieken geen nieuwe punten. Maar niemand moest de storing opmerken, begrijpen en oplossen terwijl het venster wegtikte.

De cijfers

Wat de ingenieurs zeggen

Thuiskomen zonder omkijken

Terugkeren blijkt lastiger dan vluchten. Elke grafiek vraagt zelf data op. Beslist elke grafiek apart wanneer het genoeg is, dan zit de ene gebruiker bij server Beta terwijl de andere bij Alpha blijft hangen. Twee collega’s zien dan een andere werkelijkheid.

Daarom neemt ORVAL binnen de applicatie één centrale routeringsbeslissing. Zolang Beta actief is, controleert een wachter elke dertig seconden of Alpha weer reageert. Zodra dat zo is, schakelt de applicatie voor alle grafieken tegelijk terug. Sessies en dashboards blijven intact, zonder herladen of nieuwe login.

Wat al bewezen is

Aangetoond is een automatische omschakeling in testruns op Redwire-hardware. Het ontwerp mikt ook op live missies en op 25 tot 30 gelijktijdige gebruikers, maar dat is nog niet in de praktijk bewezen.

Het principe reikt mogelijk verder. De foutbestendigheid zit in het ontwerp, niet in de databron. In theorie past dezelfde aanpak op andere gestructureerde bedrijfsdata waar stilstand pijn doet. Getest is dat niet.

De satelliet merkt hier niets van. Hij blijft zijn hele contactvenster lang gegevens sturen. Mijn taak was ervoor te zorgen dat de ingenieur ze blijft zien. In de ruimtevaart mag de reactietijd van een mens nooit het enige vangnet zijn. Een goed systeem schakelt zelf over, precies op het moment dat het ertoe doet.