De public cloudomgeving van Oracle, Oracle Cloud Infrastructure (OCI), en daarmee ook de NetSuite-omgeving van Oracle zijn eerder deze week getroffen door langdurige uitval. In meerdere regio’s was de cloud onbereikbaar.
Volgens Oracle heeft de wereldwijde OCI-infrastructuur tussen maandag 13 februari en woensdag 15 februari last gehad van uitval in diverse regio’s. Het ging hierbij om uitval van diensten die klanten troffen in Noord- en Zuid-Amerika, Australië, de regio Azië -Pacific en de EMEA-regio.
Oracle geeft aan dat het is staat is geweest het probleem dat deze uitval veroorzaakte te identificeren. Het ging hierbij concreet om een performance issue in de back-endinfrastructuur die de OCI Public DNS API ondersteunt. Door dit probleem werden tijdens de downtime sommige inkomende service requests niet afgehandeld.
Oracle heeft een oplossing geïmplementeerd door optimalisaties in het DNS Load Management toe te passen om huidige serviceverzoeken af te handelen.
Problemen voor klanten
Door de uitval ondervonden OCI-klanten in de getroffen regio’s verschillende problemen. Klanten die OCI Vault, API Gateway, Oracle Digital Assistant en OCI Search with OpenSearch gebruiken, kregen een 5xx-type error-berichten of -fouten. Vooral voor CREATE, READ, UPDATE, of DELETE-beheerwerkzaamheden.
Gebruikers van de DNS-diensten konden problemen ondervinden met het aanmaken en veranderen van nieuwe domeinen. Andere problemen waren er voor de eindgebruikers van Email Delivery, Oracle Management Cloud, Oracle Analytics Cloud, Oracle Integration Cloud, Oracle Visual Builder Studio en Oracle Content Management. Daarnaast werden ook de gebruikers van de Web Application Firewall- en de GoldenGate-oplossingen door de OCI-uitval getroffen.
Uitval van NetSuite ERP-hosting
De problemen voor Oracle bleven niet alleen bij OCI, ook zijn NetSuite ERP-oplossing kreeg deze week met uitval te maken. De oorzaak van deze uitval lag in een probleem in het Oracle-datacenter in Boston. In dit datacenter werd rook ontdekt in een ruimte voor de stroomvoorziening. De brandweer greep hierop in door de stroomtoevoer uit te schakelen.
Gebruikers klaagden op Reddit dat zij door deze uitval niet in staat waren de Netsuite ERP-gegevens veilig te stellen die tot een half uur voor de uitval waren toegevoegd.
In een verklaring van NetSuite, die een Reddit-bezoeker op de website heeft gepost, geeft Oracle aan dat het herstelpunt tot 30 minuten voor de uitval ligt. NetSuite zou hiervoor gebruikers een overzicht moeten sturen van alle transacties die zijn aangemaakt in de periode waarvan zij de data niet konden herstellen.
Dit laatste betekent waarschijnlijk dat gebruikers handmatig deze verdwenen data moeten controleren en gegevens in de nieuwe NetSuite ERP-omgevingen moeten importeren.