Dataherstel NetApp server dd command op LUN (Logical Unit Number)

De klant

Een managed serviceprovider

Achtergrond

Eén van de grootste oorzaken van dataverlies zijn menselijke fouten. Onlangs hadden we weer een data recovery opdracht waarbij een gebruiker de oorzaak was van het probleem. Een service provider probeerde configuratiewijzigingen aan te brengen in een NetApp systeem, echter voerde een technicus op sommige LUN's een 'dd'-opdracht verkeerd uit. Hierdoor leken gegevens, die deel uitmaakten van de Sybase productieserver, van de eindgebruiker gewist.

Normaal gesproken wordt het 'dd'-commando in Unix- / Linux-besturingssystemen gebruikt om individuele datablokken of bestanden te kopiëren of volledige disk drives te dupliceren. Het commando kan dus worden gebruikt voor het kopiëren van opgeslagen bestanden. Als dit onjuist wordt gedaan, zoals in dit geval, kan dit zorgen voor ernstige schade.

De klant nam contact op met supportafdeling van NetApp om de LUN's te herstellen. Omdat dit geen eenvoudige taak was, vroegen ze Ontrack om hulp. Het NetApp FAS8060 systeem, met 161 x 900 GB SAS HDD's, was gerangschikt in twee afzonderlijke aggregates (68 drives + 93 drives). Van beide aggregates werden 3 FC LUN’s aan eenSybase server aangeboden. De 6 LUN's werden gecombineerd in een single Disk Pool, met drie logische volumes . Het 'dd' commando had 45 GB aan nullen geschreven op één van de logische volumes. Daardoor was dit volume niet langer zichtbaar voor de Sybase server.

De oplossing

Gedurende het eerste gesprek adviseerde onze technicus om de aggregates offline te zetten om verdere schade te voorkomen. De aggregates zijn 12 uur na het maken van de fout offline gehaald. Vervolgens werden alle 161 HDD's van beide aggregates aangesloten op één enkele Windows machine en verbonden met de Remote Data Recovery (RDR) server van Ontrack.

Uit de eerste inspectie bleek dat beide aggregates de naam "aggr0" hadden gekregen, waardoor de aggregate niet automatisch herbouwd kon worden. De drives werden daarom gesorteerd in aggregate groepen en de aggregates moesten vervolgens opnieuw handmatig worden opgebouwd. Hierbij was het belangrijk dat de aggregates qua tijd zo dicht mogelijk bij elkaar en vlak voor het tijdstip van de 'dd'-schade werden opgebouwd. Onze technici slaagde erin om de aggregates, met een afstand van slechts twee minuten, op te bouwen.

Toen de aggregates uiteindelijk opnieuw opgebouwd waren, werden de 6 LUN's als platte bestanden geëxtraheerd naar externe opslag en overgedragen aan de klantenservice van NetApp. De medewerkers van de NetApp hielpen vervolgens om de LUN’s weer aan te bieden aande Sybase server. De herstelde logische volumes hebben de integriteitscontroles op de Sybase server doorstaan en de klant heeft bevestigd dat alles naar behoren werkte.