På väg ut ur vattenmassorna

Postat av

Inte riktigt den introduktion som jag hade önskat:

Hej!

Jag har precis tillträtt som Kommunikations- och marknadschef på Surftown. Tanken är att jag ska arbeta med produktutveckling och vi planlägger just nu en rad nya spännande produkter i Surftown… och så kom regnet till Köpenhamn.

Lördag kl 22:00 ringde larmet på vårt primära datacenter som ligger placerat vid hamnen i Köpenhamn. Köpenhamn fick på en timme regnmängder som svarade för två månader – och det är inget system byggt för att klara av. Ståldörrar tillverkade för att så emot vatten är sönderslagna, all ström i byggnaden har gått och förväntas vara tillbaka igen på tisdag. Källaren blev rekordsnabbt fylld med vatten och i grannkällaren står en Maserati under 2 meter med vatten (surt! Men inte i förhållande till den rensning som många av oss nu står inför).

Oavsett allt detta fungerade vårt säkerhetssystem – så kl 02:00 i natt började nödströmsgeneratorn och producerade ström till… ingenting. Kortslutning i ledningar och elskåp stängde effektivt ner vårt datacenter. Sedan kl 06:00 söndag morgon har hemvärnet pumpat upp, upp till 30.000 liter vatten från källaren (per minut!) innan vi kl 14:00 kundefå tillgång till server-rummet och börja att flytta våra servrar, till säkerhet. Den sista delen av tömningen var firmabilarna, som tömdes på vatten vid kl 22 :-/

”Lyckligtvis” är vi igång med att bygga ut vårt senaste datacenter i Amager, så vi har mycket stor kapacitet av serverrack, ström osv. så att vi på ett effektivt sätt kunde flytta utrustning från ett datacenter till ett annat. Från kl 14 till 22 har vi flyttat 300+ servrar och återetableringen körs på fullt tryck i skrivandets stund. Här med följer en status på hur lång vi har kommit de första 24 timmarna och hur långt vi förväntar oss att komma inom nästa 24 timmar:

  • DNS-servrar: 100% Online
  • Webbservrar: 100% Online

Dessa servrar har inte drabbats av avbrott. En 10 Gbit förbindelse har under natten till söndagen varit nere på 1 Gbit, så svarstider kan ha varit påverkade. Dessvärre är en webbserver inte mycket värd om inte de underliggande fil- och databasservrarna är på plats. Och på dessa har vi upplevt störningar. Status pr söndag kväll kl 23:30:

  • Storageservrar: 77% online. Resterande återställs från back-up till ny hårdvara. Återställningen är tidskrävande då det är miljoner av småfiler och förväntas vara avslutad måndag morgon.
    Antalet påverkade: upp till 23.000 av våra kunder
    Normal drift: förväntat måndag kl 09:00
  • E-postservrar: 3 servrar är ska återställas från back-up till ny hårdvara. Ny hårdvara levereras på måndag morgon och alla e-postkonton kommer att fungera igen från omkring lunchtid under måndag, direkt efter installationen. E-postarkiv återställs efterföljande och kommer på så vis att löpande bli tillgängliga under efterföljande timmar.
    Antalet påverkade: Dessvärre okänt, då mailservrarna är Cloud baserade. Kort sagt, några fungerar och några fungerar inte för än på måndag.
    Normal drift: förväntas kl 12 måndag.
  • Databasservrar: 80% idag söndag. Resterande återställs från back-up under löpet av måndagen.
    Antal berörda: upp till 20.000 av våra kunder
    Normal drift: förväntas sent under måndagen
  • Supportsystem (ticketsystem): Surftown supportsystemet har gått ner. Det gör det svårt att ta emot eller skicka supportmails – men systemet ska vara klart igen måndag morgon kl 08:00. Systemet återställs från back-up under skrivandets stund.
    Antal berörda: Alla – beklagar.
    Normal drift: förväntas måndag kl 8.00

Vi kommer att fortsätta hålla alla informerade via vår blogg och twitter de kommande timmarna och dagarna. Jag hoppas att vi senast tisdag är helt tillbaka i normal drift, när nödvändiga införskaffningar och nödåtgärder blir genomförda under måndag.

Vi hoppas på er förståelse och ber verkligen om ursäkt för de problem som detta har medfört många av våra kunder. Vi är verkligen ledsna.

Som sagt heter jag Kresten – och det här är (nästan) min första dag på jobbet. Jag ser fram emot att  återkomma med en annan typ av information framöver… och överväger om vi borde byta namn och flytta till en mycket torr plats!

Bästa hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

23 reaktioner på “På väg ut ur vattenmassorna”

  1. Hoppas att driften kommer i gång snarast…förstår förseningen men är beroende av att komma åt mina mail i vår egen drift på företaget.
    Hoppas på en snabb lösning.

  2. Pingback: Översvämning på dogma.nu | dogmabloggen

  3. Hej, lycka till med driftsättning och återställning, vi ser fram mot att det blir klart!
    På sidan http://www.status.surftown.se/ står det om driftinformationen: ”Upprättat 03.07.2010 Kl. 18:35″.
    Fel år alltså. En detalj i sammanhanget, men lätt att tro att informationen är ett år gammal.
    Mvh
    Magnus

  4. Väntar på att min mail ska börja ticka igång igen. Svårt att föreställa sig allt detta vatten. Finns det bilder???

  5. Detta är inget någon kunde förutspå. Ni har haft bra information på Twitter, facebook och på blogg. Jag hoppas min webbsida kommer igång snart, men jag har full förståelse för att detta kan ta tid.

  6. Pingback: Äntligen tillbaka online efter översvämningen hos webbhotellet Surftown | Datorkanalen.se

  7. Tragiskt för både er och mig, Inte kunnat logga in via webmail under hela helgen massa affärer som gått förlorat

  8. Hej!

    Tack för statusuppdateringarna.

    TIPS!
    Ange gärna vilket klockslag ni postat detta inlägg också, för ännu bättre koll på senaste nytt & därmed ökad service till era kunder.

    Lycka till och hoppas allting ordnar sig med servrar och allt.

    Vänliga hälsningar,

    Micke Åkesson
    Accurato Media
    http://www.accurato.se

  9. Hej Kresten och välkommen till nya jobbet :-) Jag heter Mia, har varit kund hos Er i 5-6 år nu och har faktiskt inte vart annat än nöjd. Nu har jag inte haft mail eller hemsida fungerande sen i lördags, tänkte kontakta supporten men läste er blogg innan. Jag beslöt att vänta med supportärendet hahahah och hoppas på att få tillbaka min mail och hemsida de närmaste dagarna :-) Lycka till med både problemet för tillfället och det nya jobbet

    //Mia

  10. Tack för bra uppdatering
    Om det hade hänt våra server så hade jag varit lika stressad så jag förstår dig.
    lycka till.
    /Simon

    • Ta en titt på vårt senaste blogginlägg. Vi har publicerat förväntade tider på när vi är tillbaks i normal drift. Tack för din förståelse!

  12. Tack för att ni håller oss informerade, det är mycket värdefullt när man inte kommer åt varken mail eller webbhotell. Genom er Twitterfeed fick jag redan på söndag förmiddag veta varför hela Surftown var nere.

    Hoppas ni får ordning på allt krångel som vattnet orsakat, naturens makter kan man inte göra något åt. Tack för god information och service!

  14. Jag brukar vara krävande att tekniken skall hålla mm, men just i detta fall så förstår jag Surftown och önskar de endast lycka till.

    Av egen erfarenhet från jobbet, så vet jag att endast återställningen av få databaser med några hundra GB kan ta upp till dagar överhettning>.

    Så jag LÅTER BLI just nu att ens ringa och störa Surftown i flytt arbetet..

    Synd att man inte har Noaks ark :-)

  15. Kan man på något sett få upp ett omdirigering/felmeddelande på sin hemsidesadress?
    Vår sida är fortfarande inte uppe. Vilka resurser ska man sätta in eller är det bara att vänta?

  16. Mailen fungerar, men vart är alla gamla mail och adressboken (webmail) ???!!! Kommer dessa att återskapas eller är det borta?

  17. Pingback: » Nytt försök (då det gamla inlägget försvunnit efter restore)

Kommentarer inaktiverade.