Driftinformation

Återställningsstatus, kl. 08:00

God Morgon,

En bra och en dålig nyhet gavs till och de berörda nu på morgonen. Vi har uppdaterat serverstatus och den goda nyheten är att ws51 är online och vi har ännu en grupp kunder som är tillbaka i drift.

Den dåliga nyheten är att ws43 inte är online än. Det ser ut att vara väsentligt kortare gången i återställningen än förväntat. Jag kommer att återkomma med mer information kring denna så fort jag har den.

*uppdatering 08:30: återställningen av ws43 startade om sig själv under natten. Det förklarar varför den uppskattade tiden nu på morgon inte stämde. En grov uppskattning är att den är återställd inom 24 timmar. Detta beklagar vi verkligen djupt.

Vänliga hälsningar
Kresten Bach Søndergaard
Kommunikationschef
Surftown

Var är mitt kontor?

Innan det massiva skyfallet drog över Köpenhamn lördag afton, så var det inte många hos Surftown som kunde föreställa sig den situationen som utvecklade sig. De stora vattenmassorna stängde effektivt ner Surftowns huvudkontor, och tvingade oss till att inte bara flytta hela vår serverhall till vår nya serverhall i Amager, men också att vara kreativa och hitta nya platser där kundservice och kommunikationsavdelningen kunde arbeta ifrån. På det viset blev Surftown utspritt på fem olika platser, primärt i Köpenhamn men även med ett team i Malmö, Sverige.

Fler än 70 man har varit delaktiga i att flytta de över 300 servrarna från Nordhavn till Amager, och flera har därefter kunnat kalla serverhallen för sitt temporära hem, där de nästa fyra dygnen har arbetat, ätit och sovit (så mycket de har hunnit med i alla fall).

Kundservice blev uppdelat i två lag, med en ledare i Köpenhamn och en i Malmö, och de fyra från kommunikationsavdelningen, bland undertecknad, packade datorerna och drog mot kontorshotellet SOHO, där vi har utfört våra löpande statusuppdateringar.

Under tiden blev det blev pumpat 7 miljoner vatten ut ur källaren, innan den mest omfattande ”disaster recovery”-processen kunder påbörjas.

Vänliga hälsningar

Bo Kruse

Surftown: Före och efter översvämningen...

Surftown: Före och efter översvämningen...

Surftown 99% tillbaks i drift sedan kl. 15:00

Kära kunder,

Ännu en dags tålamod väntar för världens bästa kunder. Nu är det inte mer våra tekniker kan göra för att sätta fart på processen. De sista få servrarna återställs från backup, och det tar den tid det tar. Vi har tyvärr fortfarande en mindre mängd kunder (runt 1000) som vi försöker hålla humöret uppe på, här på bloggen och på Twitter.

Hela dagen idag har gått till att hitta sätt att påskynda, optimera eller hacka sig runt den hastighet som en server kan återställas i från backup. Sedan inatt har vi kämpat med att påskynda återställningen av de sista 5000 kunder, som i värsta fall fortfarande var berörda. Men återställning från backup är tyvärr extremt tidskrävande, då vi behöver överföra upp till 15 miljoner små filer. Och det är just mängden filer, och inte dess storlek, som tar tid.

Sedan senaste servern blev klar kl. 14:53 idag är antalet berörda kunder estimerade till under 1000. Detta är våra mest olyckligt lottade kunder, och vi funderar just nu på om vi kan göra något alldeles speciellt för er (och innan jag blir helt överöst av kommentarer; vi kommer försöka göra något speciellt för alla som har varit påverkade av denna situation).

Vi är 99% återställda och nu rullar återställningsprocesserna tills de blir färdiga, och det är inget vi kan påverka mer. Vi har dock lyckats beräkna återställningshastigheten för de enskilda webbservrarna, baserat på dess hastighet fram tills nu, och kan därför presentera följande tidsplan på när de kommer online:

  • ws51 och ws43:  återställning beräknas vara klar innan 06:00
  • ws42, ws44, wsl1, wsl3: återställning beräknas vara klar innan kl. 22:00 fredag
  • E-postservrar: Sista arkiven är beräknat helt återställda innan fredag kl. 18:00

Kom ihåg att detta är baserat på den hastighet som de har återställts i fram till nu. Det kan gå snabbare men bör inte gå långsammare…

Det har varit en tuff tid, men vi kommer över helgen fortsätta med utökad beredskap, folk på Twitter både tidigt och sent, tekniker för att åtgärda eventuella driftproblem för enskilda kunder, o.s.v.

Ett särskilt tack från mig går till våra tekniker som har kämpat på något otroligt, ända sedan den första försökte kämpa sig igenom vattenmassorna lördag kväll. Ni har varit (och är) fantastiska – jag har helt enkelt aldrig sett något liknande tidigare. Bra kämpat – oavbrutet, 24/7, med ögon röda som hos vita kaniner och på en ohälsosam diet av kaffe, Red Bull och pizza. Jag är imponerad!

Surftowns kontor är fortfarande inte tillbaks i drift. Därför har vi ingen telefonsupport imorgon (fredag) heller, då telefonsystemen är ur drift. Kundservice och Surftown öppnar dock som vanligt igen på Måndag – vi på Twitter försöker att vara här den mesta av tiden, även över helgen. Det finns dock ett familjeliv som också behöver återställas.

Mina tankar går till de sista 1000: Vi är skyldiga alla, särskilt er, en förbehållslös ursäkt. Hade vi vetat vad vi vet idag, då vi köpte ”Danmarks bästa serverhall” av Tiscali i en källare vid hamnen, så tror jag vi hade agerat annorlunda. Jag är helt övertygad om att det kommer ett bättre och säkrare Surftown ut allt detta.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Saknade e-postmeddelanden i webb / IMAP är på väg

De flesta av våra kunder har redan återkommit till normal drift, även gällade e-post, men en liten del väntar fortfarande på att e-post ska bli återställd. Den goda nyheten är att alla e-postservrar är online och att alla kan skicka och ta emot e-post. Den dåliga nyheten är att tre av våra e-postservrar ännu inte har fått alla e-postmeddelanden återställda.

Vi är igång med att återställa de resterande e-postmeddelandena till de e-postkonton som fattas, så om du använder webbmail eller IMAP så ska du inte frukta att din e-post har förvunnet permanent – den är på väg tillbaka!

På nuvarande tidpunkt har vi dessvärre inte möjlighet att specificera när all e-post förväntas vara tillbaka.

Vi uppdaterar bloggen så snart vi har mer information.

Uppdatering kl 13:35: Bifoga filer i webbmailen fungerar nu.

Vänliga hälsningar
Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus – 95% av Surftown är online

Kära kunder,

Så nära men ändå så långt ifrån. Status för inatt är att vi har 95% av Surftown tillbaks online. Det betyder att vi maximalt har 5000 kunder kvar med driftproblem just nu. De sista 11 servrarna är på väg upp inatt, så jag förväntar mig att vi har nått målet när jag vaknar.

Ofattbart att sitta i torra, varma Köpenhamn och kämpa med efterverkningarna från en översvämning – men det var alltså också 7-10 miljoner liter vann som behövde pumpas ut ur källaren natten till söndag. En oavbruten och hektisk arbetsinsats har tagit plats sedan vi fick tillgång till serverhallen söndag kl 14:00.

  • Söndag kl. 22:00 – efter 10 timmar – är knappt 80% av Surftown online
    24 timmar efter avbrottet är ca. 80.000 kunder online
  • Måndag kväll – efter 36 timmar – är alla e-postservrar online
    48 timmar efter avbrottet är alla e-postservrar 100% återställda och alla kan återigen använda sin e-post. Surftowns e-postservrar hanterar över 500.00 e-postadresser
  • Tisdag kl. 22:00 – efter 56 timmar – första berörda webbservrarna online
    72 timmar efter avbrottet
  • Onsdag kl. 09:00 – efter 67 timmar – max 10.000 är utan hemsida
    83 timmar efter avbrottet är minst 90% online
  • Onsdag kl. 18:00 – efter 76 timmar – kontrollpanelen online
    92 timmar efter avbrottet
  • Torsdag kl. 01:00 – efter 83 timmar – max 5000 har fortsatt driftproblem
    99 timmar efter avbrottet är minst 95% online

De sista max 5% av vår kundbas som fortfarande inte är tillbaks i drift, lider just nu av återställningshastigheten på de sista 11 servrarna. Just nu ligger de flesta teknikerna och sover, då det inte finns något annat än att övervaka förloppet av återställningen. De har verkligen gjort sig förtjänade av det, efter många och långa dagar, kvällar och nätter – och det spelar ingen roll för de sista av er. Vi har fortfarande folk på plats och vi uppdaterar så snart de enskilda servrarna är klara för användning inatt och imorgon.

God natt till uppesittarna och god morgon till de morgonpigga

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

«< 3 4 5 6 7 >»