översvämning

We have Control!

Kära kunder,

Så är er kontrollpanel tillbaks online. Vi har testat den senaste timmen, och allt ser ut att fungera igen. Nu kan upprätta e-postadresser, ändra domäninställningar och allt vad du nu kan tänka dig. Vi reserverar oss för att allt inte fungerar 100% då det rör sig om en stor och komplex plattform. Vi har fortfarande en hel del finslipning framför oss.

Efter att Krisberedskapsmyndigheten fick 7-10 miljoner liter vatten utpumpat från Lautrupsgade 9 i Köpenhamn kunde vi få tillgång till vår serverhall söndag kl. 14:00. Sedan dess har det nu gått 78 timmar med oavbrutet arbete. Vitala servrar har flyttats till Amager, där vi lyckligtvis precis har väsentligt utbyggt kapaciteten.

Krisberedskapsmyndighetens assistans och en ny serverhall har förberett våra möjligheter för att komma tillbaks relativt snabbt (med tanke på situationen) och vi förväntar oss att komma i mål väldigt snart. Vi har fortfarande 100% av arbetsstyrkan på uppgiften. De sista 100 med driftproblem är minst lika viktiga som de första 20.000.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Alla Windows-servrar är tillbaks online

Kära kunder,

Som ni förhoppningsvis har sett, så går det raskt framåt i vårt återställningsarbete. Det ska mer än århundradets vildaste skyfall för att vi ska ge upp. Faktiskt är jag nu övertygad om att vi kan komma tillbaks även med de sista av våra kunder, innan vår byggnadsadministration har återställt våra kontor.

Återställningssidan har nu uppdaterats med serverstatus med de sista servrarna som inte är online.

Vi har precis fått klartecken på den sista Windows-servern – så nu saknar vi ”endast” några få Linux-servrar, samt några databas-servrar. Jag vill uppskatta det till mindre än 5000 berörda kunder. Men som jag lovat hela tiden – de sista 100 är minst lika viktiga som de övriga kunder som har varit plågade av det här. Så vi fortsätter lika ihärdigt som tidigare…

Det är några som rapporterar att deras server inte fungerar, även om den har sagts vara tillbaks online eller inte står på listan. Skriv då till oss här på bloggen, eller följ oss på Twitter (@surftown), så vidarebefordrar vi din server till våra tekniker med detsamma och får det undersökt.
Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus, 12:00

Kära kunder,

Under natten så har vi kommit tillbaka i drift men en stor andel av berörda webbservrarna efter lördagens historiska regnväder. Idag kommer servrar online så fort som hårdvaran tillåter. Det handlar om att få storage online till var webbserver, samt hur fort återställningen från backup kommer igenom. Det var statusen för kl 12:00.

Kom online inatt

Webservers:

  • ws2
  • ws3
  • ws5
  • ws15
  • ws22
  • ws28
  • ws30
  • ws32
  • ws41
  • wsb3
  • wsb7
  • wsb15
  • wsw11

Kommer online idag

Webservers:

  • ws11
  • ws23
  • ws24
  • ws25
  • ws35
  • ws43
  • ws44
  • ws51
  • wsb5
  • wsb6
  • wsb13

Återställs från backup

Webbservrar:

  • ws20
  • ws27
  • ws29
  • ws31
  • ws39
  • ws42
  • ws44
  • wsb2
  • wsb10
  • wsb16
  • wsb17
  • wswb1
  • wswb5
  • wsc1
  • wsl1
  • wsl3

Som tidigare nämnt törs jag inte längre lova någon specifik tid när servrar kommer upp. Då vi för enstaka e-postservrar överskred vår egna deadline så fick jag en del arga kunder snabbt på linjen, och det kan jag gott förstå. Men jag kan berätta att det ser ut som att återställning från backup går fortare än vi räknat med. Vi uppdaterar naturligtvis här (och följ @Surftown på Twitter) så snart var servrar kommer i drift igen.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus, 09:00

God morgon på er alla.

Nu har det gått 67 timmar sedan vi påbörjade vår ”Disaster Recovery” efter lördagens massiva översvämningar som gav oss tillgång till vårt datacenter söndag kl 14:00. Surftowns kontor i Nordhavn har ännu inte fått ström, så verksamheten är uppdelad bland Köpenhamns lägenheter och kontorshotell, och det verkar som att våra kunder är tillbaka i drift innan vi själva är det! Tyvärr så betyder avsaknaden av kontor att vår telefonsupport är stängd även idag, då telefonsystemet är på ett strömlöst kontor. Men vi har fortfarande extra supporters på arbete, så svar via e-post bör komma relativt snabbt.

Igår fick vi stora delar av våra berörda storageservrar tillbaka i drift. Över kvällen och natten så har många berörda webbservrar kommit tillbaka online, och antalet kunder som lider av våra driftproblem blir hela tiden färre. Du kan se om din webbserver är klar på denna sidan.

Här kan man också se att några webbservrar från storageserver 3 (den storageservern som ska återskapas från backup – det vi kallar för plan B, den (ännu) långsammare processen) börjar att bli klara. Efterhand som storeageservern återskapas så blir alltså servrar från denna grupp också klara.

Kort sagt så är det nu maskinernas hastighet som bestämmer när de sista kunderna kommer online. Vi beklagar utan förbehåll de problem som har orsakats för er som har drabbats av våra driftstörningar.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus, 21:00

Så är den första storageservern återställd och filsystemen har blivit anslutna till de väntande webbservrarna. Här nedan följer en överblick på vilka webbservrar som kommer upp ikväll och senare inatt.

Den andra kolumnen innehåller de dåliga nyheterna. Dessa webbservrar har data på en storageserver som måste återställas från backup. Detta är på gång, men då det rör sig om en massiv mängd filer, så kan det ta allt från 24 timmar till ännu längre. Vi håller ett intensivt öga på denna, så vi kan berätta för er hur snabbt den kan komma online.

Storageserver 1+2

Webbservrar:

  • ws2
  • ws3
  • ws5
  • ws11
  • ws15
  • ws23
  • ws24
  • ws25
  • ws28
  • ws30
  • ws32
  • ws35
  • ws36
  • ws41
  • ws43
  • ws51
  • wsb3
  • wsb5
  • wsb6
  • wsb13
  • wsb15
  • wsw11

Storageserver 3

Webbservrar:

  • ws20
  • ws22
  • ws27
  • ws29
  • ws31
  • ws39
  • ws42
  • ws44
  • wsb2
  • wsb7
  • wsb10
  • wsb16
  • wsb17
  • wswb1
  • wswb5
  • wsc1
  • wsl1
  • wsl3
 

Jag är glad att äntligen få kunna berätta för de flesta av er att ni är tillbaks online ikväll eller inatt. Men jag är otroligt ledsen för er att ni tyvärr måste hänga i limbo, innan vi kan berätta för er när er webbserver kommer fungera normalt igen. Ingen går hem förrän vi har fått er online igen!

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

«< 4 5 6 7 8 >»