Driftinformation

Återställningsstatus, 20:00

Två e-postservrar som täcker de flesta av de resterande berörda e-postanvändarna är nu uppe igen. Vi har en e-postserver kvar och den förväntas vara klar inom en timme.

Då trafiken i Köpenhamn inte fungerar som vanligtså har tyvärr några av våra leveranser idag blivit flera timmar försenade. Vi tror fortfarande att vi kommer att få upp alla servrar innan dagen är över, men det kommer att finnas databas- och storageservrar som kommer behöva natten på sig för att återställas helt och hållet. Men vi kör på!

Jag måste varna för att det finns en central storageserver som påverkar många hemsidor där det för närvarande arbetas med två scenarier. Utan att jag helt förstår mig på de tekniska detaljerna riskerar vi att komma komma in i en långvarig återställningsprocess – kanske flera dygn. Jag återkommer mer angående det när vi vet mer om hur det kommer att bli – och det gör vi ikväll.

Vi är nu 90% igenom vår katastrofåterställning. Jag vet att det inte spelar så stor roll för er som fortfarande inte har tillgång till era tjänster, men vi gör allt vi kan för att få er tillbaka online så snabbt som möjligt. Vi arbetar lika hårt för att få de sista 100 online, som de 100.000 första.

Återställningstatus, måndag 4 Juli kl 20:00:

  • DNS-server: 100% Online
  • Webbserver: 100% Online
  • E-postserver: Det är en mindre e-postserver kvar, som är återskapad inom en timme. Så snart e-postservern är återskapad kan man skicka och ta emot e-post, medan e-postarkiv löpande blir återställt efterföljande.
    Antal berörda: ”Bara” ca 3% av vår e-post infrastruktur är nu påverkad.
    Normal drift: förväntas måndag kl 21.00

Några nätverksswitchar kör på reducerad hastighet (100 Mbit/s) tills alla flyttade och återställda servrar är i drift i serverhallen i Amager. Därför kan svarstider vara något högre. Så snart alla servrar är tillbaks i normal drift kommer hastigheten skruvas upp till 1 och 10 Gbit/s igen.

Tyvärr är en webbserver inte mycket värd utan de ackompanjerande fil- och databas-servrarna. Och här gäller driftstörningar. Status för måndag kl. 20:00

  • Storageservrar: 77% online. Kvarvarande återställning från backup kräver ny hårdvara. Hårdvara är levererad och installeras just nu. Därefter påbörjas återställning omedelbart. Detta är tyvärr en långsam process, och förväntas bli klar under natten.
    Antal berörda: upp till 23.000 kunder
    Normal drift: förväntas natten till Tisdag
  • Databasservrar: 80% återställt under Söndagen. Kvarvarande återställs från backup under Måndagen. Hårdvara är levererad och installation påbörjad.
    Antal berörda: upp till 20.000 kunder
    Normal drift: förväntat natten till Tisdag

Vi får kontinuerligt in mejl från kunder som fått sina tjänster återställda, så vi är väg i rätt riktning och vi förväntar oss att bara ha ett fåtal berörda e-postkunder nu. Men bara 100 berörda kunder är 100 för många, så det arbetas fortfarande med oförminskad styrka för att komma tillbaka till 100% igen. Jag kommer med en status om ett par timmar igen. Följ @Surftown på Twitter tills dess.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus, 15:00

I grannkällaren till Surftown var det vatten upp till taket (+2 meter) – i vår källare var vi ”bara” uppe över metern. Det sista vattnet som blev tömt var från Surftown firmabilar.

Sett från den vinkeln så är vi glada att vi redan kl 14 på söndagen kunde få tillgång till serverrummet. De automatiska pumpsystem och annan säkerhetsutrustning kunde inte matcha de vattenmängder som kom, men hemvärnets effektiva arbete gjorde att vi kunde komma igång redan kl 14:00 på söndag medan resten av området låg under vatten.

Sedan dess så har det varit oavbruten återställning. Det går framåt med att återställa våra kunders e-post- och webbtjänster, men det har dessvärre varit extremt svårt att hålla tidsplanen. Vi har två e-postservrar som tyvärr saknade några delar. Och även om nya servrar levererades i förmiddags så blev dessa inte klara till kl 12:00. :-/ Vi håller just nu på med att färdigställa dessa. Strax därefter kommer man ha möjlighet att kunna skicka och motta mejl, samtidigt som mejlarkiv återställs kontinuerligt under de nästkommande timmarna.

Vårt arbete med att återställa driften, vilket bland annat innebar en fysisk flytt av 300 servrar från Østerbro til Amager i Köpenhamn, blev genomfört efter en dedikerad insats av 30 man som har mer eller mindre jobbat oavbrutet mellan Lördag kl. 22:00 och Söndag kl. 23:30.

Söndagskvällen övertog nästa lag av driftstekniker (varav en del även deltog i det första laget!) arbetet med att återställa hårdvara och mjukvaruinstallationer. Vi har verkligen inte suttit sysslolösa de här dagarna.

VI är fortfarande övertygade att vi ska lyckas återställa det sista innan Måndagen ser sitt slut. Dock är jag nästan tvungen att säga att några av de största servrarna som ska återställas (databas- och storage-servrar) tar så pass lång tid att återställa, att de troligen kommer ta natten på sig innan allt är på plats igen.

Trots allt detta, så är det kunder som får sina hemsidor, online butiker och mejltjänster tillbaka, så situationen kommer förbättras kontinuerligt under dagen. Under rådande omständigheter så är vi glada över att 80% av driften stabiliserades redan under söndagen, men vi vet att det inte hjälper de kunder som lider av otillgänglighet idag. Vi gör allt vi kan för att vara tillbaka online så snabbt som det bara är möjligt.

Status för Surftowns återställningsprocess, Måndag 4:e juli, kl 15:00:

  • DNS servrar: 100% online
  • Webbservrar: 100% online
  • E-postservrar: Det återstår 2 e-postservrar, som ännu inte återställts. Så snart de är återställda så kommer man kunna skicka och motta mejl, medan e-postarkiv kommer kontinuerligt återställas därefter.
    Antal berörda: Okänt pga. molninfrastruktur, men ”endast” 9% av vår e-postinfrastruktur är fortfarande påverkad.
    Normal drift: förväntat Måndag kl. 17:00

Några nätverksswitchar kör på reducerad hastighet (100 Mbit/s) tills alla flyttade och återställda servrar är i drift i serverhallen i Amager. Därför kan svarstider vara något högre. Så snart alla servrar är tillbaks i normal drift kommer hastigheten skruvas upp till 1 och 10 Gbit/s igen.

Tyvärr är en webbserver inte mycket värd utan de ackompanjerande fil- och databas-servrarna. Och här gäller driftstörningar. Status för måndag kl. 15:00:

  • Storageservrar: 77% online. Kvarvarande återställning från backup kräver ny hårdvara. Hårdvara är levererad och installeras just nu. Därefter påbörjas återställning omedelbart. Detta är tyvärr en långsam process, och förväntas bli klar under natten.
    Antal berörda: upp till 23.000 kunder
    Normal drift: förväntas natten till Tisdag
  • Databasservrar: 80% återställt under Söndagen. Kvarvarande återställs från backup under Måndagen. Hårdvara är levererad och installation påbörjad.
    Antal berörda: upp till 20.000 kunder
    Normal drift: förväntat natten till Tisdag

Vi får kontinuerligt in mejl från kunder som fått sina tjänster återställda, så vi är väg i rätt riktning och det ser ut att vara en bra bit under 20.000 kunder som fortfarande är berörda. Men 100 berörda kunder är 100 för mycket, så det arbetas fortfarande i full fart på vara 100% tillbaka igen. Jag återkommer med en ny statusuppdatering om ett par timmar. Följ @Surftown tills vidare.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställning pågår

Efter det värsta regnet i Köpenhamn på 500 år så lider fortfarande en del av Surftowns kunder av följderna – men endast idag!

Vårt återställningsarbete, som innebar en fysisk flytt av över 300 servrar från Østerbro til Amager i Köpenhamn, har genomförd efter en dedikerad insats på över 30 man som har arbetat mer eller mindre oavbrutet från lördag kl. 22:00 till söndag kl. 23:00.

Söndagkväll övertog nästa lag av driftstekniker (varav en del av även deltog i det första laget!) arbetet med att återställa hårdvara.

I Söndags beställdes även ny hårdvara för att ersätta existerande hårdvara som på grund av tekniska orsaker inte kunde flyttas eller hade utstått mindre men permanenta skador. Leveransens av dessa mottogs imorse kl. 07:00 och vi förväntar oss att det största och mest besvärliga delen av återställningsprocessen är avslutad innan slutet av Måndagen.

Status för Surftowns återställningsprocess, måndag 4. Juli kl 10.00:

  • DNS-servers: 100% Online
  • Webbservers: 100% Online

Tyvärr är en webbserver inte mycket värd utan de ackompanjerande fil- och databas-servrarna. Och här gäller driftstörningar. Status för måndag kl. 10:00:

  • Storageservrar: 77% online. Kvarvarande återställning från backup krävde tyvärr ny hårdvara. Hårdvaran levereras kl. 11:00, och återställning påbörjas strax därefter. Det är tyvärr en långsam process och kan först förväntas vara avslutad förrän slutet av Måndag.
    Antal berörda: upp till 23.000 av våra kunder
    Normal drift: förväntat sent på Måndag
  • Mailservrar: 3 servrar behöver tyvärr återställas från backup till ny hårdvara. Ny hårdvara levereras måndag kl. 11:00 och alla mejlkonton kommer börja fungera igen ca. kl. 12:00 måndag, omedelbart efter installation. Mailarkiv återställs löpande under de efterföljande timmarna.
    Antal berörade: Okänt pga molnstruktur, men ca. 20% av vår mejl-infrastruktur. Kort sagt: några fungerar, några fungerar inte förrän på Måndag.
    Normal drift: förväntat måndag kl. 12:00
  • Databasservrar: 80% återställt idag Söndag. Kvarvarande återställning från backup sker löpet av Måndag. Hårdvara är levererad och installation påbörjad.
    Antal berörda: upp till 20.000 av våra kunder
    Normal drift: förväntat sent på måndag
  • Supportsystem (ticketsystem): Surftowns supportsystem gick ner lördagkväll, men blev återställt söndagsnatten. Vi är igång med att kontakta alla kunder direkt idag, måndag.
    Normal drift: måndag kl 8:00
  • Blogg: Surftowns blogg kunde tyvärr inte hantera trafikmängderna under måndagsmorgonen, men en ny nöd-blogg har satts upp och var i drift kl. 11:00.
    I drift: måndag kl 11.00

De dåliga nyheterna är alltså att 23.000 av våra kunder behöver vänta på återställning av sina filer som sker under dagen idag.

Igen: Jag beklagar oerhört för de besvär som detta har medfört berörda kunder.

Vänliga hälsningar,

Kresten Bach Søndergaard
Kommunikationschef
Surftown

På väg ut ur vattenmassorna

Inte riktigt den introduktion som jag hade önskat:

Hej, Jag har precis tillträtt som Kommunikations och marknadschef på Surftown. Tanken är att jag ska arbeta med produktutveckling och vi planlägger just nu en rad nya spännande produkter i Surftown… och så kom regnet till Köpenhamn.

Lördag kl 22:00 ringde larmet på vårt primära datacenter som ligger placerat vid hamnen i Köpenhamn. Köpenhamn fick på en timme regnmängder som svarade för två månader – och det är inget system byggt för att klara av. Ståldörrar tillverkade för att så emot vatten är sönderslagna, all ström i byggnaden har gått och förväntas vara tillbaka igen på tisdag. Källaren blev rekordsnabbt fylld med vatten och i grannkällaren står en Maserati under 2 meter med vatten (surt! Men inte i förhållande till den rensning som många av oss nu står inför).

Oavsett allt detta fungerade vårt säkerhetssystem – så kl 02:00 i natt började nödströmsgeneratorn och producerade ström till… ingenting. Kortslutning i ledningar och elskåp stängde effektivt ner vårt datacenter. Sedan kl 06:00 söndag morgon har hemvärnet pumpat upp, upp till 30.000 liter vatten från källaren (per minut!) innan vi kl 14:00 kundefå tillgång till server-rummet och börja att flytta våra servrar, till säkerhet. Den sista delen av tömningen var firmabilarna, som tömdes på vatten vid kl 22 :-/

”Lyckligtvis” är vi igång med att bygga ut vårt senaste datacenter i Amager, så vi har mycket stor kapacitet av server skåp, ström osv. så att vi på ett effektivt sätt kunde flytta utrustning från ett datacenter till ett annat. Från kl 14 till 22 har vi flyttat 300+ servrar och återetableringen körs på fullt tryck i skrivandets stund. Här med följer en status på hur lång vi har kommit de första 24 timmarna och hur långt vi förväntar oss att komma inom nästa 24 timmar:

  • DNS-servrar: 100% Online
  • Webbservrar: 100% Online

Dessa servrar har inte drabbats av avbrott. En 10 Gbit förbindelse har under natten till söndagen varit nere på 1 Gbit, så svarstider kan ha varit påverkade. Dessvärre är en webbserver inte mycket värd om inte de underliggande fil- och databasservrarna är på plats. Och på dessa har vi upplevt störningar. Status pr söndag kväll kl 23:30:

  • Storageservrarna: 77% online. Resterande återställs från back-up till ny hårdvara. Återställningen är tidskrävande då det är miljoner av småfiler och förväntas vara avslutad måndag morgon.
    Antalet påverkade: upp till 23.000 av våra kunder
    Normal drift: förväntat måndag kl 09:00
  • E-postservrarna: 3 servrar är ska återställas från back-up till ny hårdvara. Ny hårdvara levereras på måndag morgon och alla e-postkonton kommer att fungera igen från omkring lunchtid under måndag, direkt efter installationen. E-postarkiv återställs efterföljande och kommer på så vis att löpande bli tillgängliga under efterföljande timmar.
    Antalet påverkade: Dessvärre okänt, då mailservrarna är Cloud baserade. Kort sagt, några fungerar och några fungerar inte för än på måndag.
    Normal drift: förväntas kl 12 måndag.
  • Databasservrar: 80% idag söndag. Resterande återställs från back-up under loppet av måndagen.
    Antal berörda: upp till 20.000 av våra kunder
    Normal drift: förväntas sent under måndagen
  • Supportsystem (ticketsystem): Surftown supportsystemet har gått ner. Det gör det svårt att ta emot eller skicka supportmails – men systemet ska vara klart igen måndag morgon kl 08:00. Systemet återställs från back-up under skrivandets stund.
    Antal berörda: Alla – beklagar.
    Normal drift: förväntas måndag kl 8.00

Vi kommer att fortsätta hålla alla informerade via vår blogg och twitter de kommande timmarna och dagarna. Jag hoppas att vi senast tisdag är helt tillbaka i normal drift, när nödvändiga införskaffningar och nödåtgärder blir genomförda under måndag.

Vi hoppas på er förståelse och ber verkligen om ursäkt för de problem som detta har medfört många av våra kunder. Vi är verkligen ledsna.

Som sagt heter jag Kresten – och det här är (nästan) min första dag på jobbet. Jag ser fram emot att  återkomma med en annan typ av information framöver… och överväger om vi borde byta namn och flytta till en mycket torr plats!

Bästa hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

På väg ut ur vattenmassorna

Inte riktigt den introduktion som jag hade önskat:

Hej!

Jag har precis tillträtt som Kommunikations- och marknadschef på Surftown. Tanken är att jag ska arbeta med produktutveckling och vi planlägger just nu en rad nya spännande produkter i Surftown… och så kom regnet till Köpenhamn.

Lördag kl 22:00 ringde larmet på vårt primära datacenter som ligger placerat vid hamnen i Köpenhamn. Köpenhamn fick på en timme regnmängder som svarade för två månader – och det är inget system byggt för att klara av. Ståldörrar tillverkade för att så emot vatten är sönderslagna, all ström i byggnaden har gått och förväntas vara tillbaka igen på tisdag. Källaren blev rekordsnabbt fylld med vatten och i grannkällaren står en Maserati under 2 meter med vatten (surt! Men inte i förhållande till den rensning som många av oss nu står inför).

Oavsett allt detta fungerade vårt säkerhetssystem – så kl 02:00 i natt började nödströmsgeneratorn och producerade ström till… ingenting. Kortslutning i ledningar och elskåp stängde effektivt ner vårt datacenter. Sedan kl 06:00 söndag morgon har hemvärnet pumpat upp, upp till 30.000 liter vatten från källaren (per minut!) innan vi kl 14:00 kundefå tillgång till server-rummet och börja att flytta våra servrar, till säkerhet. Den sista delen av tömningen var firmabilarna, som tömdes på vatten vid kl 22 :-/

”Lyckligtvis” är vi igång med att bygga ut vårt senaste datacenter i Amager, så vi har mycket stor kapacitet av serverrack, ström osv. så att vi på ett effektivt sätt kunde flytta utrustning från ett datacenter till ett annat. Från kl 14 till 22 har vi flyttat 300+ servrar och återetableringen körs på fullt tryck i skrivandets stund. Här med följer en status på hur lång vi har kommit de första 24 timmarna och hur långt vi förväntar oss att komma inom nästa 24 timmar:

  • DNS-servrar: 100% Online
  • Webbservrar: 100% Online

Dessa servrar har inte drabbats av avbrott. En 10 Gbit förbindelse har under natten till söndagen varit nere på 1 Gbit, så svarstider kan ha varit påverkade. Dessvärre är en webbserver inte mycket värd om inte de underliggande fil- och databasservrarna är på plats. Och på dessa har vi upplevt störningar. Status pr söndag kväll kl 23:30:

  • Storageservrar: 77% online. Resterande återställs från back-up till ny hårdvara. Återställningen är tidskrävande då det är miljoner av småfiler och förväntas vara avslutad måndag morgon.
    Antalet påverkade: upp till 23.000 av våra kunder
    Normal drift: förväntat måndag kl 09:00
  • E-postservrar: 3 servrar är ska återställas från back-up till ny hårdvara. Ny hårdvara levereras på måndag morgon och alla e-postkonton kommer att fungera igen från omkring lunchtid under måndag, direkt efter installationen. E-postarkiv återställs efterföljande och kommer på så vis att löpande bli tillgängliga under efterföljande timmar.
    Antalet påverkade: Dessvärre okänt, då mailservrarna är Cloud baserade. Kort sagt, några fungerar och några fungerar inte för än på måndag.
    Normal drift: förväntas kl 12 måndag.
  • Databasservrar: 80% idag söndag. Resterande återställs från back-up under löpet av måndagen.
    Antal berörda: upp till 20.000 av våra kunder
    Normal drift: förväntas sent under måndagen
  • Supportsystem (ticketsystem): Surftown supportsystemet har gått ner. Det gör det svårt att ta emot eller skicka supportmails – men systemet ska vara klart igen måndag morgon kl 08:00. Systemet återställs från back-up under skrivandets stund.
    Antal berörda: Alla – beklagar.
    Normal drift: förväntas måndag kl 8.00

Vi kommer att fortsätta hålla alla informerade via vår blogg och twitter de kommande timmarna och dagarna. Jag hoppas att vi senast tisdag är helt tillbaka i normal drift, när nödvändiga införskaffningar och nödåtgärder blir genomförda under måndag.

Vi hoppas på er förståelse och ber verkligen om ursäkt för de problem som detta har medfört många av våra kunder. Vi är verkligen ledsna.

Som sagt heter jag Kresten – och det här är (nästan) min första dag på jobbet. Jag ser fram emot att  återkomma med en annan typ av information framöver… och överväger om vi borde byta namn och flytta till en mycket torr plats!

Bästa hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown