Driftinformation

Återställningsstatus, 18:00

Kära kunder,

Jag har väntat allt för länge med att rapportera något om våra storageservrar, som är det primära problemet för de kunder som är berörda av driftproblemen.

Vi har 3 storageservrar som behöver återställas:

  • Jag har precis fått veta att den första stora storageservern är helt återställd. VI är nu igång med att ansluta filstrukturerna till de berörda webbservrarna. Det kommer kontinuerligt rapporteras om webbservrar som kommer online och sätts i drift.
  • De andra storageservern är igång med att återskapa sitt dataset. Denna process har misslyckats flera gånger idag, men denna servern återställs nu. Jag återkommer med mer info när jag vet hur lång tid denna process kan riskeras att ta.
  • Den sista storageservern återställs från backup. Detta är en ytterst dålig nyhet, då detta sätter kunder med data på denna server långt tillbaka.

Jag har blivit lovad att vi snarast möjligast kan identifiera vilka webbservrar som hör till denna sista storageserver. Vi förstår att ni som är bland de berörda kunder blir oroliga när ni läser detta, men jag återkommer med mer information så snart jag kan. Jag ansåg mig inte kunna vänta med att ge en statusuppdatering på storageservrarna.

 

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Webbmailen nere – igen!

Kära kunder,

En kort uppdatering. Ni har väntat länge på något nytt. Det finns inget konkret jag kan rapportera gällande de 3 storageservrar som är de stora problemen som berör er just nu. Allt manskap arbetar på det och så snart vi har något konkret att berätta, så gör vi det.

Ett hårdvarufel betyder att vi kommer i en kortare stund vara utan webbmailen igen, från och med nu. Detta borde inte ta mer än en timme, men jag vågar inte lova något, så ingen blir besviken ifall det skulle dra ut på tiden.

Detta har ingen betydelse för er som använder e-post igenom POP3 och IMAP – alla e-postservrar är online och i drift.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus, 13:00

Dag 3: Målsättningen var att vi skulle vara förbi skadorna efter det historiska regnvädret i lördag på 48 timmar. Vi nådde 80% på 24 timmar och kämpade som galningar för att nå målet. Sammanfattningsvis kan jag säga att återställningsarbetet förhoppningsvis kommer vara slutfört idag, tisdag. Men det kvarstår fortfarande stora risker och osäkerhet i samband med arbetet, så vi vågar inte sätta några nya deadlines riktigt ännu, utan vi håller oss helt enkelt till att berätta att vi rör oss framåt och hoppas på att nå i mål innan dagens slut.

  • Kontrollpanelen för My Surftown är tyvärr påverkad för alla våra kunder. Plattformen som driver kontrollpanelen är beroende av en komplett underliggande serverstruktur. Det har ingen betydelse för era hemsidor är online, men däremot har det betydelse för de som önskar att ändra sina DNS-inställningar och liknande. Detta kan man tyvärr inte utföra för tillfället.
  • Webbmail fungerar för alla, men man kan för tillfället inte bifoga filer. (Japp, en rätt märkligt sidoeffekt.)
  • Alla webbservrar rullar, men en del Linux-kunder kan fortfarande vara drabbade av avbrottet på en storageserver.
  • Alla Windowsservrar är tillbaks online (förutom msdb2, motsvarar ca 5000 kunder). Några Windowskunder kan fortfarande vara påverkade av dagens primära avsaknad:
  • Återställning av storageservrar går framåt. Detta är fortfarande en högrisks operation idag. Vi kämpar för att kunna genomföra en full hårdvaru-återställning, vilket går ”snabbt” och kan genomföras idag. Misslyckas denna process, så ska det återställas från backup och det tar tid. Vi kämpar för att undgå denna långsamma plan B.
  • Databasservrar. Återställning går framåt och databasservrar kommer tillbaks online hela tiden och under dagen

Situationen för alla berörda kunder är naturligtvis kritisk. Av våra 100.000 kunder är det fortfarande möjligt att upp till 23.000 kunder inte har fått sin hemsida online ännu. Vi tror dock att antalet är något mindre, på bakgrund av volymen i vårt supportcenter. 23.00 är alltså ”worst case”. Vi arbetar på att få kartlagt exakt vem som är berörd. Oavsett om det är 100 eller 20.00 kunder som fortfarande är offline, så är detta ytterst kritiskt för er – och för oss. Vi gav oss 48 timmar, och vi klarade det inte. Men det går framåt. Låt mig igen framföra vår förbehållslös beklagande för alla i denna vansinniga situation. Vi skyndar oss allt vi kan!

Vi vet att denna olyckliga situation kommer kosta oss många kunder. Vi håller just nu på att identifiera alla berörda kunder, så vi kan gå i dialog med dem direkt. Om ni får vänta lite längre så beklagar jag – att få alla våra system tillbaks till 100% är fortfarande högsta prioritet.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus, 09:00

God morgon. Jag har blandade nyheter från våra team i serverhallen i Amager. Det går framåt, men vi har tyvärr några saker som inte fungerar som de ska.

  • Vi är i stortt sett tillbaks online med alla påverkade Windows databasservrar. Endast en server (msdb2) är kvar offline. Upp till 5000 kunder är påverkade av detta.
  • Vi har 43 linuxservrar, som inte kan komma online på grund av fel i ackompanjerande mydb-servrar, som ännu inte återställts. Vi vet ännu inte om detta berör 5000, 10000 eller 15000 kunder. Dessa databasservrar förväntas tillbaka online under tisdagen.
  • Storageservrar är på väg online, men vi vet ännu inte i vilken följd de kommer tillbaka. Ytterst kritiskt och avgörande för att en hemsida kommer online igen. Kan påverka upp till 23.000 av våra kunder. Mer om detta under dagen.

Situationen för alla berörda kunder är naturligtvis kritisk. Vi gav oss 48 timmar att återställa allt, och det klarade vi inte. De rapporter jag får ger intryck av att det går framåt och att vi i bästa fall kan vara på helt tillbaks online idag, tisdag. Men vi är fortsatt väldigt sårbara på grund av en mängd okända faktorer i vårt återställningsarbete.
Många, inklusive mig själv, undrar över varför inte kan komma med en detaljerad tidsplanering. Förklaring är att eftersom vi befinner oss i en helt unik situation och vi arbetar med tuffa deadlines för oss själva, så är vi ytterst sårbara på grund av installationer som tar längre tid än förväntat och konfigurationer som retas med oss:

  • Hårdvaruleveranser försenade i köerna runt om i Köpenhamn
  • Delar som saknas till hårdvaran, eller kablar som snabbt måste införskaffas
  • Flyttat hårdvara, som inte vill starta upp som förväntat
  • Konfigurationer av ny hårdvara, som inte vill fungera tillsammans med existerande system

Detta är inga ursäkter för att vi inte håller den planering vi själva lagt fram. Jag vill endast försäkra er om att det (milt uttryckt) inte beror på att vi endast är ett manskap på 4-8 personer som inte plats ännu. Vi rör oss fortfarande starkt framåt, även om det går långsamt. Men flytten och återställningen av 300+ servrrar är en högrisks-operation med riktiga många variabler och det finns därför riktigt mycket som kan gå fel eller försena oss.
Vi vet att denna olyckliga situation kommer kosta oss många kunder, men hoppas på fortsatt förståelse från de upp till 23.000 som potentiellt lider av denna situation – ni är lite mindre än en fjärdedel av våra kunder och vi gör allt vi kan för att få era tjänster snabbt tillbaks online.

Idag går vi igång med att identifiera de påverkade kunderna på kund-till-kund  basis, så vi kan komma i dialog med er direkt och påbörja planeringen av vad vi ska göra på den andra sidan av återställningsarbetet.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Återställningsstatus, 23:00

48 timmar är vad vi gav oss själva på att bli vara helt återställda… Det var en optimistisk plan, och vi lyckades inte. :-/

Men vi arbetar vidare utan paus på att återställa alla våra kunders tjänster – och det går framåt.

Lördagkväll kl. 22:00 blev Köpenhamn utsatt av ett historiskt skyfall. Och Nordhavn blev särskilt hårt drabbat. Här bor Surftown. Beredskapsstyrelsen blev inkallad och har pumpat vatten ur källaren med upp till 30.000 liter i minuten – så vi från kl. 14:00 på Söndag kunde få tillgång till vår serverhall.

Inom 24 timmar från att skyfallet startade, hade vi nästan 80% av våra system återställda med hjälp av ”fail over” servrar och en brutal snabbflytt av hårdvara från Nordhavn till vår (lyckligtvis) nyligen utbyggda serverhall i Amager.

Återstår gör de sista 20% av de besvärligaste servrarna. Surftown har över 100.00 kunder. Fördelningen av kunder på våra system har lett till att 23.000 kunder har haft ett driftsavbrott för sin e-posttjänst fram tills idag, då de löpande har kommit online. De sista 3000 kommer online ikväll/inatt.

Knappt 20.000 kunder är påverkade av ett allvarligt avbrott som på flera databas- och storage-servrar. Arbetet med dem pågår fortfarande och vi hoppas fortfarande på att bli klara ”ikväll” – men kvällen hinner nog både bli natt och tidig morgon. Nedan följer status på hur arbetet ser ut just nu.

Återställningstatus för Surftown, Måndag 4 juli 23.00.

  • DNS-servrar: 100% online
  • Webbservrar: 100% online
  • E-postservrar: 100% online. Alla e-postservrar är nu online, så man kan skicka och ta emot mejl. På återställda servrar kan det förekomma en viss period där e-postarkiv återställs löpande.

Några nätverksswitchar kör på reducerad hastighet (100 Mbit/s) tills alla flyttade och återställda servrar är i drift i serverhallen i Amager. Därför kan svarstider vara något högre. Så snart alla servrar är tillbaks i normal drift kommer hastigheten skruvas upp till 1 och 10 Gbit/s igen.

  • Storageservrar: 77% online. Kvarvarande återställning från backup kräver ny hårdvara. Hårdvara är levererad och installeras just nu. Därefter påbörjas återställning omedelbart. Detta är tyvärr en långsam process, och förväntas bli klar under natten.
    Antal berörda: upp till 23.000 kunder
    Normal drift: förväntas natten till Tisdag
  • Databasservrar: 80% återställt under Söndagen. Kvarvarande återställs från backup.
    Antal berörda: upp till 20.000 kunder
    Normal drift: förväntat natten till Tisdag för de allra flesta

Det går framåt, men en stor del av våra kunder lider fortfarande av vårt avbrott. Vi fortsätter dock att arbeta målinriktat och utan avbrott, och natten igenom för att få allting tillbaks i drift. Vi gör allt vi kan och just nu ser det ut som om vi blir klara innan vi kan flytta tillbaks till vårt kontor. Vi har ännu ingen ström på vårt kontor i hamnen på Østerbro så att vi kan arbeta där, men alla våra e-postkunder är i drift igen och vårt driftcenter i Amager har blivit utbyggt oerhört snabbt under de senaste 48 timmarna.

Jag återkommer med en ny uppdatering imorgon bitti – och håller tummarna för att de många återställningsprocesser vi har igång löper framgångsrikt över natten.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

«< 5 6 7 8 9 >»