Återställningsstatus, 15:00

I grannkällaren till Surftown var det vatten upp till taket (+2 meter) – i vår källare var vi ”bara” uppe över metern. Det sista vattnet som blev tömt var från Surftown firmabilar.

Sett från den vinkeln så är vi glada att vi redan kl 14 på söndagen kunde få tillgång till serverrummet. De automatiska pumpsystem och annan säkerhetsutrustning kunde inte matcha de vattenmängder som kom, men hemvärnets effektiva arbete gjorde att vi kunde komma igång redan kl 14:00 på söndag medan resten av området låg under vatten.

Sedan dess så har det varit oavbruten återställning. Det går framåt med att återställa våra kunders e-post- och webbtjänster, men det har dessvärre varit extremt svårt att hålla tidsplanen. Vi har två e-postservrar som tyvärr saknade några delar. Och även om nya servrar levererades i förmiddags så blev dessa inte klara till kl 12:00. :-/ Vi håller just nu på med att färdigställa dessa. Strax därefter kommer man ha möjlighet att kunna skicka och motta mejl, samtidigt som mejlarkiv återställs kontinuerligt under de nästkommande timmarna.

Vårt arbete med att återställa driften, vilket bland annat innebar en fysisk flytt av 300 servrar från Østerbro til Amager i Köpenhamn, blev genomfört efter en dedikerad insats av 30 man som har mer eller mindre jobbat oavbrutet mellan Lördag kl. 22:00 och Söndag kl. 23:30.

Söndagskvällen övertog nästa lag av driftstekniker (varav en del även deltog i det första laget!) arbetet med att återställa hårdvara och mjukvaruinstallationer. Vi har verkligen inte suttit sysslolösa de här dagarna.

VI är fortfarande övertygade att vi ska lyckas återställa det sista innan Måndagen ser sitt slut. Dock är jag nästan tvungen att säga att några av de största servrarna som ska återställas (databas- och storage-servrar) tar så pass lång tid att återställa, att de troligen kommer ta natten på sig innan allt är på plats igen.

Trots allt detta, så är det kunder som får sina hemsidor, online butiker och mejltjänster tillbaka, så situationen kommer förbättras kontinuerligt under dagen. Under rådande omständigheter så är vi glada över att 80% av driften stabiliserades redan under söndagen, men vi vet att det inte hjälper de kunder som lider av otillgänglighet idag. Vi gör allt vi kan för att vara tillbaka online så snabbt som det bara är möjligt.

Status för Surftowns återställningsprocess, Måndag 4:e juli, kl 15:00:

  • DNS servrar: 100% online
  • Webbservrar: 100% online
  • E-postservrar: Det återstår 2 e-postservrar, som ännu inte återställts. Så snart de är återställda så kommer man kunna skicka och motta mejl, medan e-postarkiv kommer kontinuerligt återställas därefter.
    Antal berörda: Okänt pga. molninfrastruktur, men ”endast” 9% av vår e-postinfrastruktur är fortfarande påverkad.
    Normal drift: förväntat Måndag kl. 17:00

Några nätverksswitchar kör på reducerad hastighet (100 Mbit/s) tills alla flyttade och återställda servrar är i drift i serverhallen i Amager. Därför kan svarstider vara något högre. Så snart alla servrar är tillbaks i normal drift kommer hastigheten skruvas upp till 1 och 10 Gbit/s igen.

Tyvärr är en webbserver inte mycket värd utan de ackompanjerande fil- och databas-servrarna. Och här gäller driftstörningar. Status för måndag kl. 15:00:

  • Storageservrar: 77% online. Kvarvarande återställning från backup kräver ny hårdvara. Hårdvara är levererad och installeras just nu. Därefter påbörjas återställning omedelbart. Detta är tyvärr en långsam process, och förväntas bli klar under natten.
    Antal berörda: upp till 23.000 kunder
    Normal drift: förväntas natten till Tisdag
  • Databasservrar: 80% återställt under Söndagen. Kvarvarande återställs från backup under Måndagen. Hårdvara är levererad och installation påbörjad.
    Antal berörda: upp till 20.000 kunder
    Normal drift: förväntat natten till Tisdag

Vi får kontinuerligt in mejl från kunder som fått sina tjänster återställda, så vi är väg i rätt riktning och det ser ut att vara en bra bit under 20.000 kunder som fortfarande är berörda. Men 100 berörda kunder är 100 för mycket, så det arbetas fortfarande i full fart på vara 100% tillbaka igen. Jag återkommer med en ny statusuppdatering om ett par timmar. Följ @Surftown tills vidare.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

94 Comments

1 2
  1. Surftown
    juli 4, 2011 @ 5:54 e m

    Webbservern är uppe, men tyvärr inte storage servern som håller i dina filer:

    Tyvärr är en webbserver inte mycket värd utan de ackompanjerande fil- och databas-servrarna. Och här gäller driftstörningar. Status för måndag kl. 15:00:

  2. Storageservrar: 77% online. Kvarvarande återställning från backup kräver ny hårdvara. Hårdvara är levererad och installeras just nu. Därefter påbörjas återställning omedelbart. Detta är tyvärr en långsam process, och förväntas bli klar under natten.klar under natten.
  3. Lars Jonsson
    juli 4, 2011 @ 5:56 e m

    Hej, jag noterar att mail fortf inte fungerar trots att ni skriver att det borde göra det. Jag vet att ni sliter häcken av Er men det är bättre att lova mindre och leverera än tvärt om. / Lars

  4. calle
    juli 4, 2011 @ 5:59 e m

    Nu kom mitt försa maill sedan i ördags.
    Det tar sig

  5. Josef Boberg
    juli 4, 2011 @ 5:59 e m

    Det gäller att gardera sig för ”högt vattenstånd” innan det inträffar – blir väl erfarenheten av detta – kan jag tänka mig… 💡

  6. Krille
    juli 4, 2011 @ 6:02 e m

    Återigen , det ÄR inte ”force majeure” , i vilket årtusende lever ni i?
    Det var ett skydrag ”Skyfall” , ¨långt i från Force majeure.
    Men det antar jag era försäkringsbolag kommer att berätta för er.

  7. Krille
    juli 4, 2011 @ 6:05 e m

    Underbart , säger surftown till enstaka användare som fått igång sina tjänster.

    Sanslöst dåligt att skriva underbart , LOL

  8. Surftown
    juli 4, 2011 @ 6:08 e m

    Det tycker vi om!
    /MS

  9. Krille
    juli 4, 2011 @ 6:11 e m

    Så dags nu!?

    Ni erkänner att ni inte haft en krisplan efter typ 10-15 år ???

    Tror ni får byta namn och starta om på nytt.

  10. Pethra
    juli 4, 2011 @ 6:12 e m

    Ingen av våra webbsidor funkar. Den ena ser ut som skit och den andra går inte att nå. Väldigt tråkigt då vi är väldigt beroende av våra sidor och har många kunder- personer som surfar på dom.

  11. Surftown
    juli 4, 2011 @ 6:13 e m

    Vi har tre mailservrar (Mail6, 1 och 2) som kommer upp när som helst. Det betyder att man kommer att kunna börja skicka och ta emot e-post men resterande kommer att komma löpande de efterkommande timmarna. /MS

  12. PR
    juli 4, 2011 @ 6:13 e m

    Men hallå Surftown – ni måste lära er att kommunicera!! Alla era kunder har inte koll på hur er IT-infrastruktur är uppbyggd!!! Tala klarspråk!!

  13. 123
    juli 4, 2011 @ 6:15 e m

    Aiight. Betyder det att mail som skickats till mig fram tills dess kommer i efterhand? Jag håller tummarna.

  14. JK
    juli 4, 2011 @ 6:17 e m

    Kanske missade det inlägget, men kommer man åt databasservrarna?
    Kontrollpanelen verkar ju inte funka än.. 🙁

  15. Anita
    juli 4, 2011 @ 6:22 e m

    Undrar hur det går med mydb19.surf-town.net? Ingen sida (har två hos er på den databasen) som fungerar. Inte mejlen heller. Är smått desperat.
    När kan det fungera tror ni?

  16. niklas
    juli 4, 2011 @ 6:24 e m

    Nu verkar websidan gå att komma åt.Däremot fungerar inte tidigare inlagda cname-records funger och kommer ej heller åt dessa i kontrollpanelen. Någon info om när detta skall gå?

  17. Hans Persson
    juli 4, 2011 @ 6:25 e m

    Jag har full förståelse för det inträffade, självklart olyckligt. Men faktum kvarstår dock – Varken hemsida eller mail fungerar måndag kväll kl 20.20. Då hjälper inte löften/info som ni lägger ut men som inte hålls.

  18. RE
    juli 4, 2011 @ 6:27 e m

    Någon info om när mail4.surf-town.net kan rulla igång?

  19. David Castor
    juli 4, 2011 @ 6:31 e m

    Måndag 20.28 och fortfarande fungerar varken webbplats eller, vilket för mig är betydligt värre, e-post.

  20. Stefan (Webmaster för sk4tl.com)
    juli 4, 2011 @ 6:35 e m

    Jag kan förstå att själva web-sidan inte går att nå om data på storagerservern ännu ej är helt återställd, men om själva web-servern är uppe, så borde den ju i alla fall gå att pinga, eller har jag fel?
    Som det är nu så blir det konstant timeout när jag försöker pinga ws29.surf-town.net.

  21. Daniel Käll
    juli 4, 2011 @ 6:37 e m

    Har tillgång till två konton på surftown, båda står helt stilla och det hostas 4 domäner på dom. Det hela vore inte så farligt om det inte vore för att en av domänerna håller ett bokningssytem; och vi tappar eventuellt potentiella kunder och dessutom översikten om hur bokningar ligger eftersom vi förlitar oss på att tjänsten ska fungera.

    Är det sant att serverrummet ligger i en källare vid hamnen i köpenhamn?! Det är ju katastrof! Om jag visste det skulle jag aldrig i hela mitt liv köpa tjänsten av er och jag hoppas verkligen att det åtminstone blir ersättning för de dagar det hela ligger nere.

    ”Kom och bo i vårat fina lyxhotell, allting är jättebra!”
    ”Oj! Vi glömde berätta att vi står på träpelare i en lavaflod”

  22. Alexander Rudenstam
    juli 4, 2011 @ 6:50 e m

    Låter bra!

    /A

  23. Gunnar Eysteinsson
    juli 4, 2011 @ 6:51 e m

    Med tanke på vad som har hänt i Köpen.. har ni mitt fulla stöd/förståelse.

  24. Alexander Rudenstam
    juli 4, 2011 @ 6:52 e m

    Tack!

    /A

  25. Terese Alvén
    juli 4, 2011 @ 6:53 e m

    Trist att förlora trafik och pengar på grund av att min blogg är nere i flera dagar. Ser att ni flyttar fram tidpunkten för när saker ska fungera igen, nu går jag snart och lägger mig och hoppas verkligen att allt ska fungera igen imorgon. Förstår att ni gör allt ni kan, men kommer vi att få någon kompensation för detta? Tycker precis som några tidigare kommentatorer att det låter konstigt att ha servrarna i hamnen i Köpenhamn. De senaste åren står det ju om översvämningar på olika ställen i södra Sverige (som ju inte är så långt från Danmark) årligen.

  26. sjöberg
    juli 4, 2011 @ 7:04 e m

    Kommer fortfarande inte in på min företagssida.

  27. Surftown
    juli 4, 2011 @ 7:08 e m

    Ny statusuppdatering är nu publicerat 🙂

    /MS

  28. Ace
    juli 4, 2011 @ 7:16 e m

    inte vi heller.

  29. Henrik Jonsson
    juli 4, 2011 @ 7:16 e m

    Vi lanserar en mjukvaruprodukt som varit underutveckling under ett år och har presskonferens i London på onsdag. Vår website divinerobot.com är helt wipad – om jag går in via FTP finns foldrarna men inga filer kvar. Det är katastrof för oss om vi inte är online under morgondagen!

    Jag förstår att det är force majeure här, men snälla kan någon kontaka mig omgående angående detta!

  30. Ace
    juli 4, 2011 @ 7:17 e m

    Tyvärr verkar det vara samma som den förra statusen.

  31. Surftown
    juli 4, 2011 @ 7:33 e m

    Gå gärna till vår sida surftown.se och kontakta supporten där. De kan hjälpa dig om du har några tekniska frågor.
    /MS

  32. Den Rockande Kocken
    juli 4, 2011 @ 7:34 e m

    Jag liksom många andra förlorar omsättning när allt ligger nere så här och jag kan inte annat än hålla med mångas undran hur man tänker när man placerar en serverhall i en källare i ett hamnområde, det är ju verkligen att be om problem. Varför överhuvudtaget ge beräknade tider som allt ska fungera igen när dessa tider uppenbarligen inte är realistiska?

  33. Dags att byta webhotell
    juli 4, 2011 @ 7:47 e m

    Håller med. Det är mer än dåligt att hela tiden säga ”Nu är nästan up-and-running” eller skriva ”kl.17:00 kommer alla vara igång” – när det är flera hundra kunder som inte kan komma åt sina sidor. Sådant retar gallfeber på mig och många med mig. Ni är snabba som fan på att tacka dem som har fått sina sidor och skriver att ni gör ett bra jobb. Men vi andra, kl 21:45 måndag 4 juni, som fortfarande inte kommer åt något – oss ger ni ingen feedback. Utan ni bara inger falska förhoppningar med att skriva saker som ”nu är nästan alla igång” etc. etc. Såhär känner jag och många med mig som ni hela tiden neglegerar: VI SKITER I ATT NÄSTAN ALLA ANDRA ÄR UP AND RUNNING. ATT DE ÄR IGÅNG HJÄLPER INTE OSS. VI VILL BARA ÅT VÅRA SIDOR FÖR ATT MINSKA DET EKONOMISKA BAKSLAG DETTA HAR OSAMKAT OSS!!! SLUTA SKRIVA ATT VID DET KLOCKSLAGET KOMMER ALLA VARA IGÅNG NÄR DESSA LÖFTEN BRYTS GÅNG PÅ GÅNG.

  34. Hans
    juli 4, 2011 @ 7:58 e m

    Lätt att ösa beröm över surftown när man tillhör de som har fått ordning på sina sidor. Vi som fortfarande är drabbade är inte imponerade av ert arbete. JG, spara på krutet när du sitter och gottar dig över allt självberöm som du öser över dig själv/Surftown och de dina. Ty, vi som fortfarande är drabbade tycker inte du och de dina gör ett bra jobb och därmed inte värd allt den egotrippade självberöm som osar i ditt inlägg. Respektlöst att ösa ur sig sådant med tanke på hur många det som fortfarande är drabbade. Det är bra jobb först när alla drabbade är back in business.

  35. Lina
    juli 4, 2011 @ 8:01 e m

    Telia hade inte ställt sina servrar vid en hamn eller nära ett vattendrag som kan svämma över eller i ett hus som ligger nedsänkt.

  36. Patrik
    juli 4, 2011 @ 8:07 e m

    Håller med föregående talare. Fattar inte hur man kan tänka så kortsiktigt: ”Ah, detta är en billig lokal i hamnen. Här huserar vi”. Ingen tanke på de allt kraftigare regnskurar och stormar som slår in allt oftare från Nordsjön (färre lär det inte bli i och med klimatförändringarna. Snarare tvärtom).

  37. Patrik
    juli 4, 2011 @ 8:15 e m

    De där statusändringarna är rena skämtet. Elakt att hålla på leka tjilivippen med oss genom att lite hipp som happ generera ny status i slumpgeneratorn.

  38. J
    juli 4, 2011 @ 8:25 e m

    Ja precis. Jag och många med mig vill ha svar på exakt samma frågor. Vi vill inte veta hur duktiga när är och varit för vi som fortfarande inte kan logga in skiter i det. Förutom att vi vill få det fixat NU, vill vi ha svar hur man har tänkt när man lagt en serverhall i en hamn i en stad som ligger lågt över havet & varför ni hela tiden går med nya tider som inte hålls. Vi går ju ut till våra kunder med dessa tider & när dessa inte hålls så måste vi säga det till våra kunder etc. etc.

  39. Detta är verkligen inte Force Majeure
    juli 4, 2011 @ 8:34 e m

    Hur kan detta vara Force Majeure??? Det hade varit Force Majeure om t ex ett plan hade störtat in i serverhallen. Men detta var ett skyfall och sådana går det att skydda sig mot. T ex genom att inte lägga en serverhall i ett hus som ligger lågt i en hamn. Detta hade ni kunnat motverka preventivt, med andra. Kan man ej göra när t ex ett plan har störtat i en byggnad, för man kan inte be piloten störta ner i ett hus längre ner på gatan…

  40. Henrik Jonsson
    juli 4, 2011 @ 9:38 e m

    Jag har inga tekniska frågor. Jag vill bara att mina sidor ska komma tillbaka som en extrem prioritet. Vi riskerar att tappa stora belopp i uteblivna order om vi inte är online under morgondagen! Jag vill att någon kontaktar mig omgående. Jag kontaktade support för längesedan utan att få svar.

  41. Fredrik Harken
    juli 4, 2011 @ 10:49 e m

    Jag fick igång den ena för en stund sedan, har fortfarande en domän kvar som ligger nere,, hoppas på morgondagen!

  42. Pethra
    juli 5, 2011 @ 7:50 f m

    Nu funkar en av våra webbsidor iallafall. Tyvärr den som är minst viktig men hoppas på att den andra börjar funka under dagen oxå!

    Bra jobbat!! =)

  43. torndahl
    juli 5, 2011 @ 8:51 f m

    Är det verkligen sant att Surftowns serverhall fanns i källaren i en byggnad vid hamnen?
    Verkar ju otroligt ansvarslöst. Både mot sej själva, företaget och anställda, ocg frmfr allt mot kunder. Extremt naivt och klantigt om det stämmer.

  44. Cevdet Demir
    juli 5, 2011 @ 9:53 f m

    Hej, när räknar ni med att allt skall vara i gång.
    Jag anser att ni åtminstone kunde skriva maila de berörda om problemet vilket jag fortfarande inte fåt info om och även gav de som besökte våra webbplatser varför webbplatsen inte gick att besöka.
    För i början var det omöjligt att få info om varför webbsidan inte fungerade.
    Min webbplats som syns ibland ser konstigt ut de är bara fronten som fungerar och resten ser konstigt ut med en massa tecken.
    Jag kan logga in på My surftown men de går inte att göra något.
    Man får bara medellandet webbsidan kan inte visas.

  45. Roger P.
    juli 5, 2011 @ 4:19 e m

    Verkar fortfarande inte fungera nästan ett helt dygn efter att de lovat att allt ska vara igång, för den hemsida jag sköter åt en klubb jag är medlem i fungerar då inte ännu i alla fall.

1 2