Surftown 99% tillbaks i drift sedan kl. 15:00

Kära kunder,

Ännu en dags tålamod väntar för världens bästa kunder. Nu är det inte mer våra tekniker kan göra för att sätta fart på processen. De sista få servrarna återställs från backup, och det tar den tid det tar. Vi har tyvärr fortfarande en mindre mängd kunder (runt 1000) som vi försöker hålla humöret uppe på, här på bloggen och på Twitter.

Hela dagen idag har gått till att hitta sätt att påskynda, optimera eller hacka sig runt den hastighet som en server kan återställas i från backup. Sedan inatt har vi kämpat med att påskynda återställningen av de sista 5000 kunder, som i värsta fall fortfarande var berörda. Men återställning från backup är tyvärr extremt tidskrävande, då vi behöver överföra upp till 15 miljoner små filer. Och det är just mängden filer, och inte dess storlek, som tar tid.

Sedan senaste servern blev klar kl. 14:53 idag är antalet berörda kunder estimerade till under 1000. Detta är våra mest olyckligt lottade kunder, och vi funderar just nu på om vi kan göra något alldeles speciellt för er (och innan jag blir helt överöst av kommentarer; vi kommer försöka göra något speciellt för alla som har varit påverkade av denna situation).

Vi är 99% återställda och nu rullar återställningsprocesserna tills de blir färdiga, och det är inget vi kan påverka mer. Vi har dock lyckats beräkna återställningshastigheten för de enskilda webbservrarna, baserat på dess hastighet fram tills nu, och kan därför presentera följande tidsplan på när de kommer online:

  • ws51 och ws43:  återställning beräknas vara klar innan 06:00
  • ws42, ws44, wsl1, wsl3: återställning beräknas vara klar innan kl. 22:00 fredag
  • E-postservrar: Sista arkiven är beräknat helt återställda innan fredag kl. 18:00

Kom ihåg att detta är baserat på den hastighet som de har återställts i fram till nu. Det kan gå snabbare men bör inte gå långsammare…

Det har varit en tuff tid, men vi kommer över helgen fortsätta med utökad beredskap, folk på Twitter både tidigt och sent, tekniker för att åtgärda eventuella driftproblem för enskilda kunder, o.s.v.

Ett särskilt tack från mig går till våra tekniker som har kämpat på något otroligt, ända sedan den första försökte kämpa sig igenom vattenmassorna lördag kväll. Ni har varit (och är) fantastiska – jag har helt enkelt aldrig sett något liknande tidigare. Bra kämpat – oavbrutet, 24/7, med ögon röda som hos vita kaniner och på en ohälsosam diet av kaffe, Red Bull och pizza. Jag är imponerad!

Surftowns kontor är fortfarande inte tillbaks i drift. Därför har vi ingen telefonsupport imorgon (fredag) heller, då telefonsystemen är ur drift. Kundservice och Surftown öppnar dock som vanligt igen på Måndag – vi på Twitter försöker att vara här den mesta av tiden, även över helgen. Det finns dock ett familjeliv som också behöver återställas.

Mina tankar går till de sista 1000: Vi är skyldiga alla, särskilt er, en förbehållslös ursäkt. Hade vi vetat vad vi vet idag, då vi köpte ”Danmarks bästa serverhall” av Tiscali i en källare vid hamnen, så tror jag vi hade agerat annorlunda. Jag är helt övertygad om att det kommer ett bättre och säkrare Surftown ut allt detta.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

125 Comments

1 2 3
  1. analfabetism, NEJ TACK
    juli 7, 2011 @ 11:24 e m

    Christer T.; Du har rätt. Visst är barnsligt att hålla på att kasta paj, men folk blir j*vl*gt förbannade när det kommer in en (nu höll jag på säga något otrevlig), låt oss kalla honom för ”nisse” – som har sitt på det torra och som börjar tillrättavisa andra kunder. Ovanpå det, kallar han dem för idioter bara för att de är oroliga och bedrövade över att de fortfarande inte kommer åt sina webbsidor, webbmail osv. Allt var frid och fröjd till dess att denna ”nisse” dök upp.

  2. kck
    juli 7, 2011 @ 11:24 e m

    Vet någon från Surftown vad har hänt från kl. 15 till kl. 23.24 idag?
    Varför kommer inte ut ny rapport?

  3. Empati? Ja, tack.
    juli 7, 2011 @ 11:32 e m

    Här är känslor utanpå. Jag har full empati för dem som inte kommer åt sina grejer och är det så att ni ställer samma frågor hundra gånger, så skall ni veta att det är helt ok att missa läsa alla matnyttiga inlägg när man är stressad och söker efter snabba svar Sedan är det ju inte lätt att hitta rätt bland alla skräpinlägg som inte har här att göra

  4. Chris, FÖRSVINN!!!
    juli 7, 2011 @ 11:39 e m

    Chris, packa dig iväg. Du har ditt på det torra. Gå och skriv dina felstavade förolämpningar någon annanstans. Jag refererar till förolämpningar som ”…klokskap som ligger någonstna i höjde med fotknölarna.”, som du har felstavat fram.

  5. Bosse
    juli 7, 2011 @ 11:57 e m

    Sitter och tillhör en av dom få % som fortfarande inte är i drift.. Surt.. Men va skall man göra, bara bita i äpplet…

    Alla gnäller på er, så det tänkte jag inte göra trots att det är irriterande att en tjänst man betalar för inte fungerar..

    Jag vill istället vända mig till era tekniker !

    Eftersom jag själv är inom itbranchen så förstår jag lite eran situation och tycker ni gjort ett kanonjobb såhär långt..

    Även om man kan få tag på många folk så tar det ganska lång tid att plocka ut servrar ur dom gamla rackskåpen, transport och flytta till nya, där är ofta begränsat med plats hur många som kan hålla på och härja i samma skåp.

    Det är ju tyvärr sällan så enkelt som vissa får det att låte med backup, är inte bara trycka på en knapp så är det klart, bandbackup är inte jättesnabbt, och operativsystem etc backas sällan upp utan det är enbart data..

    Sen gissar jag att ni inte bara ”kastar” in servrarna,switcha etc.. Även i kristider är det viktigt att dokumentera..

    Tror inte något webhotell oavsett prisklass ens har gjort en plan för det ni gått igenom med en total disaster recovery.

    Så hatten av till era tekniker…. (och skynda på med ws51 🙂 )

  6. Oscar
    juli 8, 2011 @ 12:12 f m

    Hej,

    Har ni möjlighet att göra en större förklaring till 22:00 på fredagen så tror jag många blir tacksamma.

    Alternativt en grundlig rapport efter allt är klart.

    /Oscar

  7. pelle
    juli 8, 2011 @ 1:15 f m

  8. hundskola
    juli 8, 2011 @ 1:32 f m

    Känns som om det är bättre att behålla er som webbhotell än att byta till något annat. Ni har ju – förmodligen till skillnad från andra – vetskapen om hur ni kan skydda er från liknande händelser i framtiden. Och DET känns faktiskt som en värdefull kunskap hos ett webbhotell. Jag brukar rekommendera er till alla (nja, inte just nu, faktiskt) och kommer nog att fortsätta göra det. Jag stannar också som kund, just för att jag vill ha ett webbhotell som har erfarenhetsmässig framförhållning och förebyggande. Detta trots att alla mina sidor fortfarande är nere.

    Ett av mina livsmotton är ”Det är inte hur man har det, utan hur man tar det.” Och jag väljer att se denna händelse hos mitt webbhotell som en tillgång för framtiden.

    Keep up the good work!

  9. Anders Stolt
    juli 8, 2011 @ 1:39 f m

    Jag kan bara konstatera att efter varit kund eller delkund i många år, men även haft andra uppdragsgivare så har ag aldrig varit med om ett företag med så otroligt låg downtid. Jag kan inte påminna mig om att det aldrig varit nere om det inte föraviserats. Nu kom det häftigaste regnet på 500 år över Köpenhamn. Och en fruktansvärd mängd vatten kom ner. Då sitter det människor och skäller på de som gör allt för att det ska bli bra. Byt om det inte passar, men ni kommer få det mycket sämre oavsett var ni hamnar. För på de flesta ställen så är downperioder vanliga och då utan enorma skyfall.
    Surftown har gjort ett jättejobb. En applåd till alla som fixat detta så snabbt.

  10. Anders Stolt
    juli 8, 2011 @ 1:49 f m

    Surftown Surftown
    WS51 is back on track! ^TV
    9 minutes ago Favorite Retweet Reply

  11. Peter
    juli 8, 2011 @ 7:58 f m

    Också kund sedan 04. Tycker vatten är skönt men saknar fungerande e-post…

  12. Anna Arvidsson
    juli 8, 2011 @ 8:23 f m

    Jag kan fortfarande inte gå in på min hemsida. Har ws43. Nu börjar det bli lite tröttsamt, skulle det inte vara klart kl. 06.00 senast idag? Har ni några mer uppgifter att ge? Jag skulle gärna vilja få ärlig info om ungefär hur lång tid det kommer att ta. Är det några problem? Förlorar väldigt mycket på detta. Har även skickat mail till kundservice men ej fått svar. Min e-post har inte fungerat förrän i torsdags.

    Hälsningar

    Anna

  13. Gunnar
    juli 8, 2011 @ 8:32 f m

    Nejnej, jag vill att surftowns backup skriver över min – då den är garanterat korrekt.

  14. Marcus Jonsson
    juli 8, 2011 @ 8:36 f m

    Och jag kan inte skicka mail sedan ett par dagar, men ta emot går bra. Vad är grejen med det?

  15. Daniel_G
    juli 8, 2011 @ 10:03 f m

    Jag tycker Surftown gjort ett grymt jobb på den tid som gått sedan översvämningen!
    Ett stort tack till alla som jobbat hårt med återställningen av allas information! Tack!
    Skickar en elektronisk önskan om en ekologisk (Kravmärkt) kopp fika och bulle i en hängmatta på vackert och avkopplande ställe, stolt känsla i ryggen om vilket arbete som verkligen utförts under veckan!
    Sommarhälsningar
    Daniel

    PS
    Från en som jobbat med IT sedan mitten av 90-talet.
    Och, nej….min information är inte återställd ännu
    DD

  16. Surftown
    juli 8, 2011 @ 10:05 f m

    Den information som vi har just nu är att det tyvärr tar längre tid än vad vi förvänta oss med återställningen av ws43.
    Så fort vi har vidare information så kommer den upp här på bloggen.
    /MS

  17. Daniel_G
    juli 8, 2011 @ 10:05 f m

    Jag tycker Surftown gjort ett grymt jobb på den tid som gått sedan översvämningen!
    Ett stort tack till alla som jobbat hårt med återställningen av allas information! Tack!
    Skickar en elektronisk önskan om en ekologisk (Kravmärkt) kopp fika och bulle i en hängmatta på vackert och avkopplande ställe, stolt känsla i ryggen om vilket arbete som verkligen utförts under veckan!
    Sommarhälsningar
    Daniel

    PS
    Från en som jobbat med IT sedan mitten av 90-talet.
    Och, nej….min information är inte återställd ännu.
    DS

  18. Sofia Lundberg
    juli 8, 2011 @ 11:51 f m

    TACK!
    Jag skickar precis nu en ny kund till er också! 😀

  19. Pamela
    juli 8, 2011 @ 1:23 e m

    Min webbserver funkar heller inte. Hur fick de det till 99% återställt? När kan alla siter vara återställda? Tur att man inte har ALLA ens siter på Surftown…

  20. Carl Bengtsson
    juli 8, 2011 @ 2:52 e m

    Kommer fortfarande inte heller in… vad händer?

  21. Surftown
    juli 8, 2011 @ 2:55 e m

    Jag har kolalt domänen carlbengtsson.se och den ser ut att fungera som den ska. Var det inte den du menade?
    /MS

  22. Stefan S
    juli 8, 2011 @ 4:07 e m

    Efter vad jag har läst så kommer absolut byta till surftown nu. Där jag hostar mina sidor nu , har ungefär denna ner tid per år UTAN skyfall

  23. Göran Norling
    juli 8, 2011 @ 8:22 e m

    Hur kan ni skriva att 99 % är i drift när så många fortfarande har problem?

  24. Mirlinda B
    juli 15, 2011 @ 7:56 e m

    Ni gör ett hästjobb! Stor eloge till er för det. Som kund har jag inga problem att vänta om jag vet att det finns personer som er som gör det ni kan så fort ni kan för att lösa sådana här olyckliga situationer.

  25. Mirlinda B
    juli 15, 2011 @ 7:56 e m

    Ni gör ett hästjobb! Stor eloge till er för det. Som kund har jag inga problem att vänta om jag vet att det finns personer som er som gör det ni kan så fort ni kan för att lösa sådana här olyckliga situationer.

1 2 3