Återställningsstatus – 95% av Surftown är online

Kära kunder,

Så nära men ändå så långt ifrån. Status för inatt är att vi har 95% av Surftown tillbaks online. Det betyder att vi maximalt har 5000 kunder kvar med driftproblem just nu. De sista 11 servrarna är på väg upp inatt, så jag förväntar mig att vi har nått målet när jag vaknar.

Ofattbart att sitta i torra, varma Köpenhamn och kämpa med efterverkningarna från en översvämning – men det var alltså också 7-10 miljoner liter vann som behövde pumpas ut ur källaren natten till söndag. En oavbruten och hektisk arbetsinsats har tagit plats sedan vi fick tillgång till serverhallen söndag kl 14:00.

  • Söndag kl. 22:00 – efter 10 timmar – är knappt 80% av Surftown online
    24 timmar efter avbrottet är ca. 80.000 kunder online
  • Måndag kväll – efter 36 timmar – är alla e-postservrar online
    48 timmar efter avbrottet är alla e-postservrar 100% återställda och alla kan återigen använda sin e-post. Surftowns e-postservrar hanterar över 500.00 e-postadresser
  • Tisdag kl. 22:00 – efter 56 timmar – första berörda webbservrarna online
    72 timmar efter avbrottet
  • Onsdag kl. 09:00 – efter 67 timmar – max 10.000 är utan hemsida
    83 timmar efter avbrottet är minst 90% online
  • Onsdag kl. 18:00 – efter 76 timmar – kontrollpanelen online
    92 timmar efter avbrottet
  • Torsdag kl. 01:00 – efter 83 timmar – max 5000 har fortsatt driftproblem
    99 timmar efter avbrottet är minst 95% online

De sista max 5% av vår kundbas som fortfarande inte är tillbaks i drift, lider just nu av återställningshastigheten på de sista 11 servrarna. Just nu ligger de flesta teknikerna och sover, då det inte finns något annat än att övervaka förloppet av återställningen. De har verkligen gjort sig förtjänade av det, efter många och långa dagar, kvällar och nätter – och det spelar ingen roll för de sista av er. Vi har fortfarande folk på plats och vi uppdaterar så snart de enskilda servrarna är klara för användning inatt och imorgon.

God natt till uppesittarna och god morgon till de morgonpigga

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

164 Comments

1 2 3 4
  1. jonas
    juli 7, 2011 @ 11:12 f m

    @Christer
    Belastningen på servrarna är ju densamma, men skillnaden ligger i att webbserver och mailserver inte ligger i samma datacenter. Förenklat: Sätt en webbserver och mailserver i varje center, men lägg ut kunderna på olika. Kund A har mail i center 1 och webb i center 2, kund B har mail i center 2 och webb i center 1. Då slår du ut 100% av kunderna men bara 50% av deras tjänster om ett center går ner istället för 50% kunder och 100% tjänster (vilket är värst med tanke på hur sällan det sker?).

    @David
    Håller med dig, företag som lagt sig där bör se om sitt hus.
    Jag vill inte heller kritisera dom för hur dom hanterar situationen just nu. Dom sliter säkert häcken av sig, men dom skulle inte riskerat att hamna i sitsen dom hamnat i. Om dom inte planerat i förväg att det ett sånt här avbrott skulle ta 5-6 dagar, så är väl bättre beredskap ett ganska uppenbart krav på deras nästa möte. Jag är övertygad om att ett gäng kloka tekniker skulle kunna komma på en bättre uppställning som inte är så felkänslig eller drar med sig så stora konsekvenser. Nyckelfrågan: Vad händer om det här går ner? Vad händer om det här också går ner? Hur klarar vi oss om det här OCKSÅ går ner?

    Fast den här diskussionen är kanske mer för ett forum än för den här bloggen. Jag respekterar era åsikter i vilket fall som helst 🙂

  2. Jonas
    juli 7, 2011 @ 11:17 f m

    Man är aldrig oskyldig när man tillhandahåller en tjänst. Oavsett vad som händer.Det som irriterar mig mest är dock att de ljuger oss upp i ansiktet som ligger på ws51 o säkert en del andra .. Har som sagt tappat tre dagars inkomst extra mot vad jag skulle gjort om de var ärliga mot oss från början. Punkt slut. Oavsett vad du eller andra säger kommer jag inte att ändra uppfattning hur de hanterat vissa delar i denna process.

  3. Surftown
    juli 7, 2011 @ 11:18 f m

    Vi håller på att undersöka anledning till varför vissa upplever att inte mail kommer fram. Supporten är inte nere utan dom hanterar alla hänvändelser som dom får. Det kan tyvärr dröja lite på ett svara på grund av antalet kunder som kontaktar dom just nu.
    /Ms

  4. per-anders
    juli 7, 2011 @ 11:18 f m

    ligger databasfilerna på samma hårdvara som hemsidan?

  5. Christer Toivonen
    juli 7, 2011 @ 11:24 f m

    De vill att du kontaktar supporten

  6. Ragulin
    juli 7, 2011 @ 11:25 f m

    Har ni slutat uppdatera bloggen nu när det ”… maximalt har 5000 kunder kvar med driftproblem”. Det måste gå att ge någon form av tidsuppskattning när kvarvarande servrar är återställda.
    Verkar orimligt att återställandet ska ta 3-4 dagar.

  7. Christer Toivonen
    juli 7, 2011 @ 11:25 f m

    Jag tror inte det, det verkar vara separata servrar

  8. Jonas
    juli 7, 2011 @ 11:26 f m

    Jag har allt lagt in en ticket om det men har inte fått något svar än… Kan ni istället ge oss korrekt info. Är det problem med ws51 som det stod att läsa att backupen misslyckades igår? En enkel fråga som ni måste svara på. Såpass ärliga måste ni vara mot oss. Ta reda på det av era tekniker och ge oss sen den infon så vi kan planera vad som behöver göras.

  9. Christer Toivonen
    juli 7, 2011 @ 11:27 f m

    Det är just det de inte kan göra för hur lång tid backupen tar är beroende av hårdvaran

  10. Surftown
    juli 7, 2011 @ 11:27 f m

    Vi har inte slutat uppdatera bloggen utan det kommer att komma uppdateringar på den så snart vi sammanställt ny information.

    /MS

  11. per-anders
    juli 7, 2011 @ 11:28 f m

    christer har du någon ny status på ws51?

  12. Curten Wijk
    juli 7, 2011 @ 11:29 f m

    Hej igen

    Christer bl.a.
    Ja vi har ju inga jobb att göra då våra domäner och våra kunders domäner ligger nere, för vi har ju rekommenderat alla våra kunder till Surftown. Då kan vi ju lika gärna sitta här å försöka lugna ner de som inte förstår vilket ofantligt jobb som grabbarna tampas med, så grabbarna får tampas med det dom är bra på.

    Att göra en restore från en backup är ju verkligen manskrävande, eller hur. Det är ungefär lika manskrävande som att sitta å titta på medans färgen torkar.

    Efter ett sky-fall blir man in höjd till skyn i alla fall.

    Men visst ska vi ge grabbarna en eloge ändå, 95% e inte dåligt, å det är ju vädrets makter som röt till, ingens fel, kanske Thors då. Å förmodligen har ju apparaterna stått där i alla år utan att pajja förr.

    Så simma lugnt, ingeting går snabbare eller blir bättre av att se negativt på något, det som hänt har hänt, var glad att vi överhuvudtaget får nåt tebax.

    Curten

  13. Jeanette
    juli 7, 2011 @ 11:30 f m

    Har inte haft någon hemsida sedan helvetet började för er. Har väntat tålmodigt…..men nu börjar även mitt tålamod tryta.

  14. Christer Toivonen
    juli 7, 2011 @ 11:31 f m

    Jag är ledsen, men tyvärr inte senaste kommentaren från Surftown här på bloggen: https://surftownse.wordpress.com/2011/07/07/aterstallningsstatus-95-av-surftown-ar-online/#comment-1410

  15. Johan
    juli 7, 2011 @ 11:31 f m

    Sluta svara åt Surftowns vägnar, Crister. En större fanboy än dig har jag nog aldrig sett. Dina kommentarer hjälper inte och gör uprörda kunder bara argare. Att det tar 48 timmar att återställa en webserver är ren och skär lögn. Surftown har helt enkelt misslyckats med återställningen och försöker igen. Antar att de är på tredje eller fjärde försöket nu om de har hållit på sedan tisdags med denna server.

  16. Petter Clemensson
    juli 7, 2011 @ 11:33 f m

    Tjena surftown loggade just in på min mail via squirrlemail, men när jag kollade så var hela inboxen rensad, tom! Jag försökte sedan kolla med outlook och de första 3 sekunderna såg jag de över 300 olästa mailen jag hade. Vad hände sen? Jo, allt försvann, allt, allt, allt… Har ni någon förklaring till detta fenomen?

    Tacksam för svar!

  17. Surftown
    juli 7, 2011 @ 11:33 f m

    Vi arbetar med att få ws 51 upp online så snart det bara går. Men teknikrena jobbar på den i skrivandets stund.
    /MS

  18. Christer Toivonen
    juli 7, 2011 @ 11:33 f m

    Tvärr så är servern wsl1 rödmarkerad enligt senaste Återställningsstatus:
    https://surftownse.wordpress.com/aktuell-aterstallningsstatus/

  19. Christer Toivonen
    juli 7, 2011 @ 11:36 f m

    Om du följt med från början så hade du förstått att det säger inte stämmer, personangrepp svarar jag inte på.

  20. Annika
    juli 7, 2011 @ 11:36 f m

    Dom har hållit på ännu längre, för fösta beskedet kom på måndagen och det var att ws51 skulle vara upp under natten till tisdagen.

    Christer: Det är inte teknikerna som skriver på twitter heller.

  21. Christer Toivonen
    juli 7, 2011 @ 11:38 f m

    Ställ frågan på Twitter istället

  22. Annika
    juli 7, 2011 @ 11:38 f m

    Men det har dom ju gjort sedan i måndags. Det är TORSDAG nu. Varför tar det orimligt lång tid?

  23. per-anders
    juli 7, 2011 @ 11:39 f m

    okej kämpa på!! vårat domännamn är Torsbycity.se

  24. Christer Toivonen
    juli 7, 2011 @ 11:39 f m

    Jo, det är det, faktiskt

  25. Alfred
    juli 7, 2011 @ 11:43 f m

    Vem är du Christer? Dina första inlägg på din twitter är typ: ”Det här är helt oacceptabelt att ett stort företag som Surftown inte har bättre skydd än så här. Överväger byte av webbhotell” och sen blir du bara argare innan du plötsligt har svängt och är jätteimponerad av Surftown. Och nu förstår du inte varför en del är arga och frustrerade. Ditt agerande är onekligen rätt bissart.

  26. Jonas
    juli 7, 2011 @ 11:44 f m

    Klistar detta från ett inlägg ovan: Är det problem så var ärliga mot oss:

    ”Kan ni istället ge oss korrekt info. Är det problem med ws51 som det stod att läsa att backupen misslyckades igår? En enkel fråga som ni måste svara på. Såpass ärliga måste ni vara mot oss. Ta reda på det av era tekniker och ge oss sen den infon så vi kan planera vad som behöver göras.”

  27. Frazze
    juli 7, 2011 @ 11:45 f m

    Väldigt många frågar efter status på WS51. Jag väntar också på den. ST skriver

    ”Vi arbetar med att få ws 51 upp online så snart det bara går. Men teknikrena jobbar på den i skrivandets stund.”

    Är det problem med att få upp den eller är det bara återläsningen som tar tid p.g.a. många små filer.

  28. Christer Toivonen
    juli 7, 2011 @ 11:46 f m

    Jag uttalade mig av dumhet och gjorde avbön direkt när jag insåg katastrofens omfattning, jag uppfattade den som mindre från början, man har väl rätt att ändra sig? Sen har jag följt Surftown arbete och även kollat runt lite och insett att de hade inte kunnat sköta det här på ett bättre sätt.

  29. Christer Toivonen
    juli 7, 2011 @ 11:48 f m

    Jag antar återläsningen för det är det som har varit bekymret hela tiden då det hänger på hårdvaran hur fort det går, därför kan de inte säga något om hur lång tid det kan ta heller

  30. Johan
    juli 7, 2011 @ 11:53 f m

    Återställningen misslyckades igår. Jag antar att återställningen har misslyckats igen efter det? Är det fel på data? Fel på hårdvara? Eller är denna server lågprioriterad? Med tanke på att ni inte besvarar supportäreneden angående ws51 undrar jag om denna server kommer att komma upp ens denna vecka? Nästa vecka? Aldrig?

  31. Jeanette
    juli 7, 2011 @ 11:57 f m

    Jobbar du på surftown? Nyfiken: då jag inte skrev vilken server jag har och med tanke på dina tidigare inlägg.

  32. ws43
    juli 7, 2011 @ 11:57 f m

    Fråga till /MS och er på surftown.

    När kommer ws43 upp och när kommer den fungera normalt igen?

    Det är faktiskt riktigt akut nu, flera hundra tusen kronor i utebliven försäljning och våra kunder lider.

    Vi måste snart gå ut med ett pressmeddelande i Hela Sverige och berätta om situationen. Ett pressmeddelande kommer även att gå ut efter butiken är återställd.

    Tacksam för svar snarast.

  33. Surftown
    juli 7, 2011 @ 11:57 f m

    ws51 kommer att komma upp och vi arbetar för fullt med det just nu.
    /MS

  34. Christer Toivonen
    juli 7, 2011 @ 11:59 f m

    Nej, men om du pekar på Jenny så ser du namnet på webbplatsen och då kan man via Surftowns driftinfo få reda vilken server den ligger på

  35. Surftown
    juli 7, 2011 @ 12:01 e m

    Nej det är problem utan den är på väg. Det är tyvärr bara lite tidskrävande.
    /MS

  36. Christer Toivonen
    juli 7, 2011 @ 12:05 e m

    Såklart menade jag peka på Jeanette, inte Jenny. Kanske skulle klargöra varför jag svarar här. Jag gör det för att jag anser att Surftown är oskyldiga till den här situationen och då kan man försöka hjälpa dem så att de kan ägna sig åt att återställa servrarna eller åt support till de kunder som fått igång sina webbplatser men har fått problem.

  37. Surftown
    juli 7, 2011 @ 12:07 e m

    Vi upplever inga problem med återställningen av ws51 utan det är bara en tidskrävande process.
    /MS

  38. Peter
    juli 7, 2011 @ 12:10 e m

    Tack för hjälpen.

  39. Per Wikmans
    juli 7, 2011 @ 12:11 e m

    Kan du Christer sluta att vara Bror Duktig, dina inlägg är tröttswamma.

  40. Christer Toivonen
    juli 7, 2011 @ 12:15 e m

    Bror Duktig?! Jag är inte dvärg.

  41. Per Wikmans
    juli 7, 2011 @ 12:18 e m

    Ingen som läste sagor för dig när du var liten? Bror Duktig var ingen dvärg.

  42. Annika
    juli 7, 2011 @ 12:19 e m

    Men ni har ju sagt att den är på väg/snart uppe i flera dygn nu. Vad innebär på väg? Idag, imorgon, nästa vecka?

  43. Christer Toivonen
    juli 7, 2011 @ 12:19 e m

    Nej visst ja, han var ju en liten gris och det är jag inte heller

  44. S. N.
    juli 7, 2011 @ 12:20 e m

    Till sist kom även mydb5 också upp. Jag hoppas att det är stabilt och att hastigheten på switcharna kan ökas när belastningen ökar. Det blev ju ett ofantligt arbete för Surftown och det är helt förståeligt om det kvarstår enstaka felkonfigureringar. Backup har tydligen funnits på allt. När det inte är nån enstaka hårddisk som kraschat så blir det massiva mängder data, som måste kopieras från ett medium till den nya hårdvaran, och då hjälper det nog inte att ha snabbaste hårddiskar, bussar och processorer. Det tar den tid det tar. Skulle vara intressant, att få höra hur stor datavolym det handlat om? Per server – totalt – och hur mycket som fick skrivas tillbaka från kopiorna?
    Gratulerar, allt tycks ha gått bra, till sist!!! 🙂

  45. LessNu
    juli 7, 2011 @ 12:23 e m

    Sitter å väntar på ws44 och är väl inte förvånad över att vara bland dom sista… min vanliga (o)tur.
    Läser avtalsvillkoren och hittar bl.a.
    ”Surftown frånskriver sig allt ansvar för skador och förluster som drabbar Kunden i samband med Kundens Abonnemang, inräknat utnyttjande av och utebliven möjlighet till utnyttjande av Kundens hostingprodukt eller Surftowns produkter i övrigt, oavsett skäl, såvida inte Surftown uppsåtligen har agerat till förfång för Kunden eller med grov oaktsamhet.”

    Förväntar mig ingen som helst ersättning och har faktiskt inte tänkt att försöka kräva det heller… men bör det inte vara ”grov oaktsamhet” att inte ha ett fungerande backup system?!
    Jag menar, ett enda strömfel på ett enda ställe slår ut hela skiten i nästan en vecka (Rätta mig om jag har fel, men jag har fått uppfattningen att vatten i lokalen slog ut strömmen och därmed all utrustning). Ett sånt stort företag som Surftown, med så pass många företagskunder, bör ju ha en backup som inte påverkas av att det blir något ”fel” i en enda lokal.
    Det är lätt hänt att det blir strömavbrott, brand, inbrott eller något annat man inte kan styra över och då är det väl inte speciellt smart att allt befinner sig på samma ställe….!!

  46. Gunnar
    juli 7, 2011 @ 12:33 e m

    https://www.varmex.se/ på ws33 som ska vara uppe enligt listan men är det inte (inte så det märks iaf). Alla filer saknas på filkatalogen, de är inte återställda ännu från backup. När beräknas webbplatsen fungera igen?

  47. Per Wikmans
    juli 7, 2011 @ 12:46 e m

    Håller med LessNu.
    Någon vuxen måste ha varit ansvarig för säkerheten och missat en av de mest troliga scenarierna, dvs översvämning, Om inte det är grov oaktsamhet så vet jag inte vad som är det.
    Det jobb som de unga löneslavarna utför nu finns inget att säga om utom att (som någon tidigare skrev) informationen som kommer är skrattretande lik den som kom från Bagdad Bob.
    Ligger också på ws44.

  48. Annika
    juli 7, 2011 @ 1:02 e m

    Fast Christer, då är det väl på Twitter du borde svara för att avlasta teknikerna?

  49. Stern
    juli 7, 2011 @ 1:22 e m

    Så du inser inte själv vilken paradox att sitta som självutnämd och vara bloggens posthunter?

  50. Johan Söderberg
    juli 7, 2011 @ 1:51 e m

    Hej Anneli. Jag är i samma sits antar jag. Men min hemsida har ingen större ekonomisk betydelse så det är ju lätt för mig att vara lugn… Jag ville bara tacka för att du till skillnad från väldigt många andra tycks förstått att katastrofer inte är någons fel och att ilska inte är någon lösning. Skönt att se.

1 2 3 4