Återställningsstatus, 09:00

God morgon. Jag har blandade nyheter från våra team i serverhallen i Amager. Det går framåt, men vi har tyvärr några saker som inte fungerar som de ska.

  • Vi är i stortt sett tillbaks online med alla påverkade Windows databasservrar. Endast en server (msdb2) är kvar offline. Upp till 5000 kunder är påverkade av detta.
  • Vi har 43 linuxservrar, som inte kan komma online på grund av fel i ackompanjerande mydb-servrar, som ännu inte återställts. Vi vet ännu inte om detta berör 5000, 10000 eller 15000 kunder. Dessa databasservrar förväntas tillbaka online under tisdagen.
  • Storageservrar är på väg online, men vi vet ännu inte i vilken följd de kommer tillbaka. Ytterst kritiskt och avgörande för att en hemsida kommer online igen. Kan påverka upp till 23.000 av våra kunder. Mer om detta under dagen.

Situationen för alla berörda kunder är naturligtvis kritisk. Vi gav oss 48 timmar att återställa allt, och det klarade vi inte. De rapporter jag får ger intryck av att det går framåt och att vi i bästa fall kan vara på helt tillbaks online idag, tisdag. Men vi är fortsatt väldigt sårbara på grund av en mängd okända faktorer i vårt återställningsarbete.
Många, inklusive mig själv, undrar över varför inte kan komma med en detaljerad tidsplanering. Förklaring är att eftersom vi befinner oss i en helt unik situation och vi arbetar med tuffa deadlines för oss själva, så är vi ytterst sårbara på grund av installationer som tar längre tid än förväntat och konfigurationer som retas med oss:

  • Hårdvaruleveranser försenade i köerna runt om i Köpenhamn
  • Delar som saknas till hårdvaran, eller kablar som snabbt måste införskaffas
  • Flyttat hårdvara, som inte vill starta upp som förväntat
  • Konfigurationer av ny hårdvara, som inte vill fungera tillsammans med existerande system

Detta är inga ursäkter för att vi inte håller den planering vi själva lagt fram. Jag vill endast försäkra er om att det (milt uttryckt) inte beror på att vi endast är ett manskap på 4-8 personer som inte plats ännu. Vi rör oss fortfarande starkt framåt, även om det går långsamt. Men flytten och återställningen av 300+ servrrar är en högrisks-operation med riktiga många variabler och det finns därför riktigt mycket som kan gå fel eller försena oss.
Vi vet att denna olyckliga situation kommer kosta oss många kunder, men hoppas på fortsatt förståelse från de upp till 23.000 som potentiellt lider av denna situation – ni är lite mindre än en fjärdedel av våra kunder och vi gör allt vi kan för att få era tjänster snabbt tillbaks online.

Idag går vi igång med att identifiera de påverkade kunderna på kund-till-kund  basis, så vi kan komma i dialog med er direkt och påbörja planeringen av vad vi ska göra på den andra sidan av återställningsarbetet.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

195 Comments

1 2 3 4
  1. Informationen stämmer inte
    juli 5, 2011 @ 8:41 f m

    Vad innebär detta ovan för mig som fortfarande inte kan logga på mitt e-postkonto? Får följande felmeddelande: Fel i inställningsdatabas (connect failed). Avslutar programmet

  2. Michael Karnerfors
    juli 5, 2011 @ 8:44 f m

    De som gnäller på er för att saker strular har aldrig någonsin varit utanför sin skyddade verkstad och hamnat i en sådan total kris-situation. De har ingen förståelse eller empati för er situation.

    Att kunderna har problem har jag givetvis förståelse för och självklart skall de söka dialog med er för att ni tillsammans på bästa sätt skall lösa problemet. Men de som skriker och gastar och häver ur sig dumheter i stilen ”Nu byter jag leverantör!!”… de stämplar jag nu kategoriskt som oseriösa barnrumpor som försöker skylla ifrån sig och dölja det pinsamma faktum att de själva inte var beredda på haveri.

    För egen del gick mail på ena kontot igång sporadiskt på söndag… hemsidan var igång då också, även om databaserna inte funkade. Från och med igår är båda mina konton i full funktion igen.

    Efter detta kommer jag defintivt att rekommendera er, om inte annat därför att nu har ni fått en erfarenhet av krishantering som aldrig kan införskaffas på annat sätt än att faktiskt landa mitt i skiten och behöva skyffla den.

    /Micke, fortfarande nöjd kund

  3. Sibel
    juli 5, 2011 @ 8:44 f m

    Hej,
    Vi fick tillbaka vår email igår men vår hemsida ligger fortfarande nere och det som oroar mig är att när jag går in på vår filezilla och ansluter till vår server så finns det inget där, allt är tomt och borta. Nu undrar jag är det bara en del av återställningsprocessen och när hemsidan kommer upp igen så kommer allt tillbaka igen eller kan det vara så att vår hemsida är förlorad för alltid?

  4. Johan
    juli 5, 2011 @ 8:50 f m

    Hej! Behöver få igång min websida ASAP! Kontakta mig!

  5. Christer Toivonen
    juli 5, 2011 @ 8:50 f m

    Detta är, som ni sa, en unik situation så var inte så hårda mot er själva utan skit i deadlines. Om ni förlorar kunder på grund av detta så är det ändå kunder ni kan vara utan för de tillhör saknar total förståelse och empati, jag var frustrerad i början men har sedan dess insett att det är bara att utrusta sig med ett stort tålamod och avvakta.

    Jag är djupt imponerad över ert arbete och er arbetsinsats, jag har på flera ställen skrivit att ni är inte vållande till den uppkommna situationen så det enda vi kunder kan begära är att ni försöker hålla oss så skadelösa det går och det gör ni genom er enorma arbetsinsats, att sedan saker och ting strular är en helt annan sak, det ligger utanför er kontroll.

    Ni ska inte heller erbjuda någon form av kompensation då det är en Force Majeure-situation utan ta de pengarna och bjud medarbetarna på en riktig helkväll på en flott restaurang när detta är över och njut av att vara proffs, som naturligtvis inte kan styra över vädret men om det sker en katastrof så kan ni rida ut stormen med flaggan i topp och kunna säga: Ja, vi hamnade i en riktig katastrofsituation men vi tog ett stadigt tag i hatten, gav 150% och löste situationen, en baggis för proffs som oss!!

  6. Johan
    juli 5, 2011 @ 8:51 f m

    Hej! Behöver få igång min websida! Kontakta mig!

  7. Pär Rohlin
    juli 5, 2011 @ 8:52 f m

    Har själv suttit i liknande situationer ett antal gånger … omöjlig att förutse hur återställinsarbetet skall arta sig! Pressen/maktlösheten man känner som tekniker är inte roligt, man vill ju faktiskt att det skall fungera för alla på direkten, men så är det inte!
    Jag tycker ni gjort ett bra jobb!
    Pär Rohlin

  8. Informationen stämmer inte
    juli 5, 2011 @ 8:54 f m

    Ah, du är en sådan som antingen får betalt av Surftown eller på något annat sätt drar nytta av Surftown. Det är lätt att känna sig belåten och nöjd när ens egen mail fungerar som det gör i ditt fall. Vi tar dig seriöst först när du själv är drabbad.

  9. Michael Karnerfors
    juli 5, 2011 @ 8:54 f m

    Håller med ovanstående. Lägg pengarna på att bjuda alla som slitit häcken av sig för detta på något bra och minnesvärt, samt(!)… på uppföljning. Glöm inte att fånga upp alla erfarenheter av detta. Vem vet, ni kanske till och med kan tjäna en slant på att föreläsa/utbilda om detta. 🙂

  10. peter
    juli 5, 2011 @ 8:57 f m

    Vet inte hur man ska reagera, men min webshop är borta.

  11. När börjar det fungera för mig?
    juli 5, 2011 @ 8:57 f m

    Förutom alla som öser beröm över er (sådana som antingen är f.d. anställda på Surftown eller på något annat sätt drar ekonomisk nytta av Surftown) så vill vi som fortfarande är drabbade veta vad som händer. När kan vi logga på våra webmail etc. etc.?

  12. Christer Toivonen
    juli 5, 2011 @ 8:58 f m

    Ta mig seriöst då, för mig funkar inte webbplatsen sen ~60 timmar och jag får inte betalt av Surftown. Belåten är man så klart inte men att skylla på Surftown är idiotiskt, det är som att säga att det är deras fel att Köpenhamn blev översvämmat. Ditt inlägg kommer mig att tänka på ett ordspråk: Herre, hjälp mig att hålla min stora trut stängd tills jag vet vad jag pratar om!

  13. Michael Karnerfors
    juli 5, 2011 @ 8:58 f m

    ”Ah, du är en sådan som antingen får betalt av Surftown eller på något annat sätt drar nytta av Surftown.”

    Den dag jag tar åt mig att av bli anklagad för att vara en betald mutkolv – och dessutom av en fegt anonym bitterf*tt*/surk*k – är dagen Fan går till jobbet i pälsmössa och yllekalsonger.

    Far och flyg med dig. Mina åsikter är mina egna och jag står för dem, till skillnad från dig.

    Snarare kan man undra vilken av Surftowns konkurrenter du jobbar för. 😉

  14. Patrik
    juli 5, 2011 @ 8:59 f m

    Mina imap mappar fungerar inte ännu! Mail till mig returneras till avsändaren som undelivered

  15. Christer Toivonen
    juli 5, 2011 @ 9:01 f m

    Den är inte borta, de har bara inte hunnit med att köra backupen på servern så det är därför den är borta. Det är inte servrarna som är drabbade utan strömförsörjningen till dem så det är därför de har varit tvungna att flytta dem till deras nya datahall där det finns ström så all data på dem finns kvar.

  16. torndahl
    juli 5, 2011 @ 9:01 f m

    Självklart känner man sympati för de som jobbar med att återställa allt.
    Men nu går vi in på tredje dygnet utan att det fungerar… Då kan man åtminstonde ifrågasätta valet av lokal för Surftowns servrar!!!
    Den ska naturligt vis inte ligga i en källare i hamnen!
    Säkerhet och kommunikation är väl förtusan A och O inom denna verksamhet.

  17. Michael Karnerfors
    juli 5, 2011 @ 9:02 f m

    Vad i din läsförståelse/inlevelseförmåga är det som drabbats av kortslutning? LÄS(!) och inse att det är omöjligt att säga eftersom det finns okända strulfaktorer i detta.

    Det krävs ju för fasiken ingen fantasi att förstå att när en hel maskinhall hamnar under vatten så blir det kaos och omöjligt att säga när allt är igång igen. Eller du tillhör de som tror att det är som på film och att det finns en nedräkningstimer som på sekunden när kan förutsäga allt?

  18. Christer Toivonen
    juli 5, 2011 @ 9:04 f m

    Jag är vare sig fd anställd och jag drar definitivt INTE någon ekonomisk nytta av det här men jag tycker att det är bätre att Surftown koncentrerar sig på att reparera de skador som uppstått än att hela tiden hålla oss kunder uppdaterade om vad som händer. Sluta snacka en massa skit när du inte har en aning om vad du pratar om!

  19. peter
    juli 5, 2011 @ 9:04 f m

    Till Christer Toivonen, jag förstår vad du menar. Men om man har en ny webshop och har kostat på sej annonser i dyra special magasin. Så förstår du väl att, om inte dom kunder som man försöker nå inte kan komma in på min webshop tror att det är ett skämt.

  20. Michael Karnerfors
    juli 5, 2011 @ 9:05 f m

    Gör det bättre själv då. Starta ett webhotel som erbjuder >99% up-time/max 48 timmars avbrott oavsett yttre omständigheter… strömavbrott / väder / upplopp / stöld / brand / sabotage / hackerattacker / krig / meteorit-nedslag… för 99 SEK i månaden. Jag lovar att du kommer att bli väldigt populär.

    …fram till första katastrofen. Då får du äta upp det och gå i konkurs.

  21. Christer Toivonen
    juli 5, 2011 @ 9:06 f m

    Tack för de välformulerade orden.
    Vi verkar vara i minoritet, alltså den kundgrupp som tillhör de smarta som insett att Surftown drabbats av en katastrof och att de gör allt vi kan begära och mer därtill för att fixa detta!

  22. torndahl
    juli 5, 2011 @ 9:07 f m

    Va? Vet inte vilken planet du lever på. Det är inte en Force Majeure-situation. Uppkommen situation beror i första hand på ett katastrofalt företagstrategiskt beslut; valet av lokal för serverhall.

  23. peter
    juli 5, 2011 @ 9:08 f m

    eller

  24. Michael Karnerfors
    juli 5, 2011 @ 9:09 f m

    Som tur är håller jag inte med dig Christer. Majoriteten av kommentarer har varit uppskattande. Gnällspikarna är få men förbannat högljudda. 🙂

  25. peter
    juli 5, 2011 @ 9:11 f m

    inga komentarer

  26. Sibel
    juli 5, 2011 @ 9:11 f m

    Nu försökte jag logga in på vår mail idag men tydligen är den nere igen! Ett svar uppskattas verkligen till ovanstående kommentar!

  27. torndahl
    juli 5, 2011 @ 9:12 f m

    Det kan jag verkligen hålla med om. Men det är ingen anledning att dallta med Surftown ändå. Dom tog ett sanslöst beslut i valet av serverlokal. Dom (och vi) skördar nu resultatet av detta.
    Surftown behöver såklart uppmuntran att lösa detta akutläge. Men också smisk för självförvållad situation.

  28. Guest
    juli 5, 2011 @ 9:13 f m

    Hur kan ni säga att det är endast en Windows DB Server som inte fungerar????? msdbb3 fungerar inte heller????

  29. Michael Karnerfors
    juli 5, 2011 @ 9:13 f m

    peter, givetvis är detta extremt oturligt för dig, och du har min sympati.

    Men ärligt talat: sådant måste man ju räkna med! Om du inte har gjort det utan bara rakt upp och ned antagit ”det kommer att funka”… ja då har du ju hjälpt till att sätta dig i den situationen, eller hur? Om du inte har någon backup… tja… osis. Något att tänka på till nästa gång. Det finns ingen(!) leverantör som kan lova 100% uptime. Till och med Google går ned ibland.

  30. Per
    juli 5, 2011 @ 9:13 f m

    Håller med. Det är kritiskt på många håll.

    Jag är rätt neutral då jag förstår problemen men drar naturligtvis på smilbanden när vissa tar på sig stora skorna och börjar svara på till surftown ställda frågor här i bloggen.

    Känns lite som de antagligen är rätt bruna i trynet efter allt rövslickande….

  31. Pontus
    juli 5, 2011 @ 9:13 f m

    Under omständigheterna gör ni ett mastodontjobb. Jag tycker det är lite lågt att klaga när man sitter på ett av marknadens billigaste webbhotell. Vill man ha 100% upptid så får man helt enkelt betala mer.

    Jag har dock problem fortfarande, kan inte logga in på min mail och inte använda admin delen på my surftown heller. Jag kan logga in på my surftown men så fort jag går in på en underkategori, säg e-post admin t.ex, så får jag felmeddelanden.

    Om detta låter som de problem ni har just nu så kan ni ignorera detta. I annat fall får ni gärna kontakta mig för mer info.

  32. Michael Karnerfors
    juli 5, 2011 @ 9:14 f m

    Sluta besserwissa dig torndahl. Det stinker…

  33. Elia
    juli 5, 2011 @ 9:14 f m

    Min mejl kom igång igår kväll men har nu slocknat igen, är det något ytterligare som har gått snett i uppstarten?

  34. mattias j
    juli 5, 2011 @ 9:15 f m

    Men vad nu då!? Min mail fungerade igårkväll men inte nu längre!
    Detta är INTE bra!
    Förstår att ni gör er yttersta, givetvis!
    Men man undrar ju om det hade gått att lösa snabbare?

  35. Stefan Lindblad
    juli 5, 2011 @ 9:15 f m

    Min email fungerar. När jag kopplade upp mig mot er server på Surftown fanns endast modlogan eller vad det heter nu igen på servern. Det jag då gjorde var att själv börja föra över filer såsom min index och andra html/CSS filer, och bilder.

    Men allt fungerar inte. Och vissa filer och mappar/databaser vill jag vänta på att surftown fixar så jag vet att allt fungerar som det sak – återställning.

    FRÅGA:
    Hur vet jag, och när skickar ni ut email/kontakt med mig för att se att allt fungerar?
    Jag är lite orolig över en databas som jag hade hos er.

    Kan jag skicka email ltill er?
    Eller skickar ni email till mig?

    Domän/kund: canvas.nu

  36. Guest
    juli 5, 2011 @ 9:15 f m

    Det absolut viktigaste i detta röra är att ge korrekt information vilket man väldigt ofta inte gör!!!!
    Hur kan ni säga att det är endast en Windows DB Server är offline (msdb2)????? msdbb3 fungerar inte heller????

  37. Michael Karnerfors
    juli 5, 2011 @ 9:17 f m

    Så man är rövslivckare bara för att man ger svar på tal åt meningslös bitterhet? Heh…

    Där… *pekar*… är den korta bryggan… ta en lång promenad på den du.

  38. Christer Toivonen
    juli 5, 2011 @ 9:18 f m

    Viss förstår jag det men att ge sig på Surftown är oförskämt, det är inte de som har orsakat det här utan som jag har sagt tidigare så det enda man kan begära är att de skall minimera skadorna för sina kunder och fixat detta så snabbt det går och jag tycker att de gör allt det kan och mer därtill.
    Vilket är sedan viktigare: att ha en personlig dialog med alla hundratusentals kunder, blogga eller twittra om varje framsteg eller sätta in resurser på att lösa problemen?
    Förklara för dina kunder vad som hänt och ge dom länkar till Surftowns blogg så ska du nog se att de flesta har förståelse för den uppkommna situationen

  39. När börjar det fungera för mig?
    juli 5, 2011 @ 9:18 f m

    Håller med torndahl.

  40. Pontus
    juli 5, 2011 @ 9:18 f m

    Väl talat Per! Nog för surftown får mycket skit just nu men nog ska vi kunna kritisera och ifrågasätta utan att Herr Brunnäsa (Karnefors) ska föra Surftowns talan. Vi har förstått att du tycker allt är fantastisk i din värld.

  41. peter
    juli 5, 2011 @ 9:18 f m

    Vad för problem har du

  42. Per
    juli 5, 2011 @ 9:19 f m

    Ja du är en pinsam rövslickare. Så nu vet du det.
    I övrigt gömmer jag mig inte under någon anonymitet el liknande. Befinner mig i gbg om du på plats vill peka åt mig… hojta bara till.

    se till att torka dig om munnen innan bara

  43. Per
    juli 5, 2011 @ 9:20 f m

    och hur skall det gå till? skall jag ringa alla tio tusen pers i min databas? Och om jag så skulle göra hur skall jag nå databasen?

    Igen, jag förstår deras situation. Ifrågasatte bara vissa andra ”kunders” rövslickeri..

  44. Michael Karnerfors
    juli 5, 2011 @ 9:21 f m

    Jag kommer åt din hemsida, men inte din shop.

    Lägg upp ett meddelande att shoppen strular och en alternativ emailadress där man kan kontakta dig.

    Och fixa de där flaggorna… 😉

  45. När börjar det fungera för mig?
    juli 5, 2011 @ 9:21 f m

    Måste säga detsamma om dig Michael Karnerfors. Allt du säger om torndahl går att applicera på dig.Eftersom du är sådan barnrumpa som måste ha sista ordet så går det inte att ta dina inlägg seriöst.

  46. Surftown
    juli 5, 2011 @ 9:23 f m

    Vårt mål är att allt ska komma tillbaka till normalt idag och det kommer vi att jobba extra hårt för att nå. Vi kommer givetvis att gå ut med när allt är klart och återställt här på bloggen.
    /MS

  47. Michael Karnerfors
    juli 5, 2011 @ 9:23 f m

    Skolgårdsnivå på uttalandena här: ”Joooo, du äääär en rövslickare! Det är du, för det säger jag! Rövslickare, rövslickare! Du är brun om nooosen!”.

    Hoppas du har kunder och att de ser detta.

  48. Anders Olsson
    juli 5, 2011 @ 9:24 f m

    Michael Carnefors!

    Här finns ett stort antal kunder som är oroade, helt självklart är det så. Av vilken anledning har du tagit på dig rollen av att håna dom, använda svärord, namnkalland osv. Du gör varken Surftown nån tjänst eller de du rackar ner på. Dig själv gör du bara bort. Vem kan ta dig på allvar? Av vilken anledning attackerar du dom? Detta är Surftowns kontaktkanal med sina kunder, av vilka jag är en, inte din kanal för att smäda deras kunder. Gör oss en tjänst och sluta med ditt korståg mot de av kunderna som misshagar dig. Vänligen Anders Olsson

  49. RC Expert
    juli 5, 2011 @ 9:24 f m

    ”marknadens billigaste webbhotell”
    ”99kr/mån”
    Vi betalar 4600kr/år till surftown för det företagsabonnemang vi har så det är väll klar att man inte förväntar sig 3 dygn eller mer nertid i ett sträck och man förväntar sig att de som har de företagsabonnemangen kanske prioriteras före de med 99kr/månaden. Förstår att ni är glada för det hade jag också varit.

  50. Christer Toivonen
    juli 5, 2011 @ 9:25 f m

    Bruna i trynet efter allt rövslickande?! Jag vet inte vem du menar men jag tycker att vi kunder kan väl försöka hjälpas åt. Om någon har en fråga som skall besvaras av Surftown och man vet svaret är det inte bättre att man svarar själv så att Surftowns personal kan fortsätta med att lösa de problem som finns så att webbplatserna kommer igång för Surftown är faktiskt inte ansvariga för att Köpenhamn blev dränkt. Jag har heller inte tänkt begära någon ersättning av Surftown för att jag svarat på några frågor så något rövslickeri har jag inte ägnat mig åt

1 2 3 4