Återställningsstatus, 09:00

God morgon. Jag har blandade nyheter från våra team i serverhallen i Amager. Det går framåt, men vi har tyvärr några saker som inte fungerar som de ska.

  • Vi är i stortt sett tillbaks online med alla påverkade Windows databasservrar. Endast en server (msdb2) är kvar offline. Upp till 5000 kunder är påverkade av detta.
  • Vi har 43 linuxservrar, som inte kan komma online på grund av fel i ackompanjerande mydb-servrar, som ännu inte återställts. Vi vet ännu inte om detta berör 5000, 10000 eller 15000 kunder. Dessa databasservrar förväntas tillbaka online under tisdagen.
  • Storageservrar är på väg online, men vi vet ännu inte i vilken följd de kommer tillbaka. Ytterst kritiskt och avgörande för att en hemsida kommer online igen. Kan påverka upp till 23.000 av våra kunder. Mer om detta under dagen.

Situationen för alla berörda kunder är naturligtvis kritisk. Vi gav oss 48 timmar att återställa allt, och det klarade vi inte. De rapporter jag får ger intryck av att det går framåt och att vi i bästa fall kan vara på helt tillbaks online idag, tisdag. Men vi är fortsatt väldigt sårbara på grund av en mängd okända faktorer i vårt återställningsarbete.
Många, inklusive mig själv, undrar över varför inte kan komma med en detaljerad tidsplanering. Förklaring är att eftersom vi befinner oss i en helt unik situation och vi arbetar med tuffa deadlines för oss själva, så är vi ytterst sårbara på grund av installationer som tar längre tid än förväntat och konfigurationer som retas med oss:

  • Hårdvaruleveranser försenade i köerna runt om i Köpenhamn
  • Delar som saknas till hårdvaran, eller kablar som snabbt måste införskaffas
  • Flyttat hårdvara, som inte vill starta upp som förväntat
  • Konfigurationer av ny hårdvara, som inte vill fungera tillsammans med existerande system

Detta är inga ursäkter för att vi inte håller den planering vi själva lagt fram. Jag vill endast försäkra er om att det (milt uttryckt) inte beror på att vi endast är ett manskap på 4-8 personer som inte plats ännu. Vi rör oss fortfarande starkt framåt, även om det går långsamt. Men flytten och återställningen av 300+ servrrar är en högrisks-operation med riktiga många variabler och det finns därför riktigt mycket som kan gå fel eller försena oss.
Vi vet att denna olyckliga situation kommer kosta oss många kunder, men hoppas på fortsatt förståelse från de upp till 23.000 som potentiellt lider av denna situation – ni är lite mindre än en fjärdedel av våra kunder och vi gör allt vi kan för att få era tjänster snabbt tillbaks online.

Idag går vi igång med att identifiera de påverkade kunderna på kund-till-kund  basis, så vi kan komma i dialog med er direkt och påbörja planeringen av vad vi ska göra på den andra sidan av återställningsarbetet.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

195 Comments

1 2 3 4
  1. Daniel
    juli 5, 2011 @ 11:15 f m

    Är en novis vad gäller allt som händer, vet bara att när jag ska logga in på min mail kommer detta upp: Fel i inställningsdatabas (connect failed). Avslutar programmet. Vad betyder detta?

    Har försökt hitta svaret på detta i kommentarerna ovan men svårt att hitta något svar mitt i all dialog.

  2. Adolf
    juli 5, 2011 @ 11:15 f m

    Du är ju bara för mycket. Speglar du dig varje morgon också och klappar dig på axeln och berättar för dig själv hur j*vla duktig du är. ”Proffs som oss” hahah vilken j*vla supernolla du är

  3. Michael Karnerfors
    juli 5, 2011 @ 11:16 f m

    Svante, svaret var till peter. 🙂

  4. Surftown
    juli 5, 2011 @ 11:18 f m

    Vi fokuserar oss just nu på att få allt upp och fungera som normalt igen. När det är gjort så kommer vi att titta på möjligheterna för kompensation.

    /MS

  5. Adolf
    juli 5, 2011 @ 11:21 f m

    kan du bara hålla kä*ten nu. Jag förstår att du inte har något arbete att gå till….
    Surftown kan istället ta och berätta varför helt plötsligt inte mailen fungerar igen på mail4

  6. Surftown
    juli 5, 2011 @ 11:22 f m

    Webbmailen ska vara uppe och fungera men det kan förekomma att vissa kunder får ett felmeddelande. Då ber jag dig att kontakta vår support för vidare vägledning.

    /MS

  7. Georgi
    juli 5, 2011 @ 11:22 f m

    Hejarklack
    gogogogoog, ni fixar detta, heja Surfisstaden.

    Läste igenom de flesta kommentarerna och tänkte direkt på..hmm, Folk frågar om kompensation, fan vad dyrt det skulle bli för Surftown…Först olyckan, all extra/inhyrd personal, utrustning m.m och nu kompensation till kunderna…OUCH!!…:(.

    Det är dyrt med regn ser jag, undrar om man kan tjäna pengar på det 😛
    Denna händelse fick mig att tänka till. Tänker skaffa nu ett extra webbhotell, utifall ;).

    Ge inte upp tekniker (Surftown)…Jobba på ;).

  8. Vi som avskyr rövslickare
    juli 5, 2011 @ 11:26 f m

    Christer, är du här inne och förstör också.
    Johan är säkert en drabbad kund och har rätt får ställa en fråga utan att du lägger in ditt sarkastiska svar. Du tycker att vi är har lågt intellekt. Vi tycker detta om dig och vi använder dinna ord. Christer ”saknar var form av logiskt tänkande och befinner sig på samma intellekutella nivå som en treåring (ja, nu var vi snälal!)”. Vi vill inte läsa dina försvarstal där du försvarar Surftown – men en treåring fattar inte när folk har fått nog av honom.

  9. Promemoria
    juli 5, 2011 @ 11:34 f m

    Vissa saker kan man inte påverka. Och jag utgår från att ni gör ert bästa i de fall ni kan påverka.

  10. Adolf
    juli 5, 2011 @ 11:36 f m

    Bra talat! Exakt samma situation befinner mitt företag sig i! Har slängt ut ganska stora summor på annonsering som nu pekar på ingenting. kommer surftown att stå för dessa fakturor? Eller slipper vi kanske betala nästa @Surftown faktura? Frågorna hopar sig och Surftowns ledning lyser med sin frånvaro. Det är bara de stackars inköpta support nördarna som får sitta och här och ta all skit och jobba röven av sig. Kanske har ledningen flytt Danmark till sydligare breddgrader och tagit våra databaser med sig… Vem vet, och jag förmodar att vi aldrig får reda på det.

  11. Christer Harrysson
    juli 5, 2011 @ 11:38 f m

    Bästa Surftownarbetare,

    Det vore mycket tacksamt om ni kunde köra igång en server med en kontrollpanel där vi kunder (som kan) kan ändra dns:en tills ni har löst problemen!

  12. Sebastian Norling
    juli 5, 2011 @ 11:38 f m

    Vill bara visa mitt stöd. Har använt Surftown i många år nu och har alltid varit supernöjd. Visst, nertid och ej fungerande mail är mycket tråkigt… Men va fan, shit happens. Den dagen man kan styra över väder och vind, och något sådant händer, då kan vi börja snacka skit.

  13. Pamela
    juli 5, 2011 @ 11:38 f m

    Jag behöver få igång min hemsida ASAP också!!! Är det någon som vet när den kan vara igång? Vi jobbar mot vår server, så det här har varit kritiskt för oss… Finns det ersättning att få kanske?

    Kom igen få upp våra siter idag!

    /Pam

  14. Marcus
    juli 5, 2011 @ 11:40 f m

    Enskilda tekniker som jobbar på Surftown gör säkert allt de kan, ni jobbar nog på med svetten lackande, all heder tiller. Men att som leverantör av just de tjänster som Surftown levererar och ha dagar i nedtid, det är inte accebtabelt oavsett regn eller rusk. Det får bara inte hända då det helt enkelt bryter 100% mot hela företagsidéen till att börja med.
    Så det vore nog verkligen en god idé att se över sin egen existens efter detta, det är inte bra men ännu värre är faktiskt villkoren. Billigt blir inte alltid bra:-) För er som missat att läsa villkoren:
    11. Driftsäkerhet
    Surftown förbehåller sig rätten att utan föregående meddelande begränsa eller inskränka tillgången till en hostingprodukt eller omfånget av de erbjudanden som ingår i ett Abonnemang, i de fall Surftown anser att en sådan begränsning är nödvändig med hänsyn till drift- och/eller säkerhetsmässiga omständigheter.
    12. Ansvar
    Kundens användning av hostingprodukten och av Surftowns produkter i övrigt sker i alla hänseenden på Kundens eget ansvar och egen risk. Surftown åtar sig inget ansvar för innehållet, inklusive dess riktighet, laglighet och dylikt, i den information som Kunden tar emot eller överför via Internet. Surftown åtar sig i övrigt inget ansvar för obehörigas övervakning eller insamling av eller tillgång till Kundens trafik eller data.
    Surftown frånskriver sig allt ansvar för skador och förluster som drabbar Kunden i samband med Kundens Abonnemang, inräknat utnyttjande av och utebliven möjlighet till utnyttjande av Kundens hostingprodukt eller Surftowns produkter i övrigt, oavsett skäl, såvida inte Surftown uppsåtligen har agerat till förfång för Kunden eller med grov oaktsamhet.
    Surftown frånskriver sig således ansvaret för direkta och indirekta förluster, inräknat driftstopp, följdskador, förlust av data och retablering av data.
    Om Surftown hålls ansvarig för Kundens bruk av Abonnemanget, ska Surftowns ansvar i vidast möjliga utsträckning begränsas till ett belopp motsvarande den av Kunden erlagda avgiften för innevarande Abonnemangsperiod.

  15. Sec.
    juli 5, 2011 @ 11:40 f m

    Kämpa på Kresten. Alla vet att ni gör ert bästa. Själv njuter jag av en paus i arbetet:):)

  16. Robban
    juli 5, 2011 @ 11:43 f m

    Hej,

    Ser att mina hemsidor och övriga tjänster ännu inte är uppe och lirar ännu (mailen undantagen, den fungerar). Ligger på företag/linux. Har ni nog idé om hur lång tid det kan ta ytterligare?

    Mvh
    Robban

  17. Henrik
    juli 5, 2011 @ 11:44 f m

    Ekonomisk kompensation till kunder får nog bli en väldigt individuell diskussion. Det här bör ju rimligtvis klassas som Force majeure.

    Har tre av sex siter tillbaka online och webmailen fungerar för fem så det går åt rätt håll. Keep it up, Surftown!

  18. Michael Karnerfors
    juli 5, 2011 @ 11:45 f m

    Tyst nu… inte berätta för Kunden vad det faktiskt betyder att kryssa i den där bocken som säger ”Jag har läst, förstått och godtar villkoren”… då kan Kunden inse sin egen del i katastrofen och bli ledsen i ögat utan att ha någon att skylla på… och så kan vi ju inte ha det. 😉

  19. Marcus
    juli 5, 2011 @ 11:46 f m

    Inte visste jag att Danmark hade samma tidszon som Azorerna.-)

  20. Christer Lundman
    juli 5, 2011 @ 11:52 f m

    Fel i inställningsdatabas (connect failed). Avslutar programmet
    Samma som i natt , ligger på server 4.
    Vill gärna ha besked snart!
    /Christer

  21. Annikki
    juli 5, 2011 @ 11:55 f m

    Hej, det går inte att komma fram till supporten, får bara standardmail till svar. Har precis samma problem med webmailen. /A

  22. Ano Nym
    juli 5, 2011 @ 11:55 f m

    Nog är det väl grov oaktsamhet att placera en serverhall på sådant sätt som man gjort i det här fallet…

  23. A-C Hallgren
    juli 5, 2011 @ 11:59 f m

    Jag kommer inte åt min mail utan får felmeddelande ”Fel i inställningsdatabas (connect failed). Avslutar programmet” Vad är mailadressen till supporten? Även hemsidan är nere men jag förstår ni jobbar på.

  24. Pamela
    juli 5, 2011 @ 12:00 e m

    Nämen, så då betyder det att vi betalar för att kanske möjligen ha en fungerande site och server? Tur att man inte har spikade deadlines, nu handlar det om förlorad arbetstid för vår del… SUCK!

  25. webmail_user
    juli 5, 2011 @ 12:14 e m

    Christer L. Jag fick detta svar från supporten. Kanske kan det räta ut ditt frågetecken, trots att det ej hjälper dig att komma åt din webmail.

    Alla mailservrar är uppe men det är alltså fortfarande så att vi inväntar våra storage servrar och att dessa ska komma online igen.
    Dessa servrar kan innehålla allt från databas material til mailkonto.
    Och det är först då dessa är online igen som du kommer kunna logga in på din mailserver.
    Mailservern i sig är ju bara en del som hanterar vilken server som sköter mail- hanteringen. Din e-postanvändares upplysningar ligger lagrade på en storage server och om mailservern inte få kontakt med den aktuella storageservern så kommer du inte kunna logga in.

  26. Vi som avskyr rövslickare
    juli 5, 2011 @ 12:21 e m

    Vill bara vifta med handen och säga att vi fortfarande finns i närheten. Dyker det upp för mycket sarkasm riktad mot drabbade kunder som känner sig maktlösa, är oroade och stressade, så kommer pajkastningskriget att bryta ut igen.

  27. webmail_user
    juli 5, 2011 @ 12:24 e m

    Hej A-C. Jag fick detta nedan svar från supporten. Kanske kan det räta ut ditt frågetecken, trots att det ej hjälper dig att komma åt din webmail.

    Alla mailservrar är uppe men det är alltså fortfarande så att vi inväntar våra storage servrar och att dessa ska komma online igen.
    Dessa servrar kan innehålla allt från databas material til mailkonto.
    Och det är först då dessa är online igen som du kommer kunna logga in på din mailserver.
    Mailservern i sig är ju bara en del som hanterar vilken server som sköter mail- hanteringen. Din e-postanvändares upplysningar ligger lagrade på en storage server och om mailservern inte få kontakt med den aktuella storageservern så kommer du inte kunna logga in.

  28. Michael Karnerfors
    juli 5, 2011 @ 12:26 e m

    *viftar hotande med syrliga kommentarer*

    Tillbaks till andra sidan om 38’e breddgraden med dig! 😉

  29. A-C Hallgren
    juli 5, 2011 @ 12:49 e m

    Tack för infon.

  30. Jan Olof Kronqvist
    juli 5, 2011 @ 12:53 e m

    Förstår att ni har fullt upp, men min hemsida är fortfarande inte uppe https://www.jokron.se. Hoppas den återkommer snart då jag har en del hänvisningar till den i dagarna.

  31. Peter Nilsson
    juli 5, 2011 @ 1:30 e m

    Vi betalar för en service, så vi har all rätt att ifrågasätta Surftowns agerande, före, under och efter den här krisen. Att be folk hålla käften och kalla andra besserwissers när dom påpekar brister som dom ser i Surftowns agerande är helt och hållet onödigt.

    En unik situation som sagt, men det är ju en risk som Surftown har tagit med den här sortens affärsverksamhet; ska man aktivt placera sig som en bärande stomme så får man nog acceptera att alla kunder inte bara ler och tar det lugnt när det strular såhär pass mycket. Och som någon annan sa, så gör bitska kommentarer mot kritiker bara saken giftigare.

  32. Mattias
    juli 5, 2011 @ 1:34 e m

    Ja tänk va tusan gjorde vi innan datorn fanns? Gnällde på faxen eller posten? Vi på företaget har varit drabbade sedan i söndags men vem bryr sig? Då löser man problemen på annat vis. Skickar filerna via någon annan tjänst än sin FTP tex. Maila ett annat mailkonto tillfälligt så allt flyter på. Folk verkar bara se problemen snarare än lösningarna…

    Jag tycker Surftown sköter detta snyggt och de sliter som djur får vår skull, tror knappast att de sitter och dricker kaffe om dagarna…

  33. Michael Karnerfors
    juli 5, 2011 @ 1:39 e m

    ”Att be folk hålla käften och kalla andra besserwissers när dom påpekar brister som dom ser i Surftowns agerande är helt och hållet onödigt. ”

    Nu var det ju inte det som hände… men vidare till sakfrågan:

    ”En unik situation som sagt, men det är ju en risk som Surftown har tagit med den här sortens affärsverksamhet”

    Samma sak gäller ju dig och andra kunder som bygger eller stödjer er verksamhet på er/era webplatser. Ni har tagit en risk i och med att ni gjort er helt beroende av Surftown utan att ha någon fail-over. Det är ju ingenting som ni kan beskylla Surftown för, speciellt som det uttryckligen står i avtalet att om tjänsten går ned är det på ert eget ansvar om ni drabbas, annat än om Surftown varit grovt oaktsamma.

    Läxor att lära både för Surftown *och* för er, eller hur?

  34. RC Expert
    juli 5, 2011 @ 1:42 e m

    Håller med dig helt om Michael Karnerfors inlägg.
    Jag vill ha info om vad som händer med företags servrarna och databasen som borde vara prioriterade över de vanliga webservrarna som jag läst om att vissa redan är uppe. Hur är det möjligt att de servrar för privata är uppe men inte företag?
    Och du Michael Karnerfors, kom med något vettigt istället om du nu har så mycket tid över. ”ansikte-mot-ansikte” du är så full av skit, du bad väll tom att admin skulle plocka bort din personliga info så spela inte allan.
    Vem är du, Gud personifierad så man inte skulle våga säga dig något personligen. Där är du helt ute och reser lilla gubben. Du har fått lite storhetsvansinne där bakom din skärm under denna tiden vi andra vill ha ett ärligt svar och servrar upp för att kunna informera kunder innan allt är helt 100% igen. Så skärp dig

  35. Michael Karnerfors
    juli 5, 2011 @ 1:47 e m

  36. trolldanne
    juli 5, 2011 @ 1:51 e m

    Tack för ett fantastiskt vackert inlägg! Jag blev verkligen rörd. Har redan reggat nytt konto hos en annan leverantör och ska säga upp detta hos surftown.

  37. Pontus
    juli 5, 2011 @ 1:58 e m

    Jag har mailat supporten två gånger men har bara fått en summering av det som hänt i svar båda gångerna. Trots att jag andra gången skrev klart och tydligt att jag redan läst allt och blara blivit informerad att höra av mig.

  38. Peter Nilsson
    juli 5, 2011 @ 2:03 e m

    … Och dessa leverantörer av en service får in sin tur svara inför sina kunder, besökare eller vad det nu må va. Det är så det fungerar. Det fungerar INTE som så att en del i kedjan helt enkelt erhåller full sympati, ett frikort från ansvar (oavsett hur de egenpåhittade lagarna lyder) och dom blir definitivt INTE uppmuntrade att belöna sig själva över sin professionalism, åtminstone inte om ett annorlunda agerande FÖRE händelsen kunde ha minimerat skadan.

    Vår största site har inte påverkats för mycket, då vi endast använder surftown som domänhotell och lagrar webbshoppen hos en annan leverantör. Men hade fallet varit annorlunda så hade jag oavsett priset på webbhotellet krävt samma professionalism och likvärdig service av Surftown som av vilken annan leverantör som helst. Vansinnigt vore annars, det är ju inte så att Surftown marknadsför sig självt som ett ruckel.

  39. Peter Nilsson
    juli 5, 2011 @ 2:32 e m

    Uhhh… kanske beror på vilken typ av verksamhet man driver? En firma som använder webbplatsen som marknadsföringskomponent är nog inte lika panikslagen som en webbshop där allt är beroende av att webbplatsen fungerar.

  40. RC Expert
    juli 5, 2011 @ 4:28 e m

    Håller med dig helt om Michael Karnerfors inlägg.
    Jag vill ha info om vad som händer med företags servrarna och databasen som borde vara prioriterade över de vanliga webservrarna som jag läst om att vissa redan är uppe. Hur är det möjligt att de servrar för privata är uppe men inte företag?
    Och du Michael Karnerfors, kom med något vettigt istället om du nu har så mycket tid över. ”ansikte-mot-ansikte” du är så full av skit, du bad väll tom att admin skulle plocka bort din personliga info så spela inte allan.
    Vem är du, Gud personifierad så man inte skulle våga säga dig något personligen. Där är du helt ute och reser lilla gubben. Du har fått lite storhetsvansinne där bakom din skärm under denna tiden vi andra vill ha ett ärligt svar och servrar upp för att kunna informera kunder innan allt är helt 100% igen. Så skärp dig

  41. Hans
    juli 5, 2011 @ 6:28 e m

    Så är det när man är snål och inte betalar för redundans och spegling. En bra leverantör som tänker lite har givetvis redan en sådan lösning om ett oförutsett väder inträffar. Det betalar man gladeligen för.

  42. Rodrigo Lodi
    juli 5, 2011 @ 7:09 e m

    Skulle ni på Suftwotn kunna banna Michael Karnerfors, han är den värsta trollen av dom alla här och har kidnappad eran direktlinje med era kunder här på sidan.

    MVH:rodrigo lodi.

  43. Georgi
    juli 5, 2011 @ 10:07 e m

    Hahhahaha ;),

  44. Sven Slan
    juli 5, 2011 @ 10:44 e m

    Allt funkar som det ska nu, bortsett från att alla gamla mail gått upp i rök. =(

  45. Surftown
    juli 6, 2011 @ 5:42 f m

    Tidigare mail som du har fått kommer att återkomma successivt när man återställer e-postarkiven. Mailen kommer att duka upp sporadiskt och inte nödvändigt i kronologisk ordning.

    /MS

1 2 3 4