Återställningsstatus, 09:00

God morgon. Jag har blandade nyheter från våra team i serverhallen i Amager. Det går framåt, men vi har tyvärr några saker som inte fungerar som de ska.

  • Vi är i stortt sett tillbaks online med alla påverkade Windows databasservrar. Endast en server (msdb2) är kvar offline. Upp till 5000 kunder är påverkade av detta.
  • Vi har 43 linuxservrar, som inte kan komma online på grund av fel i ackompanjerande mydb-servrar, som ännu inte återställts. Vi vet ännu inte om detta berör 5000, 10000 eller 15000 kunder. Dessa databasservrar förväntas tillbaka online under tisdagen.
  • Storageservrar är på väg online, men vi vet ännu inte i vilken följd de kommer tillbaka. Ytterst kritiskt och avgörande för att en hemsida kommer online igen. Kan påverka upp till 23.000 av våra kunder. Mer om detta under dagen.

Situationen för alla berörda kunder är naturligtvis kritisk. Vi gav oss 48 timmar att återställa allt, och det klarade vi inte. De rapporter jag får ger intryck av att det går framåt och att vi i bästa fall kan vara på helt tillbaks online idag, tisdag. Men vi är fortsatt väldigt sårbara på grund av en mängd okända faktorer i vårt återställningsarbete.
Många, inklusive mig själv, undrar över varför inte kan komma med en detaljerad tidsplanering. Förklaring är att eftersom vi befinner oss i en helt unik situation och vi arbetar med tuffa deadlines för oss själva, så är vi ytterst sårbara på grund av installationer som tar längre tid än förväntat och konfigurationer som retas med oss:

  • Hårdvaruleveranser försenade i köerna runt om i Köpenhamn
  • Delar som saknas till hårdvaran, eller kablar som snabbt måste införskaffas
  • Flyttat hårdvara, som inte vill starta upp som förväntat
  • Konfigurationer av ny hårdvara, som inte vill fungera tillsammans med existerande system

Detta är inga ursäkter för att vi inte håller den planering vi själva lagt fram. Jag vill endast försäkra er om att det (milt uttryckt) inte beror på att vi endast är ett manskap på 4-8 personer som inte plats ännu. Vi rör oss fortfarande starkt framåt, även om det går långsamt. Men flytten och återställningen av 300+ servrrar är en högrisks-operation med riktiga många variabler och det finns därför riktigt mycket som kan gå fel eller försena oss.
Vi vet att denna olyckliga situation kommer kosta oss många kunder, men hoppas på fortsatt förståelse från de upp till 23.000 som potentiellt lider av denna situation – ni är lite mindre än en fjärdedel av våra kunder och vi gör allt vi kan för att få era tjänster snabbt tillbaks online.

Idag går vi igång med att identifiera de påverkade kunderna på kund-till-kund  basis, så vi kan komma i dialog med er direkt och påbörja planeringen av vad vi ska göra på den andra sidan av återställningsarbetet.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

195 Comments

1 2 3 4
  1. Vi som avskyr rövslickare
    juli 5, 2011 @ 10:14 f m

    Vi är helt med dig Den Rockande Kocken”. Tro mig, vi är flera som är med dig och tycker precis som du. Det är helt ok att vara förtvivlad och inte lyckas finna all information och läsa förbi sådant som man sedan frågar om igen, och igen. Ingen skall komma med syrlig sarkasm bara för att man i ren stress råkar fråga samma saker flera gånger etc. etc.

  2. Errol
    juli 5, 2011 @ 10:15 f m

    Hej,
    vi har bröllop nu i dagarna och all kritisk info till våra gäster ligger på vår hemsida errol-and-ida.se… Vi befinner oss utomlands och har hänvisat alla till denna sida och nu får vi desperata samtal från våra gäster.

    Jag hoppas det kommer igång snart…

    Mvh
    Errol

  3. Christer Toivonen
    juli 5, 2011 @ 10:15 f m

    Kan inte idioten Vi som avskyr rövslickare gå ut med sitt namn istället eller är du en sån fegis att du bara vågar kasta skit anonymt. Jag tänker inte ödsla mer tid på de idioter som härjar fritt här och som saknar var form av logiskt tänkande och som befinner sig på samma intellekutella nivå som en treåring (ja, nu var jag snäll!)

  4. cedric
    juli 5, 2011 @ 10:16 f m

    Håller tummarna på att det löser sig underdagen, Kämpa på !

  5. Christer Toivonen
    juli 5, 2011 @ 10:18 f m

    Jag håller med, jag har inte kunnat hantera vissa personers intellektuella brister på ett bra sätt så jag drar mig ur men jag vill tacka dig, Micke, för att det finns några som har förstått vad det handlat om

  6. Surftown
    juli 5, 2011 @ 10:20 f m

    Får börja med att gratulera, och vi jobbar stenhårt med att få allt tillrätta igen.

    /MS

  7. Lars Sime
    juli 5, 2011 @ 10:21 f m

    Mina mail och min hemsida funkar fortfarande inte, men jag anser precis som Micke, Surftown är fantastiskt att hantera denna fullständigt sanslösa kris.
    Som Micke vill jag också säga att det är bara i skarpt läge man får sina erfarenheter. Byta leverantör , sällan. Surftown har klarat provet med glans.
    Och nej, jag är INTE betald, eller har annat än mina 3 hemsidor på Surftown.
    För att man ser att en leverantör klarar ett haveri, borde väl vara en merit för den leverantören.
    Dock ska jag erkänna att jag sedan 30 år jobbar med IT (teknik) och vet hur Surftown får slita just nu. Jag har verklig empati med Surftown just nu, trots att en hemsiad av 3 och mailen inte funkar ännu.
    // Lasse MYCKET nöjd kund

  8. Vi som avskyr rövslickare
    juli 5, 2011 @ 10:22 f m

    Den du. Där knockade du oss rejält. Bra skrivet. Du vann. De infantila skarorna skall läman dig ifred.

  9. Johan
    juli 5, 2011 @ 10:23 f m

    Naturligtvis kan det alltid komma skyfall och bli översvämingar. Det är inte sååå unikt i Norden och då översvämmas källare. Just därför borde Surftown haft backup på annan plats i annan lokal. De har inte haft någon framförhållning och för mig och många andra är detta katastrof för våra företag och vår försörjning. Kommer vi få ersättning för detta?

  10. Vi som avskyr rövslickare
    juli 5, 2011 @ 10:24 f m

    Den du, Micke. Där knockade du oss rejält. Bra skrivet. Du vann. De infantila skarorna skall läman dig ifred. Den andre dock, har vi inte mycket till övers för…

  11. Surftown
    juli 5, 2011 @ 10:24 f m

    Tyvärr så har vi ingen direkt adress som du kan maila till men följ denna länken så kan du kontakta dem.
    https://surftown.se/kontakt/forsaljning

    /MS

  12. Anders Olsson
    juli 5, 2011 @ 10:24 f m

    Michael!

    Självklart håller jag med dig om att smutskastning inte är bra.
    Varför tror du jag från första början svarade på ditt inlägg? Du har ju inte gjort annat än smutskastat de som råkar misshaga dig. Dessutom smutskastar du Surftowns kunder. Bara för att du anser att några av oss smutskastar Surftown ger det inte dig rätt att håna dom, kalla dom namn och hålla på med pajkastning. Du gör först och främst Surftown en otjänst, du förolämpar deras kunder och sist men inte minst gör du dig själv till allmänt åtlöje och drar på dig en massa kritik helt i onödan.
    Vänligen
    Anders Olsson

  13. sjöberg
    juli 5, 2011 @ 10:25 f m

    Hej

    Kommer fortfarande in på min shop eller sida

  14. sjöberg
    juli 5, 2011 @ 10:27 f m

    Ännu en gång blev det fel. Skall var Jag kommer INTE in på min shop eller sida

  15. Krille
    juli 5, 2011 @ 10:27 f m

    Uppenbarligen har Michael Karnefors ett behov att trampa
    ner på oss som förlorar pengar på surftowns inkompetens
    att ens kunna ge oss EPP-Koder så vi kan styra om våra hemsidor.

    Får man fråga hur du försörjer dig?

  16. Christer Toivonen
    juli 5, 2011 @ 10:28 f m

    Skall du ha ersättning för Force Majeure?!

  17. Johan Dahlberg
    juli 5, 2011 @ 10:29 f m

    Peter: Det han säger är väl inte helt taget hur luften. Nu är det såklart olyckligt att din webbshop ligger nere. Vill inte heller påstå något annat.

    Men det är ju fortfarande så att om man driver en webbshop så bör man alltid ha en reserv server som man kan sätta in ifall den andra går ner. Men antar att både du och Surftown har lite lärdomar att ta från det här.

  18. Fredrik
    juli 5, 2011 @ 10:29 f m

    Du kan inte ha någon som helst erfarenhet av affärskritiska system min vän. Har du hört talas om ordet ”Katastrofplanering”… Det var på tapeten för 20 år sedan. Att enskilda företag ställer krav på sina driftleverantörerer att erbjuda speglade miljöer på olika lokationer är en självklarhet idag, detta för att inte få driftstopp i sina egna system. Att surftown som driftar tusentals kunders system inte har en en speglad miljö är inget annat än en katastrof. Att manuellt flytta en drifthall EFTER att katstrofen inträffat är så dumt att det inte med ord går att beskriva. Lite humor att just du använder ordet ”utanför sin skyddade verkstad”. WAKE UP!!!!!

  19. Christer Toivonen
    juli 5, 2011 @ 10:30 f m

    Vi som avskyr rövslickare: Jasså, fortfarande feg och inte vågar stå för vad du tycker?

  20. Vi som avskyr rövslickare
    juli 5, 2011 @ 10:31 f m

    Wow, Christer. Brast det för dig. Blev moderskänslorna för starka i slagsmålet om att försvara Surftown. Precis som du känner (om inte värre) i ditt inlägg, så känner många kunder som maktlöst sitter och väntar på att saker och ting skall fungera för dem och ovanpå det så skall de stå ut med dina försvarstal om Surftown, hur bra surftown är etc. etc.. Det är bra att du inte tänker ödsla mer energi på detta för vi behöver inte ha dig här. Vi vill absolut inte läsa dina försvartal. Off you go!!!

  21. S. N.
    juli 5, 2011 @ 10:35 f m

    Att få upp alla servrar är ju en sak, men att få rätt på alla dns-pekningar och få nätverket att samspela korrekt måste vara varje administratörs värsta mardröm. Gateways som ska förmedla trafiken – en sådan flytt brukar väl ta månader att planera, och veckor att genomföra? Ingen avundsvärd situation, definitivt. Jag bara hoppas att mina kunder har ytterligare lite tålamod.

  22. Ulla
    juli 5, 2011 @ 10:37 f m

    Hej!

    Bra att ni kämpar på! Saknar dock svar på detta:

    Tycker, som många andra, att det är skillnad på en ”privat” hemsida och ett företags vilka också betalar betydligt mer för sitt webhotell.

    Prioriterar ni företag som är ekonomiskt beroende av att hemsida/mail fungerar? Vår mail kom igång tidigt men hemsidan är fortfarande stendöd.

    Med vänlig hälsning
    Ulla

  23. Ulla
    juli 5, 2011 @ 10:39 f m

    Hej igen!

    Såg just att vår hemsida är tillbaka, stort tack för det, bra jobbat!

    Men frågan kvarstår, prioriterar ni företags hemsidor?

    Med vänlig hälsning
    Ulla

  24. Fredrik
    juli 5, 2011 @ 10:41 f m

    Men förstår du inte, ett företag som driftar tusentals kunders system ska inte ha 1 serverhall på 1 geografisk plats? Att det kan regna in i en serverhall vet alla här,, likväl som att ett plan kan störta in i en serverhall. Dessa skäl är inte tillräckliga år 2011 för att affärskritiska system ska ligga nere i 48 timmar.

    Det är för väl att ni är i minoritet, annars hade jag blivit riktigt orolig.

  25. Surftown
    juli 5, 2011 @ 10:42 f m

    Tyvärr så är det så att vi har några storeageservrar som inte är uppe och på en av dessa så finns data tillhörande företagswebbhotell. Det är därför det kan upplevas att vissa privata webbotell har kommit upp innan ditt. Men vi jobbar hårt och förväntar oss att det är uppe under dagen.

    /MS

  26. MrLunkwill
    juli 5, 2011 @ 10:43 f m

    Jag tror inte Michael är betald av (och även om han skulle vara det, har han bara berättat sanningar) utan han är nog, precis som jag, en i övrigt nöjd kund. Som vet att vi har en av de billigaste webhotellet i förhållade till den service vi får.

    Jag har fortfarande 3 domäner som inte fungerar som dom skall och får sitta i telefon med mina kunder och förklara. Men jag vet att dom gör vad dom kan och jag är imponerad över det de har fått igång, och även om luften kanske gick ur dom lite när dom missade 48h gränsen – så tror jag de jobbar på.

    Jag har jobbat i med liknade situationer (dom inte vatten i första hand) men med nät som absolut inte får gå ner – och fast man tycker att man tänkt på allt så är det alltid något man missat, som man sen upptäcker när man kör en skarp crash recovery i ”live” situationer.
    Den värsta site hitintills för mig var mobilnätet i thiland efter thunamin, något som vi missat att förutse.

    Kresten Bach Søndergaard får gärna kontaka mig efter detta så bjuder jag på nåra plattor öl till killarna.

  27. Christer Toivonen
    juli 5, 2011 @ 10:46 f m

  28. Bullen Berglund
    juli 5, 2011 @ 10:46 f m

    Om Surftown gör allt vad dom kan har jag ingen som helst aning om. Så jag vill varken berömma eller kritisera det.
    Men faktum är att detta ska inte kunna hända! Nej man kan inte hjälpa att det regnar. men man placerar inte ett serverrum så det riskerar översvämmas. Skalskydd mot Inbrott, brand och vatten är grundläggande.
    Det är fan helt galet att det händer och det är inte regnets fel att det blir översvämning, utan det är Surftowns.

  29. Christer Toivonen
    juli 5, 2011 @ 10:48 f m

    Så hur tycker du att man skyddar sig mot 30 000 liter vatten?
    Kolla här:
    https://surftownse.wordpress.com/2011/07/05/aterstallningsstatus-0900/#comment-562

  30. Michael
    juli 5, 2011 @ 10:48 f m

    Tack för detta Konketa svar. Våra kunder och vi lider just när vi har högtryck på verksamheten. Men förstår att ni verkligen jobbar för allt vad ni är värda. Nu fick jag i alla fall klart vart ni är på väg. Vår server ligger i Linux så vi hoppas att den snart är uppe och kör LYCKA TILL.

  31. Karl Morelius
    juli 5, 2011 @ 10:49 f m

    bra jobbat.. NOT! katastrof, surftown va dåliga innan och sämre nu när det till skiillnad från alla andra webbhotell inte kan hantera väderförhållande på samma sätt som konkurenter. Kom igen, kunde ingen förutsett detta och inte placerat servrarna i en oskyddad källarvåning? Och sluta ge oss falska förhoppningar om att ”allt är klart ikväll kl. 20”, de händer inte ni flyttar fram varenda deadline. Sätt upp den nu igen så jag kan gå över till binero.

  32. Surftown
    juli 5, 2011 @ 10:50 f m

    Vi har fortfarande några databasservrar och storageservrar som inte är uppe. Vi förväntar oss att dessa kommer upp under dagen.

    /MS

  33. Bullen Berglund
    juli 5, 2011 @ 10:53 f m

    Enkelt.
    Man placerar det så att det inte kan nås av 30 000 liter vatten.

  34. christer1967
    juli 5, 2011 @ 10:53 f m

    Otur att det inte var Binero som drabbades, jag är övertygad om att de inte hade fixat det bättre

  35. klas
    juli 5, 2011 @ 10:55 f m

    Michael och Christer driver varsin blogg om sina liv. Deras 2 läsare har för närvarande semester så ingen större skada har skett dem. Möjligtvis är de lite irriterade på att de inte kan uppdetara deras sida och berätta vad de har gjort de senaste 4 timmarna, det är ändå det intressantaste som hänt dem den senaste månaden.

  36. Surftown
    juli 5, 2011 @ 10:59 f m

    Kontakta gärna supporten så kan dom hjälpa dig med att få ut de EPP koder som du behöver.
    https://surftown.se/kontakt/forsaljning alternativt om du loggar in på din My Surftown sida och klickar på Support Center.
    /MS

  37. Alvin E
    juli 5, 2011 @ 10:59 f m

    Det är IDIOTISKT att ha servrar i en källare… att inte folk ta lärdom av andras misstag?!? Vägverket har haft vatten i sin källare för 3-4 år sedan o vi fick betala för det.

    Att äga ett sådant enormt webbhotell med tusentals kunder och nonchalera naturens krafter… Det är många småföretagare som lever på sina webbsidor och en 48 timmars avbrott kan vara en kolossal förlust. Vem tar ansvar för detta?

    /Alvin

  38. Sven Dufva
    juli 5, 2011 @ 11:00 f m

    Binero har sin utrustning hos Phonera. Där skulle inte serverhallen kunna översvämmas. Det kan jag lova dig.

  39. Magnus
    juli 5, 2011 @ 11:01 f m

    Min webbmail funkar inte, men jag har full förståelse för era problem. Satt själv i kö utanför Köpenhamn i söndags, så jag vet vilka problem det är.
    Jag har alltid varit nöjd tidigare och detta är en extrem situation som inte påverkat min inställning till Surftown.
    Jag kommer att fortsätta vara er kun.

  40. Alvin E
    juli 5, 2011 @ 11:02 f m

    Man har sina servrar på andra våningen och ej i källarlokal?

  41. Surftowns Rövslickarklubb
    juli 5, 2011 @ 11:05 f m

    För er som är lite intresserade om Micke.

    (Länk borttagen av admin. Inga personliga uppgifter på bloggen.)

    Offenliga uppgifter.. 🙂

  42. Bullen Berglund
    juli 5, 2011 @ 11:05 f m

    I så fall är det en än mer oförståeligt

  43. Bullen Berglund
    juli 5, 2011 @ 11:07 f m

    Skärp dig!!

  44. Vi som avskyr rövslickare
    juli 5, 2011 @ 11:07 f m

    Är du här inne och besudlar Michael Karnerfors avtal för vapenvilla också. Finns inget stopp på dig, Christer?

  45. jonas
    juli 5, 2011 @ 11:09 f m

    Min webmail fungerar inte men den vanliga mailen har kommit igång nu. Det vore toppen att få veta när allt kommer fungera samt få nån ersättning.

  46. anders
    juli 5, 2011 @ 11:10 f m

    aahh skärp te er o sluta gola ful.

  47. Mia
    juli 5, 2011 @ 11:12 f m

    Hahaha Du tror inte att det är FLER som behöver det???

  48. Martin
    juli 5, 2011 @ 11:13 f m

    Jag tror inte det blir tal om någon ersättning för Surftown har , enligt tidigare inlägg, hävdat force majeure. Om du inte kopplar inte dina advokater, så lär det inte bli tal om någon ersättning. Det är den uppfattning som jag fått om jag läst tidigare kommentarer från Surftown. Rätta mig någon om jag uppfattat det fel.

  49. Surftown
    juli 5, 2011 @ 11:14 f m

    Webbmailen ska fungera men det kan vara så att vissa kunder får ett felmeddelande. Får du det så ber jag dig att kontakta supporten för vidare hjälp.

    /MS

  50. Michael Karnerfors
    juli 5, 2011 @ 11:14 f m

    Tackar admin. 🙂

    I övrigt gäller fortfarande det jag sade i denna kommentar:
    https://surftownse.wordpress.com/2011/07/05/aterstallningsstatus-0900/#comment-562

1 2 3 4