Återställning pågår

Efter det värsta regnet i Köpenhamn på 500 år så lider fortfarande en del av Surftowns kunder av följderna – men endast idag!

Vårt återställningsarbete, som innebar en fysisk flytt av över 300 servrar från Østerbro til Amager i Köpenhamn, har genomförd efter en dedikerad insats på över 30 man som har arbetat mer eller mindre oavbrutet från lördag kl. 22:00 till söndag kl. 23:00.

Söndagkväll övertog nästa lag av driftstekniker (varav en del av även deltog i det första laget!) arbetet med att återställa hårdvara.

I Söndags beställdes även ny hårdvara för att ersätta existerande hårdvara som på grund av tekniska orsaker inte kunde flyttas eller hade utstått mindre men permanenta skador. Leveransens av dessa mottogs imorse kl. 07:00 och vi förväntar oss att det största och mest besvärliga delen av återställningsprocessen är avslutad innan slutet av Måndagen.

Status för Surftowns återställningsprocess, måndag 4. Juli kl 10.00:

  • DNS-servers: 100% Online
  • Webbservers: 100% Online

Tyvärr är en webbserver inte mycket värd utan de ackompanjerande fil- och databas-servrarna. Och här gäller driftstörningar. Status för måndag kl. 10:00:

  • Storageservrar: 77% online. Kvarvarande återställning från backup krävde tyvärr ny hårdvara. Hårdvaran levereras kl. 11:00, och återställning påbörjas strax därefter. Det är tyvärr en långsam process och kan först förväntas vara avslutad förrän slutet av Måndag.
    Antal berörda: upp till 23.000 av våra kunder
    Normal drift: förväntat sent på Måndag
  • Mailservrar: 3 servrar behöver tyvärr återställas från backup till ny hårdvara. Ny hårdvara levereras måndag kl. 11:00 och alla mejlkonton kommer börja fungera igen ca. kl. 12:00 måndag, omedelbart efter installation. Mailarkiv återställs löpande under de efterföljande timmarna.
    Antal berörade: Okänt pga molnstruktur, men ca. 20% av vår mejl-infrastruktur. Kort sagt: några fungerar, några fungerar inte förrän på Måndag.
    Normal drift: förväntat måndag kl. 12:00
  • Databasservrar: 80% återställt idag Söndag. Kvarvarande återställning från backup sker löpet av Måndag. Hårdvara är levererad och installation påbörjad.
    Antal berörda: upp till 20.000 av våra kunder
    Normal drift: förväntat sent på måndag
  • Supportsystem (ticketsystem): Surftowns supportsystem gick ner lördagkväll, men blev återställt söndagsnatten. Vi är igång med att kontakta alla kunder direkt idag, måndag.
    Normal drift: måndag kl 8:00
  • Blogg: Surftowns blogg kunde tyvärr inte hantera trafikmängderna under måndagsmorgonen, men en ny nöd-blogg har satts upp och var i drift kl. 11:00.
    I drift: måndag kl 11.00

De dåliga nyheterna är alltså att 23.000 av våra kunder behöver vänta på återställning av sina filer som sker under dagen idag.

Igen: Jag beklagar oerhört för de besvär som detta har medfört berörda kunder.

Vänliga hälsningar,

Kresten Bach Søndergaard
Kommunikationschef
Surftown

140 Comments

1 2 3
  1. Michael Karnerfors
    juli 4, 2011 @ 1:21 e m

    ”lugna er nu med era köpta kommetarer”

    Att sprida sprida uppgifter om någon i syfte att utsätta honom eller henne för andras missaktning är ett brott. Våra kommentarer är inte köpta. Så tagga du ned en smula ”Lollan”.

  2. Michael Karnerfors
    juli 4, 2011 @ 1:22 e m

    rättelse: att sprida falska uppgifter

  3. Stefan Lindblad
    juli 4, 2011 @ 1:23 e m

    Till vardags det enda jag klagar på, och vill ha bättre variant på är webmailen. Atmail och Squirrell mail är inte kul. NU använder jag IMAP och Thunderbird email klient lokalt också, men som webmail användare dessutom så önskar jag djupt och hederligt att webmailen blir förbättrat. Det dessutom sjukt långsamt att kolla ens mail på webben.

    I övrigt så har även andra större företag haft krascher av olika slag. Så nu när Surftown råkar ut för kanske det värsta som hänt dem under alla dessa år, ja då är lite överseende inte helt fel.

    Visst bättre säkerhet och backup så att inget falerar någonsin , ja vem önskar sig inte det. Gå in på McDonalds och både personal och kunder tycker att vänta 2 minuter på en burgare tar långt tid.

    Kämpa på Surftown, jag lider med er och mig själv 😉

  4. Lollan
    juli 4, 2011 @ 1:30 e m

    Vilken naturkatostrof pratar du om ?

    Dett är och kommer inte att klassas som en naturkatastrof.

    Det var tydligt varnat av DMI flertalet timmar innan att det skulle komma
    ett kraftig regnoväder som även drabbade malmö och alla datacenter i
    malmö klarade sig.

    En bra byggd serverhall desutom nära hamnen med
    jättegoda dräneringsmöjligheter SKALL klara detta.

    Blir så trött på alla troll som skall lägga sig i debatten om
    denna katastrofalt dåligt hanterade situationen av surftown.

  5. Hans
    juli 4, 2011 @ 1:31 e m

    Som ny kund eller bef så har man läst ett otaligt antal gånger att Surftown har ett datacenter som är ”state of the art,” man har dessutom backuper, redundans, ups:er, diesel agg för att var ett ”säkert” webbhotell. Jag som mång åring kund visste att dom har flera datacenter med hög uptime och god säkerhet. Att dom tagit över Tiscali datacenter som ligger precis vid hamnen hade jag ingen aning om, och det är precis där bristen ligger och min server. Hade jag legat på det nya datacentret Amager så hade ingen hänt. Att Surftown har så lite förstånd att lägga 20 000 kunder på ett så vatten ”osäkert” ställe under gatuplan anser jag upphäver force majure.
    Jag är inte ute efter kompensation, utan en snabb och bra lösning så detta aldrig aldrig mer kan inträffa. Surftown bör nog komma med mer än en ursäkt för sitt dåliga val av placering av datacenter som man ”bara” tagit över. Som kund har man ingen aning innan det redan hänt. Jag driftar och äger ca 30 talet domäner och alla kommer stanna kvar hos Syrftown.

  6. Ylva
    juli 4, 2011 @ 1:32 e m

    Jag har just börjat få inkommande e-post nu kl 15.25.

  7. Peter
    juli 4, 2011 @ 1:36 e m

    Byt webhotell då.

    De säger ”man räknar inte med 2 veckors regna på 2 timmar därför är det översvämmat”, jag skulle vilja säga dålig planering då de ligger i hamnen och lätt kan få undan vattnet.

    lägg mer avvinst på att säkerställa säkerheten och detta hade aldrig hänt.

  8. Carina Sjögren
    juli 4, 2011 @ 1:37 e m

    Tack för att ni håller oss uppdaterade. Och ni gör ett jättejobb, att detta hände är ju ingens fel.

  9. Peter
    juli 4, 2011 @ 1:38 e m

    Hur gjorde ditt företag för 15 år sedan?

    Att lita på teknik till 100% i ett företag som lever på varor är väl inte speciellt smart.

    Ha en backup plan om saker ligger nere…

  10. Bravomedia AB
    juli 4, 2011 @ 1:47 e m

    Ni skriver att er DNS är 100% online, men jag har inte kunnat kontakta vare sig ns1.surf-town.net eller ns2.surf-town.net under de senaste 4-5 timmar jag försökt.

    Det är verkligen inte bra eftersom det drabbar även kunder som har delar av sin verksamhet utanför era serverhallar, men DNS-servrarna hos er.

    Jag tvivlar alltså på att de är 100% online. Härifrån gäller snarare 0%.

  11. Marcus
    juli 4, 2011 @ 1:50 e m

    Har 100% av alla webbservrar återställts? Ingen av våra sidor går att komma åt trots att klockan snart är 4! Störst problem är det för https://www.demolatar.se…. Kommer vi få rabatterat pris pga detta strul mån tro?

  12. Ålen
    juli 4, 2011 @ 1:50 e m

    Jävligt irriterande att man möts av en telefonsvarare där man uppmanas att mata in sin supportkod som man kan hitta på ”mysurftown”…

  13. chris
    juli 4, 2011 @ 1:54 e m

    mail igång igen.
    Tack!

  14. alternativvarld
    juli 4, 2011 @ 1:58 e m

    Ah, herregud vilken underhallning det är att sitta och titta pa folk som blir upprörda och kokar bara för att man förlorar pengar. Har man bara lite värdelöst papper som enda drivkraft i livet far man nästan räkna med att stöta pa problem för eller senare.
    Är själv företagare och förlorar nästan garanterat pengar pa detta, men vädrets makter kan man inte bota genom att hoppa av ilska. Du förlorar ännu mer pengar pa att ta din dyrbara tid och sitta och älta problemen här.

    Njut av livet istället =)

  15. Martin
    juli 4, 2011 @ 1:58 e m

    Ok nu får det väl ändå komma en uppdatering? När är mailen uppe igen?

  16. mormorkerstin
    juli 4, 2011 @ 1:59 e m

    Ser att flera kommenterar de att börjar få mail. Håller tummarna att det snart är min tur. 🙂

  17. Surftown
    juli 4, 2011 @ 2:01 e m

    Det beklagar jag, men telefonsvararen ska vara bytt idag till ett meddelande som förklarar vad som har hänt då vi tyvärr inte har haft möjlighet att ge support över telefon. Men gå gärna till surftown.se och skicka in ett mail till supporten så svara dom dig där.

  18. Johan
    juli 4, 2011 @ 2:05 e m

    Hur lätt var det att hitta till twitter när förstasidan var nere?
    Surftown är inte ett seriöst företag som inte kan hantera kommunikation.

  19. mattias j
    juli 4, 2011 @ 2:07 e m

    Försvinner mail som skickas till berörda servrar?
    Får kunder tillbaka mailet med någon förklaring att det inte gick att nå mottagaren?

  20. Hans
    juli 4, 2011 @ 2:08 e m

    Ser ut som att mail börjar flyta nu, Linux maskinerna börjar också rulla på, väntar på Windows servrarna. Saknar en fungerande status från Surftown och inte bara min upplevelse.

  21. Pär
    juli 4, 2011 @ 2:12 e m

    Hemsidan äntligne igång nu återstår bara mailen också…

  22. Poke
    juli 4, 2011 @ 2:14 e m

    Men förfan gnäll inte. Dom jobbar skiten ur sig för att det ska funka.

  23. testing2Lollan
    juli 4, 2011 @ 2:25 e m

    Instämmer helt i ditt inlägg !

    Bra talat !

  24. Lollan
    juli 4, 2011 @ 2:27 e m

    Skulle ju hamnat som reply till AB

  25. Emil
    juli 4, 2011 @ 2:35 e m

    Detta är 2011. Världens kris bara för att man inte kan ha sin mejl.
    Tack till alla som jobbar pa problemet!

  26. vickulas
    juli 4, 2011 @ 2:54 e m

    Jag tycker att Surftown är bra! sådant här är svårt att råda över. Vill man så kan man ju ha back-up någon annanstans.
    /Fia

  27. Stefan P
    juli 4, 2011 @ 2:57 e m

    Jag skulle uppskatta en uppdateringsstatus med kommentar om vad Ni tror om återställning och när vi kan räkna med att allt fungerar. Vänligen uppdatera gärna den lite väl förhoppningsfulla inlagan som ligger i topp på denna sidan.

  28. anders
    juli 4, 2011 @ 2:57 e m

    har 2 sidor hos er.
    den ena har alla filer återställts på (tror jag) men den funkar inte ändå.
    http://www.taildraggers.se

    på denna sida finns inget änså länge.
    http://www.crazyboris.se
    har även ett forum på dennna sida , hur blir det med det kommer databasen att ”fixas” med??

  29. Picare
    juli 4, 2011 @ 3:03 e m

    Företagsförsäkring stavas det.

  30. Pelle
    juli 4, 2011 @ 3:06 e m

    17.03. Webbsidan inte uppe, mailen fungerar inte på någon av mina domäner. Jag har all beundran för att Surftown sliter som djur för att få upp allting, men informationen ovan känns lite ”outdated”. Normal drift på mailen: ”förväntat måndag kl 12.00”. Skulle inte tro det. Jobba vidare Surftown – ni gör det bästa möjliga av situationen, men sätt åtminstone en receptionist eller så på att uppdatera bloggen. Tack!

  31. Johan
    juli 4, 2011 @ 3:16 e m

    Bra kämpat Surftown! Mycket bra informationsspridning också. När tros webmail fungera igen?

    Mvh
    Johan

  32. Surftown
    juli 4, 2011 @ 3:18 e m

    Det stora hindret som vi har just nu är att få nya delar levererade till oss. Detta på grund av trafiken i Köpenhamn inte fungerar som den ska. Leveransbilen fastande i bilkö kl 15 och har ännu inte anlänt. Detta kan betyda att några återställningar kommer att bli förenade och inte helt färdigställda förrän i natt eller tidig i morgon bitti.

  33. Webilaizer Network Soulutions
    juli 4, 2011 @ 3:57 e m

    Ring dom vet jag ;).

  34. Webilaizer Network Soulutions
    juli 4, 2011 @ 4:01 e m

    Håller med, kompensation för att det regnar?..uhh…Skaffa ett annat webhotell i Saharaöknen som back-up då hehe.

    Tycker otrligt bra jobbat från Surftown ialla fall!

  35. Webilaizer Network Soulutions
    juli 4, 2011 @ 4:15 e m

    Håller med 🙂 bra skrivit,

  36. Eva Hulsin
    juli 4, 2011 @ 4:16 e m

    Hur går det, min email funkar fortfarande inte och det skulle ju börja funka igen kl 12 skrev ni. Varför funkar inte min email då, är det fortfarande arbete kvar?

  37. Marie Louise
    juli 4, 2011 @ 5:11 e m

    fungerar fortfarande inte. Slutet av måndagen.När är det? Midnatt

  38. Robert
    juli 4, 2011 @ 7:53 e m

    Va less jag är på att vår webbsida är nerstängd!!!!! Vi förlorar kunder för varje minut och jag har ingen aning när den är online..

  39. Chris Forsne
    juli 6, 2011 @ 11:04 f m

    Stort tack -ws 53 och Pilgrim Halland tillbaka!

  40. Surftown
    juli 6, 2011 @ 11:15 f m

    Den information som vi har angående e-posten är att e-postarkiven återställs löpande. Det betyder att din gamla e-post kommer att ”trilla” in successivt. Tyvärr så har jag inte någon närmre information om när alla arkiv är återskapade.
    /MS

1 2 3