Återställningsstatus, 23:00

48 timmar är vad vi gav oss själva på att bli vara helt återställda… Det var en optimistisk plan, och vi lyckades inte. :-/

Men vi arbetar vidare utan paus på att återställa alla våra kunders tjänster – och det går framåt.

Lördagkväll kl. 22:00 blev Köpenhamn utsatt av ett historiskt skyfall. Och Nordhavn blev särskilt hårt drabbat. Här bor Surftown. Beredskapsstyrelsen blev inkallad och har pumpat vatten ur källaren med upp till 30.000 liter i minuten – så vi från kl. 14:00 på Söndag kunde få tillgång till vår serverhall.

Inom 24 timmar från att skyfallet startade, hade vi nästan 80% av våra system återställda med hjälp av ”fail over” servrar och en brutal snabbflytt av hårdvara från Nordhavn till vår (lyckligtvis) nyligen utbyggda serverhall i Amager.

Återstår gör de sista 20% av de besvärligaste servrarna. Surftown har över 100.00 kunder. Fördelningen av kunder på våra system har lett till att 23.000 kunder har haft ett driftsavbrott för sin e-posttjänst fram tills idag, då de löpande har kommit online. De sista 3000 kommer online ikväll/inatt.

Knappt 20.000 kunder är påverkade av ett allvarligt avbrott som på flera databas- och storage-servrar. Arbetet med dem pågår fortfarande och vi hoppas fortfarande på att bli klara ”ikväll” – men kvällen hinner nog både bli natt och tidig morgon. Nedan följer status på hur arbetet ser ut just nu.

Återställningstatus för Surftown, Måndag 4 juli 23.00.

  • DNS-servrar: 100% online
  • Webbservrar: 100% online
  • E-postservrar: 100% online. Alla e-postservrar är nu online, så man kan skicka och ta emot mejl. På återställda servrar kan det förekomma en viss period där e-postarkiv återställs löpande.

Några nätverksswitchar kör på reducerad hastighet (100 Mbit/s) tills alla flyttade och återställda servrar är i drift i serverhallen i Amager. Därför kan svarstider vara något högre. Så snart alla servrar är tillbaks i normal drift kommer hastigheten skruvas upp till 1 och 10 Gbit/s igen.

  • Storageservrar: 77% online. Kvarvarande återställning från backup kräver ny hårdvara. Hårdvara är levererad och installeras just nu. Därefter påbörjas återställning omedelbart. Detta är tyvärr en långsam process, och förväntas bli klar under natten.
    Antal berörda: upp till 23.000 kunder
    Normal drift: förväntas natten till Tisdag
  • Databasservrar: 80% återställt under Söndagen. Kvarvarande återställs från backup.
    Antal berörda: upp till 20.000 kunder
    Normal drift: förväntat natten till Tisdag för de allra flesta

Det går framåt, men en stor del av våra kunder lider fortfarande av vårt avbrott. Vi fortsätter dock att arbeta målinriktat och utan avbrott, och natten igenom för att få allting tillbaks i drift. Vi gör allt vi kan och just nu ser det ut som om vi blir klara innan vi kan flytta tillbaks till vårt kontor. Vi har ännu ingen ström på vårt kontor i hamnen på Østerbro så att vi kan arbeta där, men alla våra e-postkunder är i drift igen och vårt driftcenter i Amager har blivit utbyggt oerhört snabbt under de senaste 48 timmarna.

Jag återkommer med en ny uppdatering imorgon bitti – och håller tummarna för att de många återställningsprocesser vi har igång löper framgångsrikt över natten.

Vänliga hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

97 Comments

1 2
  1. Den Rockande Kocken
    juli 5, 2011 @ 7:08 f m

    Alla mina arbetsprover finns på Surftown och jag har ett antal ansökningar ute där framtida uppdragsgivare ska kunna kika in. Före helgen hade jag en högt rankad blogg, en ranking som tagit lång tid att generera. Den rankingen lär ju vara åt h-vete nu och därmed också annonsintäkter såväl nu som under en överskådlig tid framöver. Ingen av mina sidor fungerar tillfredsställande, de flesta renderar bara Service Unavailable, vilket inte precis gör underverk för det förtroendekapital jag har ägnat år åt att bygga upp. Hur kommer man hos Surftown att kompensera alla kunder som skadas finansiellt av nedtiden?

  2. high fidelity
    juli 5, 2011 @ 7:12 f m

    Hej!
    Har ingen aning om vilken typ av server vår hemsida ligger på (möjligen databas), men kan ni kolla och ge mig en prognos? Som bröllopsband är det vår högsäsong just nu… 1000 tack!
    mvh Highfidelity

  3. Den Rockande Kocken
    juli 5, 2011 @ 7:15 f m

    Tilläggas ska också att jag för närvarande förhandlar med ett flertal företag om sponsring av ett unikt projekt (Metal Munchers) där del av det jag erbjuder de potentiella sponsorerna är varumärkesexponering. Jag fick precis ett samtal från ett av de företagen som tackade för sig eftersom det uppenbarligen inte finns några garantier att deras varumärke kontinuerligt exponeras.

  4. Anders Olsson
    juli 5, 2011 @ 7:16 f m

    Hej Surftown!

    Som jag sa i ett inlägg igår har jag varit kund hos er sen 1996.
    Oftast nöjd, men som ni vet så har det ju varit både upp och ner med er service genom åren, och ni har fått tagit emot mycket kritik. Jag var glad när ni tog till den kritiken, och tycker ni gjort ett bra jobb med att utöka servicegraden och jag har alltid stöttat er, ända tills nu. Jag är i behov av såväl min mailserver som hemsida. I går skickade jag därför in ett serviceärende, vilket jag faktiskt fick svar på ganska omgående. Tyvärr svarade ni så fort på det att ni svarade till helt fel mail-adress (varför vet bara ni, för jag själv kan varken se eller komma åt var nånstans jag skrivit in den mail-adressen. Jag vet dock att jag beställde min domän och webbhotell från min gamla e-post. Nu 2011, 5 år senare är den adressen och domänen sen länge borta och försvunna.

    Jag har förgäves försökt få supporten att skicka om mitt Auth-ID till korrekt e-post… Hur gör jag?… timmarna och dagarna går nu..

    Anders

  5. Pär
    juli 5, 2011 @ 7:25 f m

    Hur är det med 100% uppe på mailen egentligen?
    Jag får mail2.surf-town.net # #SMTP# när jag försöker skicka till någon av mina adresser!
    Och om jag försöker läsa är det tomt!

  6. Pelle
    juli 5, 2011 @ 7:28 f m

    Igen – tycker ni gör ett bra jobb med att återställa, men – informationen här är inte mycket att hurra för! Igår kom min mail igång, men nu ligger den nere igen. Det stämmer helt enkelt inte att mailservrarna fungerar till 100% – felaktig information är värre än ingen information alls! Dessutom är ingen av mina hemsidor igång. Att allting ska vara återställt natten till tisdag låter ungefär som SL:s bedyranden att allt fungerar som det ska när pendeltågen är två timmar sena…

  7. Christer Toivonen
    juli 5, 2011 @ 8:00 f m

    Bindningstid: finns ingen på Surftown.

    Svindyrt och dyrare än andra: Har du gjort en prisjämförelse? Tänk på att du ahr t ex obegränsat antal databaser och fri trafik, det har inte alla.

    Allt strul hela tiden: Jag har varit kund hos Surftown i över 6 år och det jag har råkat ut för är att någon databasserver har drabbats av mycket belastning och då har de flytttat mig till en annan, snabbt och behändigt.

    Ingen kompensation: Force Majeure = på engelska: Act Of God, på svenska = skador som inte kunnat förutsägas och vem ska alltså kompensera dig då när det inte finns någon som är vållande till skadan, komepsation hade du kunnat få om Surftown int ehade gjort allt för att avhjälpa problemen och minska skadorna för sina kunder men de har gjort allt de kan och mer därtill under dessa ~60 timmar för att komma igång igen. Ingen kan helt gardera sig mot en timmes regn som normalt motsvarar två månader, de hade 30 000 liter vatten i byggnaden!!

  8. Christer Toivonen
    juli 5, 2011 @ 8:06 f m

    De hade hade ett oförutsett fel på en mailserver, mail4, så det är de medvetna om hålle rpå att felsöka. Sen kan man fråga sig vilket som är viktigast: Att uppdatera sina kunder hela tiden eller arbeta med att avhjälpa fel? Jag föredrar nog att uppdaterignen haltar lite och att min webbplats kommer igång snabbare.

  9. Hugo
    juli 5, 2011 @ 8:10 f m

    Fortfarande utan mail….

  10. Tomas
    juli 5, 2011 @ 8:10 f m

    Uppdatera gärna oftare. 1ggr/timmen!!
    Eller grubblar ni på hur ni ska förklara att backupen inte går att läsa tillbaka?

  11. Hugo
    juli 5, 2011 @ 8:11 f m

    Database Connection Error
    Can’t connect to MySQL server on ’wmdb1.surf-town.net’ (113)
    Verify the SQL database is running
    Check the SQL server is listening to the specified socket, IP address
    Check the global configuration file (/usr/local/atmail/webmail/libs/Atmail/Config.pm) for the correct database details. Edit the configuraiton file with a text-editor and define the fields ”sql_host”, ”sql_user”, ”sql_pass” and ”sql_table”
    Run the /usr/local/atmail/webmail/install.pl script to check database details
    Verify the database server is running correctly
    Verify the MySQL /etc/my.cnf file has the correct settings for the number of database connections

  12. Jocke
    juli 5, 2011 @ 8:13 f m

    Min mail har inte fungerat sedan helgen… Hur går det med E-post återställningen? Jag möts med ” Fel i inställningsdatabas (connect failed). Avslutar programmet” vid valet ”squirelmail”

  13. cedric
    juli 5, 2011 @ 8:17 f m

    Min mail var online sent igår kväll men idag när jag skulle börja jobba så är den död. Vad har hänt nu ???

  14. trolldanne
    juli 5, 2011 @ 8:21 f m

    Varken min mail eller min hemsida går att nå. Det har varit lite FÖR mkt strul på surftown för att jag kan stanna kvar. Jag måste kunna nå min mail eftersom jag använder den i mitt yrke då jag är egenföretagare.
    Kommer jag eventuellt kunna använda min mail och min blogg idag?

  15. Ludio.se
    juli 5, 2011 @ 8:23 f m

    Information is key!

    Hellre uppdateringar regelbundet så man vet vad som händer än att det är tyst.

  16. Patrick Bågendahl
    juli 5, 2011 @ 8:25 f m

    När tror ni att kontrollpanelen är uppe igen? Har också problem att logga in på phpmyadmin men är det samma problem?

  17. Terese Alvén
    juli 5, 2011 @ 8:27 f m

    När får vi mer information? Det skulle komma upp på morgonen? Min sida funkar fortfarande inte …

  18. MS
    juli 5, 2011 @ 8:28 f m

    Jag kan heller inte nå min mejl eller hemsida.
    För mejlen ”Unable to connect…” och för hemsidan finns inga filer i webbkatalogen kvar..

    När tror ni detta blir löst? Läget börjar bli smått akut..

  19. Sophie Ödman Filén
    juli 5, 2011 @ 8:28 f m

    Min mail fungerar fortfarande inte!!!? Nu börjar det kännas att man är utan den…
    Förstår att ni jobbar som 17, men är det något speciellt med just min mail?
    Mvh
    Sophie

  20. Välkommen | Omställning Sigtuna
    juli 5, 2011 @ 8:28 f m

    […] Den 2-3 juli fungerade inte  hemsidan. Det rikliga regnandet i Köpenhamn dränkte elsystemet för vårt webhotell. Läs om händelsen och räddningsarbetet på https://surftownse.wordpress.com/ […]

  21. Johan
    juli 5, 2011 @ 8:29 f m

    Ingen kan väl ge 100% garantier på internet? det kommer alltid att finnas driftstörningar.

  22. Leif Arndorff
    juli 5, 2011 @ 8:30 f m

    När ska ni göra något åt problemet jag får:
    ”Error establishing a database connection” ??

    Hur är status nu? Ni påstår att det är bättre att få reda på info än att inte få reda på något alls. Just nu är det helt tyst från er. Vad händer? När kan jag förvänta mig att min webbplats med databas är igång?

  23. Informationen stämmer inte
    juli 5, 2011 @ 8:33 f m

    Ja, varför är det så? Sitter ni och hittar på för att försköna verkligheten och måla upp en bild utåt att allt är ok nu fast det sitter en massa kunder som inte kan logga på sina e-postkonton? Min e-mail fungerar inte heller. Jag kan inte logga på. Får följande felmeddelande: Fel 7 (net::ERR_TIMED_OUT): Åtgärden överskred tidsgränsen. Sluta föra med osanning & mörka och skriv exakt vad som händer och när vi som fortfarande är drabbade kan logga på för att kolla våra e-mail.

  24. Ano Nym
    juli 5, 2011 @ 8:34 f m

    Hela det här äventyret kunde ha undvikits om man valt en bättre plats för sin driftcentral än en lågt belägen lokal i ett hamnområde. Om man har lite koll på alla klimatförändringar och alla katastrofer som börjat ske runt om i världen på platser de normalt inte sker kan man också förutse att dylika händelser kommer att inträffa även här istället för att sticka huvudet i sanden och tro att sådant drabbar inte oss.

  25. Lars Gustavsson
    juli 5, 2011 @ 8:35 f m

    Tisdag Klockan 10,33 och det fungerar fortfarande inte! Hur länge ska man vänta?

  26. Informationen stämmer inte
    juli 5, 2011 @ 8:35 f m

    VARFÖR INFORMERAS DET SÅ DÅLIGT? VAD HÄNDER? NÄR KAN VI LOGGA PÅ VÅRA E-POSTKONTON?

  27. Christer Lundman
    juli 5, 2011 @ 8:36 f m

    Sent i går kväll/natt kom jag som hastigast in på mailen, ligger på server 4.
    Möts då av en i princip tom inkorg, var är de äldre mailen?
    Men nu möts jag av ”Fel i inställningsdatabas (connect failed). Avslutar programmet”
    Vad händer? Måste få igång den snarast då jag är mitt uppe i slutförhandligarna med en företagsförsäljning.
    Detta är riktigt illa…

  28. Martin
    juli 5, 2011 @ 8:39 f m

    Min epost fungerar fortfarande inte och nu börjar detta kännas som ett dåligt jävla skämt.

  29. gbuhre
    juli 5, 2011 @ 8:42 f m

    Webbservrar: 100% online NO

    were is
    conta.se
    knutjons.com
    ciamon.se
    papas.nu
    and many more of my clients servers are still offline!
    Göran

  30. Den Rockande Kocken
    juli 5, 2011 @ 8:46 f m

    Johan, det här är inte en driftstörning, det här är ett totalt driftstopp. Vi betalar för en tjänst och ska kunna förvänta oss att den tjänsten levereras kontinuerligt med acceptans för mindre störningar. Jag har sett en del kommentarer det senaste dygnet där man ifrågasätter varför inte någon redundans finns där servrarna kontinuerligt backas upp och man snabbt kan växla över vid situationer som den som uppstått och börjar helt ärligt instämma i detta. Nu vet jag inte vad grafiskahuset.com (din domän) är, men hade din ekonomi varit beroende av tillgång till de sidor du betalar för att de ska huseras och finnas tillgängliga hade du antagligen inte tagit så lätt på det.

  31. trolldanne
    juli 5, 2011 @ 8:48 f m

    Kom igång nu så att jag kan byta webhotell…

  32. Bo-Anders
    juli 5, 2011 @ 8:50 f m

    Hos mig fungerar heller ingenting.
    Jag förstår att folk är frustrerade.
    I mitt fall är det dock ingen katastrof (än så länge). Hemsidan är ändå nere för att göras om, och det som skulle ha gått att nå är sådant som ligger i underbibliotek, vilka jag naturligtvis har backup på.

    Webmailen fungerar inte.
    I squirrelmail möts jag av : ”Fel i inställningsdatabas (connect failed). Avslutar programmet”.
    Nu vidarebefordras, för säkerhets skull, alla mina mail till ett annat mailkonto – och detta har fungerat!

    Hoppas på att allting kommer igång under dagen….

  33. Marcus
    juli 5, 2011 @ 8:54 f m

    observera att det pumpades ut 30.000 liter vatten i minuten från byggnaden, vilket antagligen summerar till mycket mer än 30.000 liter totalt.

  34. Martin
    juli 5, 2011 @ 8:55 f m

    INFORMERA tack

  35. Marcus
    juli 5, 2011 @ 9:00 f m

    som sagt, surftown är och har alltid varit både mycket bra och billiga. att du har förlorat en ”kund” på grund av detta, och om din webplats är så otroligt viktig för din verksamhet så kanske du ska göra något själv också, och inte lämna allt i andras händer? Personligen skulle jag göra en plan för backup om jag vore dig, så du själv är redo.

    Jag undrar om du skulle sitta och skriva samma saker om det var en bomb som hade fallit istället för översvämningen?

  36. Surftown
    juli 5, 2011 @ 9:06 f m

    The web servers are online but unfortunately the storage servers that contains your data is not all up and running. We are working on getting these online as well as soon as possible.

    /MS

  37. Den Rockande Kocken
    juli 5, 2011 @ 9:12 f m

    Marcus, det är redan från början en kostnadsfråga, men jag får anta att du inte har en aning om ekonomi. Hade jag haft råd att hålla en egen server eller hålla mig med dubbla webbhotell hade jag gjort det. Varje öre är viktigt under en företagsstart och är det en webbaserad rörelse även tillgången till de sidor som ska serva företaget under uppstart. Jag ser fram emot den dag du själv drabbas hårt ekonomiskt, vi får se då om du tar allt med samma ro du tycks göra nu.

  38. Björn Norén
    juli 5, 2011 @ 9:16 f m

    Ingen ny statusrapport idag. Olika besked hela tiden. Servrar och Backup (?) under vatten. Kommer ni verkligen kunna återställa allt? Börjar tvivla.
    Om jag fått klara besked tidigt kunde jag ändrat surftown DNSer till andra DNSer hos iis.se och pekat på egen backup.

  39. Marcus
    juli 5, 2011 @ 9:21 f m

    snälla lugna ner er! tro mig, arbetet går inte snabbare om alla frågar specifikt om sina egna mailkonton/domäner osv… är det något speciellt fel på just ditt konto? jag behöver inte ens jobba på surftown för att svara: NEJ! om en server är nere, då är det inte bara ditt konto som har problem. Vissa av er som kommenterar här låter som att ni har snott datorn av dagisfröken och sitter och busskriver… vad hjälper det att irriterade kunder skriver arga kommentarer och sänker moralen för de anställda på surftown? ja det går ju knappast snabbare att få igång på allt igen, det är en sak som är säker! Sätt er in i deras situation!

    Dessutom finns det något som kallas för telefon. Lyft luren och lös era problem den vägen, och förklara att ditt webbhotell har drabbats av en naturkatastrof för eventuella kunder/samarbetspartners eller vilka ni nu har så bråttom att kolla mail från.

    För mycket snack och för lite handling! ni är väl inte handikappade?

  40. Pelle
    juli 5, 2011 @ 9:22 f m

    Ser inte att det ena utesluter det andra. Det är sannolikt inte samma person som uppdaterar bloggen som kopplar in sladdar i servrarna.

  41. Martin
    juli 5, 2011 @ 9:37 f m

    Jo absolut, jobbar du på surftown eller har någon annan agenda för detta totalt onödiga inlägg å deras vägnar?

    Att kräva att det informeras när en tjänst folk betalar för är nere mycket längre än angett förefaller, i alla fall i mina ögon, fullständigt rimligt. De har sagt tider de inte håller och informerar ändå inte – svagt.

  42. gbuhre
    juli 5, 2011 @ 9:49 f m

    mail
    knutjons.com is out of order

    Fel i inställningsdatabas (connect failed). Avslutar programmet

    this is a big bakery that gets all orders on email. what to do?
    Göran

  43. gbuhre
    juli 5, 2011 @ 9:54 f m

    Database Connection Error

    Can’t connect to MySQL server on ’wmdb1.surf-town.net’ (113)
    Verify the SQL database is running
    Check the SQL server is listening to the specified socket, IP address
    Check the global configuration file (/usr/local/atmail/webmail/libs/Atmail/Config.pm) for the correct database details. Edit the configuraiton file with a text-editor and define the fields ”sql_host”, ”sql_user”, ”sql_pass” and ”sql_table”
    Run the /usr/local/atmail/webmail/install.pl script to check database details
    Verify the database server is running correctly
    Verify the MySQL /etc/my.cnf file has the correct settings for the number of database connections

  44. Pelle
    juli 5, 2011 @ 9:55 f m

    Nytt felmeddelande på webmailen: Preference database error (connect failed). Exiting abnormally. Känns som ett hån att mötas av statusraden ”Surftown – Success Online”. Information, tack!

  45. Surftown
    juli 5, 2011 @ 10:06 f m

    Jag har tyvärr inte annan information än det som vi har skrivit i bloggen angående databasservrarna:

    ”Vi har 43 linuxservrar, som inte kan komma online på grund av fel i ackompanjerande mydb-servrar, som ännu inte återställts. Vi vet ännu inte om detta berör 5000, 10000 eller 15000 kunder. Dessa databasservrar förväntas tillbaka online under tisdagen.”

    /MS

  46. Jonas
    juli 5, 2011 @ 10:08 f m

    Undrar bara om det finns någon ny tids uppfattning. Kunde nå mina mail imorse, men inte längre sedan 2-3 timmar?

    Tycker också att ni jobbar mycket snabbt och bra. Givetvis kan man ha åsikt om allt och alla.
    Om man vill ha super säkerhet på alla plan får man göra som militären bara köpa de dyraste lösningarna i alla lägen. De fick kritik för några år sedan för att deras laptop var för dyra. Det gällde de som skulle användas i krig i fält. Nästan som 10st vanliga. Kommentarerna var om den blir fuktskadad eller tappas är det ju bättre att köpa en ny för det lägre priset men man kanske inte kan köpa någon ny i kris lägen!

  47. Marcus
    juli 6, 2011 @ 4:25 e m

    så du menar att jag inte har drabbats som alla andra? jag bedriver egen verksamhet som är till 100% beroende av min webbplats, så vad är det du vill komma fram till?

    vad du antar är upp till dig, jag säger bara att du kan lägga krutet på att t.ex. ta kontakt med dina eventuellt upprörda kunder istället för att gnälla på något som kommer ta lika lång tid oavsett vad du säger här. jag gissar på att ett sådant regnväder som är orsaken till detta kanske händer en gång vart 40-50:e år? dina kunder borde kunna ha överseende

1 2