Översvämningar i Köpenhamn

Surftown bedriver verksamhet utifrån tre olika datacenter som är lokaliserade i Danmark. Det primära datacentret är det som tidigare användes av Tiscali och ligger i hamnen i Köpenhamn. Dessvärre är det detta område som har drabbats hårdast av de enorma vattenmassor vi fick i huvudet under gårdagen. Även då detta datacenter är state of the art, så kunde det som många andra datacenter i Köpenhamn inte stå emot dessa våldsamma vattenmängder.
Surftown har UPS:er, generatorback-up och de går principiellt inte ner. Men det gör tyvärr ingen nytta när ledningarna mellan all denna säkerhet står under vatten. Därför är vi tvungna att flytta alla servrarna fysiskt till ett sekundärt datacenter. Detta är ganska ovanligt och tar dessvärre tid.

Normalt kan vi göra återställning av data på kort tid – oftast inom en timme – vid stora hårdvarufel. Det ovanliga för oss är att vi behöver återställa stora serverinstallationer på annan hårdvara i det andra datacentret – och det kan ta tid. Vi förväntar oss att 70-80% av våra kunder är tillbaka online innan slutet av dagen (söndag). Många är lyckligtvis redan tillbaka online.

Vi håller på att flytta alla våra kunder till det sekundära datacentret. För några av er är detta redan gjort och för ändra tar det dessvärre lite längre tid. Vi är i en helt unik force majeure situation där våra normala säkerhetsprocedurer inte har gått att tillämpa. Detta tillstånd har drabbat många IT installationer i Köpenhamn, men vi jobbar snabbt och målinriktat på att få upp alla och fungera snarast möjligt. Många är redan uppe och kör igen.

Jag kan berätta att det inte är någon data som har gått förlorad då det endast är strömförsörjningen runt om datacentret som är berört. Vi flyttar fysiskt alla delar av vår hårdvara från ett datacenter till ett annan. Vissa kunder kommer att återskapas från back-up på ny hårdvara i det sekundära datacentret.

Vi beklagar verkligen de olägenheter som detta har medfört våra kunder. Idag, söndag, arbetar vi uteslutande med att återupprätta all infrastruktur. I morgon, måndag, sätter vi igång med hur vi ska bemöta berörda kunder. Vi hoppas på er förståelse och vi kommer att hålla er uppdaterade här på bloggen.

Så snart jag får vidare information från våra tekniker upprättar jag ett separat inlägg på bloggen, där ni kan följa vilka servrar som är online, på väg online och vilka som dessvärre väntar i kön.

Bästa hälsningar
Kresten
Kommunikationschef
Surftown

  • Tony Rödin

    Good work, keep it up 🙂

  • Hi, must say I find it a bit weird that your server status page claims domains to be ok while they are down though…

  • Hi, must say I find it a bit weird that your server status page claims domains to be ok while they are down though…

  • Yes,
    I feel the same way… What happens with incoming email to related
    domains at this time? This is the most important time of the year in my
    business and my customers are asking me about my domain being totally
    gone. When checking email I get the answer that my domain is not even
    hosted by surftown…
    I run a small business but it is still our sole income. I’m deeply concerned.

     

  • Surftown = no credibilty!

  • Domain servers are up and has not been down – i will need to investigate your specific case. I understand that this is critical to you – it is to us too. Right now we can only apologize and work hard on restoring all servers. A thorough update is in the works

  • I can understand your position right now. Compared to the level of disaster we have experienced over here we are ”lucky” that our second datacenter has just been expanded – so have moved 300+ servers in just 10 hrs today – under normal circumstances a 3-4 week project. We _will_ be back to normal monday. until then our image will suffer badly, I agree

  • Well, shit do happens. I believe the ”nerds” are doing there best. There is a reality outside the web. Many people,  seems to have build all there companys and ideas around the web. Well, that is bad. The web is just one tool of many to promote an idea, or run a company.

    Life is not over, just cause a page is away for some time..

    ; )

  • Well, this is 2011

  • All is soon over anyways according to some people…. =)

  • Both my private and my business mail is also down since yesterday.. My business webb i up and running but my private is still down… Damn weather!!

  • Tycker det är lite märkligt att ni säger att inkommande e-post inte går förlorad.. Då det inte går att skicka till mailen. Det kommer error mess. Men å andra sidan går det inte att skicka mail till en epost så går den inte förlorad heller 😉

  • trus me Joakim, we did not see this one comming. 
    We have interruptions and short fallouts due to hardware- and software issues once in a while. We all do. Heck, even Amazon and Google have issues from time to time and they’re pretty big clouds. But even an hour is a long time on the internet – so this failure is beyond anything we had ever feared – untill now!

  • Allt som skickas till en under tiden mailen är nere är väl borta, eller? 

  • Tråkigt att höra att du tyckte vår informationshantering var dålig… Vi har gjort så gott vi har kunnat, genom att både skriva blogginlägg men även att vara aktiva på Twitter och Facebook. Faktiskt så bestod 80% av våra tweets under krisen av svar på andras tweets, så på den fronten tycker jag ändå vi lyckades bra.

    Men det var en helt ny och unik situation för oss, så givetvis hade vi kunnat göra en massa saker bättre och vi kommer dra lärdom av dessa erfarenheter i framtiden, när vi bygger ett bättre och säkrare Surftown.