Support

På väg ut ur vattenmassorna

Inte riktigt den introduktion som jag hade önskat:

Hej, Jag har precis tillträtt som Kommunikations och marknadschef på Surftown. Tanken är att jag ska arbeta med produktutveckling och vi planlägger just nu en rad nya spännande produkter i Surftown… och så kom regnet till Köpenhamn.

Lördag kl 22:00 ringde larmet på vårt primära datacenter som ligger placerat vid hamnen i Köpenhamn. Köpenhamn fick på en timme regnmängder som svarade för två månader – och det är inget system byggt för att klara av. Ståldörrar tillverkade för att så emot vatten är sönderslagna, all ström i byggnaden har gått och förväntas vara tillbaka igen på tisdag. Källaren blev rekordsnabbt fylld med vatten och i grannkällaren står en Maserati under 2 meter med vatten (surt! Men inte i förhållande till den rensning som många av oss nu står inför).

Oavsett allt detta fungerade vårt säkerhetssystem – så kl 02:00 i natt började nödströmsgeneratorn och producerade ström till… ingenting. Kortslutning i ledningar och elskåp stängde effektivt ner vårt datacenter. Sedan kl 06:00 söndag morgon har hemvärnet pumpat upp, upp till 30.000 liter vatten från källaren (per minut!) innan vi kl 14:00 kundefå tillgång till server-rummet och börja att flytta våra servrar, till säkerhet. Den sista delen av tömningen var firmabilarna, som tömdes på vatten vid kl 22 :-/

”Lyckligtvis” är vi igång med att bygga ut vårt senaste datacenter i Amager, så vi har mycket stor kapacitet av server skåp, ström osv. så att vi på ett effektivt sätt kunde flytta utrustning från ett datacenter till ett annat. Från kl 14 till 22 har vi flyttat 300+ servrar och återetableringen körs på fullt tryck i skrivandets stund. Här med följer en status på hur lång vi har kommit de första 24 timmarna och hur långt vi förväntar oss att komma inom nästa 24 timmar:

  • DNS-servrar: 100% Online
  • Webbservrar: 100% Online

Dessa servrar har inte drabbats av avbrott. En 10 Gbit förbindelse har under natten till söndagen varit nere på 1 Gbit, så svarstider kan ha varit påverkade. Dessvärre är en webbserver inte mycket värd om inte de underliggande fil- och databasservrarna är på plats. Och på dessa har vi upplevt störningar. Status pr söndag kväll kl 23:30:

  • Storageservrarna: 77% online. Resterande återställs från back-up till ny hårdvara. Återställningen är tidskrävande då det är miljoner av småfiler och förväntas vara avslutad måndag morgon.
    Antalet påverkade: upp till 23.000 av våra kunder
    Normal drift: förväntat måndag kl 09:00
  • E-postservrarna: 3 servrar är ska återställas från back-up till ny hårdvara. Ny hårdvara levereras på måndag morgon och alla e-postkonton kommer att fungera igen från omkring lunchtid under måndag, direkt efter installationen. E-postarkiv återställs efterföljande och kommer på så vis att löpande bli tillgängliga under efterföljande timmar.
    Antalet påverkade: Dessvärre okänt, då mailservrarna är Cloud baserade. Kort sagt, några fungerar och några fungerar inte för än på måndag.
    Normal drift: förväntas kl 12 måndag.
  • Databasservrar: 80% idag söndag. Resterande återställs från back-up under loppet av måndagen.
    Antal berörda: upp till 20.000 av våra kunder
    Normal drift: förväntas sent under måndagen
  • Supportsystem (ticketsystem): Surftown supportsystemet har gått ner. Det gör det svårt att ta emot eller skicka supportmails – men systemet ska vara klart igen måndag morgon kl 08:00. Systemet återställs från back-up under skrivandets stund.
    Antal berörda: Alla – beklagar.
    Normal drift: förväntas måndag kl 8.00

Vi kommer att fortsätta hålla alla informerade via vår blogg och twitter de kommande timmarna och dagarna. Jag hoppas att vi senast tisdag är helt tillbaka i normal drift, när nödvändiga införskaffningar och nödåtgärder blir genomförda under måndag.

Vi hoppas på er förståelse och ber verkligen om ursäkt för de problem som detta har medfört många av våra kunder. Vi är verkligen ledsna.

Som sagt heter jag Kresten – och det här är (nästan) min första dag på jobbet. Jag ser fram emot att  återkomma med en annan typ av information framöver… och överväger om vi borde byta namn och flytta till en mycket torr plats!

Bästa hälsningar

Kresten Bach Søndergaard
Kommunikationschef
Surftown

Sommarhälsning från kundtjänsten

På begäran av våra eldsjälar i kundtjänsten så skulle jag vilja ge er en uppdaterad inblick i denna vitala del av kundupplevelsen.

Apropå kundupplevelse, så har 2010:s första halvår bjudit på en del radikala förändringar — åtminstone internt. 😉 Driftavdelningen har kommit tätare inpå dig som kund då de idag sitter tillsammans med vår kundtjänst — under en gemensam ledning!

Därför deltog de båda avdelningarna i en gemensam workshop strax innan semestertiderna drog igång. Och det var en stor succé! Dagens program bjöd på både sessioner med kunskapsutbyte, sessioner från eldsjälar från bägge avdelningarna med förslag på förbättringar av rutiner men även analyser av våra kunders senaste feedback.

Och resultaten talar för sig själva. Det finns nu en gemensam dagordning och förståelse för vad som är viktigt för våra kunder. Den hade även en trevlig bieffekt eftersom mängden omfattande och plötsliga problem har minskat avsevärt och vi agerar idag långt mer proaktivt än tidigare.

Jag vågar nästan säga att kunderna mer än någonsin sätter våra prioriteringar — och det är ingen dålig utgångspunkt, eller hur?

Jag har dessutom lovat att hälsa från killarna och tjejerna som tackar för de många kommentarer och betyg de har fått in på både supportartiklar och supportärenden! Det ger dem en värdefull insikt i vardagen, men också under de två halvårliga workshopsen.

En riktigt trevlig sommar från alla oss på Surftown! 🙂

Inget svar från supporten

Jag har tyvärr noterat en riktigt tråkig händelse. Kunder har nämligen rapporterat att de har väntat väääldigt länge på ett svar från Supporten!

Dessvärre är det så att supportsystemet har uppvisat anarkistiska tendeser. Ett eller annat skumt syntaxfel har inneburit att ett antal kunder inte har fått något mail med svar.

För tillfället är det 600 supportsvar som är berörda av detta problem, och detta beklagar vi oerhört. Allt har sett ut till att fungera som det ska från vår sida, medan ni har otåligt väntat på ert svar.

Felet har högsta prioritet, och förhoppningsvis är det fixat inom en mycket kort tid. Tills vidare kan du dock använda nedanstående lösning:

  1. Logga in på My Surftown
  2. Klicka på ”Supportcenter”
  3. Välj ”Status” på höger sida
  4. Nu kan ni se svaren på era supportmail

Jag beklagar djupt och tackar er för att ni gjorde oss medvetna om problemet!

Uppdatering – 21:e januari 2009
Problemet blev löst igår kl. 19:00, och alla berörda kunder kommer att orienteras via e-post under dagen.

Eldsjälar till en kundservice av världsklass

Det har skett en hel del ”bakom kulisserna” sedan Support 2.0-projektet sparkades igång tidigare i år. En ny och stark ledningsgrupp klev ombord för några månader sedan – och tro mig när jag säger att det bådar gott inför framtiden. 😉

Jag är mycket stolt över att kunna presentera två nya eldsjälar i form av Lotte Bendstrup och David Lerche. De är båda mycket rutinerade inom ledning och kundservice, och dessutom har de ytterst relevant branscherfarenhet i bagaget! Lotte har tidigare arbetat för Speednames/Ascio och David för både Azero och Zepto.

Deras främsta uppgift är att föra vår kundtjänst till den absoluta toppen nästa år. En utmaning som kräver fler eldsjälar som brinner för sitt uppdrag – att skapa en kundtjänst av världsklass. Tror du dig känna en riktig eldsjäl, så är du enormt välkommen att skicka vår jobblänk vidare – resulterar det i en anställning bjuder jag på ett års abonnemang!

Under sin första tid hos oss så har Lotte och David kastat sig över resultaten och feedbacken vi har fått genom era support-omdömen och våra enkäter. Dessutom analyserades supportens kompetenser och kapacitet, vilket ledde till en ambitiös utvecklingsplan för vår kundtjänst.

Helt klart har våra krafttag lett till en förbättring, vi kan redan nu se en positiv utveckling. Och det är vi givetvis väldigt glada över. Men som alltid, så är vi aldrig nöjda och vi tänker därför arbeta hårt med att behålla denna utveckling. Så fortsätt att bedöma era supportärenden, och fortsätt skicka era förslag och åsikter till oss – och på så vis hjälpa oss med målet att erbjuda Sveriges bästa kundservice.

Argh… det är dålig kundservice

I går kväll upptäckte vi en väldigt olycklig ”feature” i vårt nya supportsystem som vi lanserade under augusti månad. Supportmail med mer än tre svar från kunden har felaktigt blivit ”osynliga” i supportsystemet – tvärt om mot vad som var avsikten ;-(

Hela idén är att vi lätt kan upptäcka supportsaker med potential till låååååång behandlingstid – och att dessa saker blir omhändertagna snabbt av vår mest rutinerade supportpersonal! Men det kräver ju att supportsystemet är korrekt uppsatt… och det har den ansvariga utvecklaren äntligen fixat nu!

Felet har berört ca 40-50 supportmail per vecka, vilket innebär att vi för närvarande har en större hop av relativt gamla ärenden – och det är verkligen dålig kundservice!

Vi har försökt vara efterkloka och letat efter signaler som hade kunnat leda oss på rätt spår. Men det har faktiskt inte funnits några direkta frågor om ”när kan jag förvänta mig ett svar på supportmailet jag skickade för en vecka sedan”, varken på telefon eller mail.

Det kan tyda på att kunderna har fått svar t.ex. genom att öppna ett nytt supportärende. Därför har vi valt att dela upp den stora hopen av ärenden på tre dagar, samt kalla in extra bemanning.

Alla supportmail som är under tre dagar gamla besvaras inom kort, medan kunder med supportärenden mer än tre dagar gamla kontaktas om huruvida supportärendet fortfarande är aktuellt. Om ärendet fortfarande är aktuellt hamnar det i toppen av hopen, och får därmed högst prioritet. På det här viset försäkrar vi snabb support till alla ”aktuella” ärenden, istället för att använda tid och krut på äldre ärenden som redan är lösta.

Jag hoppas att ni håller med om att denna prioritering är rätt – om inte så är debatten öppen.

1 2