Surftown

Grattis mydb1, och tack!

Det verkar som det inte bara är vi som drabbas av driftstörningar lite då och då… Mindre fungerande servers och långa väntetider hos supporten är ett fåtal av de orsaker som gör att kunder blir frustrerade och besvikna, och det dröjer inte länge förrän kunderna mister sitt förtroende för sin leverantör. Även vi på Surftown är inte direkt felfria, och har haft våra problem också.

Men med nya lastbalanserare och nytt e-postsystem med betydligt vassare servers, så tror vi i alla fall att antalet driftstörningar hos Surftown kommer minska avsevärt med tiden. Och även om vi främst gör det för stabilitetens skull, så innebär det även långt bättre prestanda för våra kunder. En väldigt trevlig bonus, med andra ord. 🙂

Vi önskar i varje fall våra branschkollegor lycka till, och hoppas att de lyckas lösa sina problem snabbt och effektivt.

Det är ju tyvärr så, att det inte finns något 100%-igt skydd mot driftstörningar. Man kan däremot göra så gott man bara kan genom ett kontinuerligt underhållsarbete och ordentlig övervakning, samt se till att man är väl förberedd när olyckan väl är framme i form av extra utrustning och extra bemanning. Speciellt på supporten är det viktigt med extra bemanning, då det är sällan man får in så många ärenden (under så pass kort tid) som vid ett driftsavbrott. Även detta är en del av vårt Support 2.0-projekt; att kunna hantera dessa anstormningar på ett effektivt och smidigt sätt.

Det är därför vi tycker det skulle passa bra att gratulera mydb1 för lång och trogen tjänst! Mer än 671 dygn av kontinuerlig drift är han (hon?) uppe i nu. 😀 Men vi hoppas och tror på många många fler, och det ska vi göra allt vi kan för att uppnå.

E-postproblem sucks

Som flera av er troligen märkt vid det här laget har vi under natten mellan torsdag och fredag haft en del störningar i vårt nya e-postsystem. Problemet är löst sedan kl. 10:00 idag, och även om en del förseningar fortfarande förekommer så levereras all e-post som den skall.

Problemet uppstod när samtliga databasservrar överbelastades samtidigt, vilket inträffade till följd av en uppdatering som gjordes under torsdagsförmiddagen. I vårt arbete för att utöka användarnas möjligheter till ett personligt anpassat antispam-filter hade vi dessvärre förbisett att AMaViS som är den mjukvara som hanterar virus- och spamscanning av e-post, dessvärre inte riktigt kunde hantera black- eller whitelists som innehöll mer än 6000 adresser. Detta berodde på att black- och whitelisting hanteras av en PostgreSQL-databas, vars scriptspråk har en begränsning i hur stora reguljära uttryck som kan exekveras utan att databasen hänger sig.

Överbelastningen av databasservrarna medförde i sin tur att loopdetect, som är den del av vårt e-postsystem som hanterar MX-loops, dvs e-postmeddelanden som skickas fram och tillbaka mellan två eller flera e-postservrar, inte kunde komma åt sin databas. Loopdetect tar emot ett e-postmeddelande från postfix, kontrollerar om det skickats genom e-postsystemet mer än ett visst antal gånger, och skickar sedan tillbaka det till postfix igen. Om meddelandet passerat igenom systemet ett flertal gånger uppdateras en databas, så att e-postservern kan hämta information om den faktiska slutdestinationen därifrån istället för från sin namnserver, och på så sätt snabba upp leveransen.

Eftersom kommunikationskanalen mellan loopdetect-programmet och postfix redan var öppen när databasanslutningen misslyckades resulterade det i att tomma meddelanden sändes vidare för leverans när kanalen stängdes utan att något e-postmeddelande överförts, samtidigt som de riktiga meddelandena åter placerades i kö på e-postservern för nytt leveransförsök en stund senare. Om samma problem då uppstod igen blev resultatet att ytterligare ett tomt meddelande skickades iväg, samtidigt som det ursprungliga åter hamnade i kö på servern.

Den reela effekten för den slutgiltiga mottagaren blev således att ett antal tomma e-postmeddelanden levererades innan det intakta e-postmeddelandet levererades korrekt.

Felet har rättats till, och en ny version av loopdetectmjukvaran är installerad på våra servrar. Vi har också optimerat PostgreSQL och PGPool-II för att säkerställa en stabil och högtillgänglig databasförbindelse. Vi bedriver ett ständigt arbete för att förbättra vår e-posttjänst, då vi vet att den är en stor och viktig del av våra kunders Internetnärvaro.

Slutligen vill jag poängtera att inga e-postmeddelanden, vare sig skickade eller mottagna, har gått förlorade. Alla meddelanden som passerat våra system under den problemfyllda perioden har levererats till sina slutgiltiga mottagare, dock med tomma dubletter och en del förseningar som följd av det inträffade.

Detta inlägg är skrivet av en av våra två svenska Linux-tekniker, Joakim Bomelin. Han är en av de som bland annat ser till att våra e-postservrar fungerar stabilt och tillfredställande. Och även en av dem som ni ska bli sura på när saker och ting inte fungerar som det ska… 😉

Status på Support 2.0

På den senaste workshoppen i augusti beslutade vi att lägga mer tid på det första svaret man fick från supportavdelningen. Så långt som möjligt skulle vi besvara frågan direkt – medvetna om att det i en övergångsperiod skulle kunna leda till längre svarstider.

Hittills har vi sett 2 tendenser:
A) Bättre svar och högre betyg i form av fler ”hjärtan”
B) Svarstiden har blivit längre på supportärenden via e-post

Vi har analyserat supportstatistiken före och efter de nya åtgärderna på supporten. Och vi måste tyvärr konstatera att försäljningsavdelningen efter bytet har fått in en hel del supportärenden både via telefon och chatt.

En stor del av våra supporters kan lösa försäljning- och supportrelaterade frågor. Så därför påverkas naturligtvis svarstiderna på e-postärenden hos supportavdelningen, när många kunder försöker uppnå ett snabbare svar genom att kontakta försäljningsavdelningen.

Den goda kundupplevelsen
För att försäkra oss om en god (och rättvis) kundupplevelse för alla har vi därför sett oss tvingade till att begränsa kontaktmöjligheterna för försäljningsavdelningen – hädanefter kan avdelningen endast kontaktas via e-post.

Supportavdelningen kan däremot fortfarande kontaktas via telefon alla vardagar kl. 9-16 av kunder med VIP-support. Denna typ av support är inkluderad i våra företags-webbhotell och kan köpas till privat-webbhotellen – så det finns möjlighet för telefonsupport oavsett abonnemang.

Vi anser att det är det mest rättvisa sättet att leverera support till alla våra kunder – om du har åsikter eller frågor är du mycket välkommen till att kommentera. I övrigt vill vi hälsa från supportavdelningen och säga att de arbetar hårt på att få ner svarstiderna. 🙂

Information om vår workshop

I det varma rummet behövdes det stora mängder vatten!Under fredagen förra veckan samlade vi våra supportrar samt lite folk från våra andra avdelningar, med anledning av uppföljningsmötet kring Support 2.0. Vi stängde in oss i ett rum i ungefär 10 timmar, där dagens agenda handlade om hur vi ska gå tillväga för att höja upplevelsen och kvalitén på vår kundservice.

Vi hade en session där vi gruppvis primärt arbetade med de supportärenden som fått 1-2 ”hjärtan” i bedömning. Syftet var att ta fram konkreta exempel på hur vi bättre hade kunnat hantera ärendet, undvikit missförstånd och snabbare nått en lösning på problemet, och det resulterade i många goda idéer på hur man kan förbättra kommunikationen mellan supporter och kund. Det presenterades även några nya funktioner som supportrarna har efterfrågat, bland annat för att underlätta felsökning och uppföljning av ärenden.

Vi tog även ett beslut om att under en övergångsperiod så läggs det ner extra mycket tid på enskilda ärenden, vilket kan betyda något längre responstider, men i gengäld bättre och utförligare svar. Det hoppas vi att du har överseende med, och samtidigt även uppskattar. 🙂
Vi kommer även att fortsätta jobba med att bygga ut wiki‘n, så att mer och mer hjälp snabbt och enkelt går att finna på egen hand.

En god kundupplevelse skapas ju bland annat genom att man får ett bra svar redan vid första responsen, och samtidigt undviker att ärendet bollas fram och tillbaka. Vi behöver i högre grad sätta oss in i kundens ärende, så vi får en bättre förståelse för kundens situation. Vi bestämde oss även att vi ska göra det lättare för kunden att ge en god felbeskrivning. Då kan man direkt påbörja arbetet med att lösa problemet, istället för att behöva svara tillbaks med följdfrågor.

Presenation av nya funktioner och annat matnyttigtDetta var bara ett fåtal av de många tilltag som vi beslutade om, och det kommer ske ett flertal förbättringar på flera områden i framtiden. Nästa workshop genomförs i December för att följa upp arbetet kring Support 2.0, för att se vilka tilltag som fungerat bättre eller sämre, och vi kommer löpande berätta om våra tilltag här på bloggen. Så glöm inte att titta förbi då och då. 🙂

PS. Vi vill även tacka alla våra kära kunder, för att ni faktiskt klickar i er bedömning av svaret från våra supportrar. Det betyder att vi kontinuerligt kan mäta nivån på vår support, och att vi snabbare och lättare kan finna förbättringsområden.

Spam? Nej, tack!

SpamSedan vi lanserade vår nya uppsättning av e-postservers, har vi nu börjat få rätsida på tekniken, vilket har inneburit en klart bättre upplevelse för kunden. Det finns självklart fortfarande problem här och var, som vi givetvis fortsätter att arbeta på, men i det stora hela har det resulterat i en väsentlig förbättring.

Dock får vi kontinuerligt in supportärenden som handlar om att man fortfarande mottar spam. Tyvärr trillar inte e-post in redan märkt som spam, då hade det blivit betydligt enklare att filtrera ut dem. Vad man även måste sätta i perspektiv, är att vi redan innan e-posten når ens inkorg har raderat ungefär 80% av all spam som träffar våra servers. Bakom dessa 80% döljer sig flera miljoner spam-meddelanden, och det är en otrolig uppgift att filtrera ut dessa.

Därför är antispam-filtrena baserade på en massa olika algoritmer och tester. Bland annat slår vi upp sändaren i ett flertal olika och enorma databaser av kända IP-adresser som det skickas spam ifrån (så kallad RBL), och det utförs även tester på själva e-postmeddelandet. Där letas det efter allt från suspekta länkar till vanliga ”spam-ord” (som till exempel det klassiska ”viagra”). Filtret undersöker även utformningen av meddelandet, för att upptäcka försök till att dölja att det faktiskt är spam, till exempel omskrivningar av ord (viagra -> v1agra).

För att få en förståelse över hur utförliga dessa tester är så kan ni till exempel se en lista över SpamAssassin’s tester som körs på varje e-postmeddelande, som är ett av många filter som körs.

”False-positives”

För att undvika ”false-positives”, det vill säga e-post som klassas som spam fast det inte är det, är det en hårfin balans hur pass aggressivt antispam-filtret ska besluta om det är spam eller inte. För hög aggressivitet – mindre spam men fler ”false-positives”. För låg aggressivitet – mer spam men mindre ”false-positives”. Och trots att vi kontinuerligt finjusterar algoritmerna som styr våra antispam-filter och lägger till ytterligare funktioner, så passar spammarna på att ändra sina algoritmer och hittar på nya sätt för att kringgå dem…

Vår nya uppsättning har gjort det möjligt för att köra ännu mer avancerade och intelligentare tester på e-postmeddelanden, och det är vad vi just nu arbetar vi på. Det innebär bland annat vi kommer kunna radera ännu mer spam, utan att radera kunders riktiga e-post. Kunder kommer dessutom själva kunna finjustera sitt antispam-filter, vilket ännu inte har fungerat felfritt med vår nya uppsättning.

Men vad kan jag göra?

• Stäng av ”catch-all” funktionen för ert e-postkonto
Då spammare ofta sänder till slumpmässiga konton på en domän, i hopp om att finna någon där det fungerar. Detta är en av de vanligaste orsakerna till att våra kunder får mer spam ”än vad de borde få”, enligt vår supportavdelning.

• Undvik att skriva ut din e-postadress i klartext
Spammare skannar konstant av nätet efter giltiga e-postadresser, som de kan skicka sitt spam till. Att ha sin e-postadress i klartext på sin hemsida gör det därför enkelt för spammarna att lägga till den i sin databas.

• Använd temporära e-postadresser
Eftersom man kan skapa ett oändligt antal e-postadresser här på Surftown, så kan du alltid skapa ett temporärt e-postkonto, som du använder när du ska registrera er på sidor där du är osäker på att de förvaltar din e-postadress på ett korrekt sätt. När registreringen är klar, och du upptäcker att det är en sida du vill fortsätta vara medlem på, så är det bara att byta till din riktiga e-postadress, och radera den temporära.

• Använd spamskydd på dina kontaktformulär
Om du har ett kontaktformulär på din hemsida, se till att ha ett ordentligt antispam-skydd, i form av Captcha eller det lite gulligare alternativet KittenAuth. 🙂

• Lägg till SPF-records för din domän
Genom att lägga till SPF-records, så kan du förhindra problemet där spammaren skickar sin skräppost i falskt namn. Läs vår guide i wiki’n över hur du utför detta.

I wiki’n hittar du dessutom information om hur ni anpassar inställningarna för Surftowns antispam-filter. Var dock försiktig med hur aggressiv nivå du ställer in, då vårt antispam-filter är betydligt effektivare än tidigare. ”Normal”-nivå är oftast tillräcklig för de allra flesta.

Om du har några egna tips, är du mer än välkomna att dela med dig av dessa i kommentarerna.

< 1 2 3 4 5 >»