Driftinformation

E-postproblem sucks

Som flera av er troligen märkt vid det här laget har vi under natten mellan torsdag och fredag haft en del störningar i vårt nya e-postsystem. Problemet är löst sedan kl. 10:00 idag, och även om en del förseningar fortfarande förekommer så levereras all e-post som den skall.

Problemet uppstod när samtliga databasservrar överbelastades samtidigt, vilket inträffade till följd av en uppdatering som gjordes under torsdagsförmiddagen. I vårt arbete för att utöka användarnas möjligheter till ett personligt anpassat antispam-filter hade vi dessvärre förbisett att AMaViS som är den mjukvara som hanterar virus- och spamscanning av e-post, dessvärre inte riktigt kunde hantera black- eller whitelists som innehöll mer än 6000 adresser. Detta berodde på att black- och whitelisting hanteras av en PostgreSQL-databas, vars scriptspråk har en begränsning i hur stora reguljära uttryck som kan exekveras utan att databasen hänger sig.

Överbelastningen av databasservrarna medförde i sin tur att loopdetect, som är den del av vårt e-postsystem som hanterar MX-loops, dvs e-postmeddelanden som skickas fram och tillbaka mellan två eller flera e-postservrar, inte kunde komma åt sin databas. Loopdetect tar emot ett e-postmeddelande från postfix, kontrollerar om det skickats genom e-postsystemet mer än ett visst antal gånger, och skickar sedan tillbaka det till postfix igen. Om meddelandet passerat igenom systemet ett flertal gånger uppdateras en databas, så att e-postservern kan hämta information om den faktiska slutdestinationen därifrån istället för från sin namnserver, och på så sätt snabba upp leveransen.

Eftersom kommunikationskanalen mellan loopdetect-programmet och postfix redan var öppen när databasanslutningen misslyckades resulterade det i att tomma meddelanden sändes vidare för leverans när kanalen stängdes utan att något e-postmeddelande överförts, samtidigt som de riktiga meddelandena åter placerades i kö på e-postservern för nytt leveransförsök en stund senare. Om samma problem då uppstod igen blev resultatet att ytterligare ett tomt meddelande skickades iväg, samtidigt som det ursprungliga åter hamnade i kö på servern.

Den reela effekten för den slutgiltiga mottagaren blev således att ett antal tomma e-postmeddelanden levererades innan det intakta e-postmeddelandet levererades korrekt.

Felet har rättats till, och en ny version av loopdetectmjukvaran är installerad på våra servrar. Vi har också optimerat PostgreSQL och PGPool-II för att säkerställa en stabil och högtillgänglig databasförbindelse. Vi bedriver ett ständigt arbete för att förbättra vår e-posttjänst, då vi vet att den är en stor och viktig del av våra kunders Internetnärvaro.

Slutligen vill jag poängtera att inga e-postmeddelanden, vare sig skickade eller mottagna, har gått förlorade. Alla meddelanden som passerat våra system under den problemfyllda perioden har levererats till sina slutgiltiga mottagare, dock med tomma dubletter och en del förseningar som följd av det inträffade.

Detta inlägg är skrivet av en av våra två svenska Linux-tekniker, Joakim Bomelin. Han är en av de som bland annat ser till att våra e-postservrar fungerar stabilt och tillfredställande. Och även en av dem som ni ska bli sura på när saker och ting inte fungerar som det ska… 😉

Ny ”helgalen” uppsättning av e-postservrar

Flera av våra e-postservers har länge varit hårt pressade av massiva spamstormar. Och det har även varit en tuff tid för er – svårigheter med att ansluta till sin e-postserver, långsam förbindelse till webbmailen, e-postdubbletter och ohanterbara mängder av spam.

Supportavdelningen har heller inte haft det särskilt lätt under denna period. Det är en utmaning, att ge dig ett bra svar, när spammarna i stort sett beslutat sig att försämra stabiliteten på våra e-postservrar. Men nog om dessa problem, för nu ska kundupplevelsen vara god igen!

För en tiden sedan satte jag igång ett projekt som vi benämnde ”Mail 2.0”. Briefingen till driftschefen var ganska kort och precis – kunderna ska helt enkelt ha en ”helgalen” uppsättning som bara sparkar röv. 😉

Cloud Computing” var driftchefens svar, och efter några kortare förklaringar på tavlan i mötesrummet var jag såld! Kort beskrivit, så ersätter det den traditionella uppsättningen med en ensam server med ett ”moln” fullt av servrar. Här finns goda driftsmässiga fördelar där belastningen kan fördelas bland många servrar, och resulterar i att ni kommer uppleva en betydligt högre driftstabilitet.

Driftschefen tog dessutom önskan om en ”helgalen” uppsättning väldigt bokstavligt där han har utökat ”molnet” med IBMs kostsamma BladeCenter-servrar för hundratusentals kronor. Så jag räknar med att Surftown få en stor julklapp från IBM senare i år. 😉

De senaste månaderna har vi sett påtagliga förbättringar i prestanda på de e-postservrar där vi har testat den nya uppsättningen (se skärmdump). Idag flyttas de sista e-postservrar in i ”molnet” och det borde ge er en betydligt positivare upplevelse.

Jag beklagar än en gång att det har tagit lite tid för oss att gå i land med dessa utmaningar, men jag kan garantera att det har varit värt att vänta på. 😉

SysOrb Server Monitoring System

Källa: SysOrb Server Monitoring System

Ny driftsinformationssida!

Så då har vi äntligen fått en ny driftsinformationssida. Nu kan du enkelt följa upptiden för dina tjänster, utan att behöva känna till alla de olika servers du befinner dig på. Det är nämligen den stora fördelen, det räcker med att man skriver in sitt domännamn så visa automatiskt driftsinformationen för de servers som man ligger på. Den uppdateras dessutom automatiskt direkt via samma övervakningssystem som vi själva använder oss av. Bra, va? 🙂

Man har även möjlighet att se historik över den senaste veckans händelser med tidsangivelser och förklaringar, och vi kommer även skriva om kommande underhåll i den högra boxen (Viktig information).

Klicka här för att besöka den nya driftsinformationssidan!

WS4 och WS22 utsatt för defacing-angrepp

Säkerheten var temporärt kompromissad för två av våra webservers, ws4 och ws22, då de i fredags blev utsatta för ett mindre defaing-angrepp. Personen som utförde angreppet valde att endast skriva över indexfilerna, och skaffade sig inte någon tillgång till allt innehåll i alla kataloger på varenda webbhotell. Alla resterande webservers var inte berörda.

För att ungdå panik, valde vi att omedelbart gå ut med att det endast var tal om ett DdoS-angrepp, tills att våra tekniker en timme senare hade funnit och stängt säkerhetshålet.

Lyckligtvis visade det sig att vår beredsskapsplan fungerade fint – ws22 hade i loppet av lördag fått backups installerade från i torsdags, och alla hemsidor på den var igång inom 24 timmar. Den andra webservern, ws4, kommer få backups åtställda under dagen, och ska vara fullt återställd i eftermiddag.

Om ni har en egen backup som är nyare än den vi återställer ifrån, kan ni ladda upp den via FTP, så mister ni inga ändringar.

Kom även ihåg att ni kan kontrollera vår driftsinfo-sida, där vi löpande uppdaterar statusen på våra servers: Klicka här

IP-numret för personen som utförde angreppet har spårats, och vi kommer vidta rättsliga åtgärder.

Jag beklagar situationen och ber om ursäkt för olägenheten.

Problem med e-post/Förbättrat spamfilter

De senaste veckorna har en av våra mailservers (Mail1) varit ostabil. Orsaken till detta är att denna mailserver mottagit massiva mängder spam, vilket har medfört att en del kunder har upplevt problem med att kunna tillgå deras e-post konto.

Under förra veckan valde vi att uppgradera hårdvaran men nivån av spam var så omfattande att vi bara upplevde en begränsad förbättring.

Dessutom låg det efter uppgraderingen en ännu större kö av riktig e-post och spam, som har tagit tid att komma igenom.

Igår valde vi att implementera en ny antispam-lösning på Mail1, som vi kommer att använda de närmaste veckorna. Lösningen är mycket effektiv, och bygger på RBL-listan från Spamcop.net. Lösningen blev implementerad vid middagstid, och vi kan redan nu konstatera att mailservern har långt fler resurser tillgängligt, vilket bör betyda att du kan tillgå ditt e-post konto. Dessutom bör du motta väsentligt färre spammails framöver.

Ett fåtal kunder kan dock uppleva problem med att tillgå deras e-post via Outlook eller annat mailprogram (POP3) pga. många spammails – en lösning kan vara att logga in på webbmail (eller att använda ett mailprogram med IMAP inställningar) och radera alla spammails. Därefter bör du kunna hämta din e-post med ditt e-postprogram.

Vi beklagar ännu en gång problemen med e-post. Dessutom beklagar vi de utökade svarstiderna på supporten, vilka beror på en kombination av många hänvändelser samt att vår support har inväntat status från vår driftavdelning på det löpande arbetet.

Info gällande Spamcop lösningen
Vi är som utgångspunkt inte anhängare av Spamcop lösningen, men har valt att testa den på Mail 1 på grund av massiva mängder spam. Rent tekniskt avvisas all e-post som sänds via leverantörer som är svartlistade hos Spamcop. Det betyder också att ett ”äkta” email, som skickats till dig kan bli avvisat, om avsändarens leverantör finns med på Spamcops svarta lista. Med grund i de stigande mängderna spam har allt fler leverantörer valt att använda Spamcop eller liknande lösningar, och det betyder också att de olika leverantörerna bör reagera snabbare om de blir svartlistade – det är i vart fall vi uppmärksamma på här hos Surftown, så att din e-post kommer fram rätt till mottagaren.

«< 7 8 9 10 11 >