Kort oppsummert:
Formiddagen 7. november opplevde vi kraftig degradering av ytelse i vårt hostingmiljø. Store deler av vår kundemasse har hatt nedetid eller store tregheter på sine e-posttjenester. Senere opplevde vi også utfordringer med webhosting og databasetilkobling.
Kjerneårsak:
Hostingmiljøet vårt opplevde 2 kritiske feil. Hver for seg ville de ikke ført til store problemer, men sammen utgjorde de ett større problem som satte deler av miljøet ut av spill. I løpet av minutter ble ytelsen i vårt lagringssystem redusert med 90%. Feilsøking ble gjort i 2 døgn før det ble besluttet å flytte data ut til nytt lagringssystem. Dette har vært en svært omfattende prosess som foregikk i flere trinn, og siste operasjon ble utført natt til 12. november. Tirsdag morgen gjenstod det 1 enkelt mailserver, og denne kom online 10.00
Løsning:
Vi valgte å flytte hele lagringsløsningen ut i ett separat miljø med flere tilgjengelige ressurser og større transparens for eventuell feilsøking om noe annet skulle oppstå på ett senere tidspunkt. Denne migreringen ble delvis utført natt til søndag 10.11 hvorpå e-post gradvis gikk tilbake til normal funksjon. Mandag 11. november så vi ytterligere behov for å fristille data, primært knyttet til vårt webhostingmiljø. Denne overføringen ble utført natt til 12. november.
Noen kjente utfordringer:
Når man sender en mail og denne ikke kan leveres øyeblikkelig vil avsender forsøke å sende mailen på nytt i intervaller, fra korte til stadig økende intervall, ofte opp til 72 timer etter første forsøk. Om du savner mail som skulle vært levert inne i denne perioden kan de ha blitt avvist pga for lang ventetid inn mot vårt system, eller de kan bli forsøkt levert på nytt i løpet av en periode, alt i fra timer til dager. Beste rådet er evt. å be avsender om å sende mail på nytt om det er noe viktig dere ikke har mottatt.
Har man underveis forsøkt forskjellige korrigeringer på egenhånd, f.eks reinstallasjon av konto, endring av passord kan det være en fordel å restarte e-postprogrammet, evt. verifisere at passordet man bruker er riktig ved å logge på vår webmail.
Mail som ikke kan leveres øyeblikkelig vil bli forsøkt levert på nytt i intervaller, fra korte til stadig økende intervaller, ofte opp til 72 timer etter første forsøk. Om du savner mail som skulle vært levert inne i denne perioden kan de ha blitt avvist pga for lang ventetid inn mot vårt system, eller de kan bli forsøkt levert på nytt i løpet av en periode, alt i fra timer til dager. Beste rådet er evt. å be avsender om å sende mail på nytt om det er noe viktig dere ikke har mottatt.
Har man underveis forsøkt forskjellige korrigeringer på egenhånd, f.eks reinstallasjon av konto, endring av passord kan det være en fordel å restarte e-postprogrammet, evt. verifisere at passordet man bruker er riktig ved å logge på vår webmail.
For POP brukere kan mail nå bli lastet inn på nytt grunnet midlertidige endringer i systemet. Vi får ikke stoppet denne re-syncen av mail, men vi har lagt ut en guide med info om hvordan slette duplikater på vår supportside.
Hva gjør vi videre:
Først og fremst vil vi beklage til alle våre kunder som har blitt berørt av disse problemene de siste dagene. Vi har det siste året tatt enorme skritt for å sikre ett mer stabilt hostingmiljø for våre kunder, og der enkelte ting har blitt langt bedre har vi også identifisert svakheter. Disse svakhetene står i fokus i tiden fremover for å sikre at tilsvarende nedetid i vårt system ikke skal forekomme igjen.
- Lagringssystem har blitt flyttet ut i separat miljø
- Vi vil gjennomgå varslingsrutiner for å tidligere identifisere potensielle problemer
