Senaste dygnets serverproblem

[Peo]

Först vill jag verkligen be om ursäkt för problemen senaste dygnet. Denna gång var problemen av en helt annan art än tidigare och tyvärr mer skadlig vilket innebär att vi förlorat data. Jag beklagar detta.

 

Har ni följt filmsnack på twitter vet ni redan det mesta. För att summera drabbades webbhotellet i England av problem igår em. Man fick corruption på två SAN kopplade till vps servrar. Det slog ut över 100 servrar. Uppenbarligen var det den mänskliga faktorn som låg bakom i kombination med ny avancerad teknik. En högt uppsatt expert gjorde ett förödande misstag.

 

Detta slog även ut vissa backuplösningar och det innebär att vi nu tyvärr verkar ha färdats tillbaka i tiden till den 16 oktober. Inga inlägg efter det verkar ha överlevt detta kaos. En minimal möjlighet finns eventuellt att rädda data från den SAN som nu är corrupted. Det sker dock tidigast inatt enligt de uppgifter jag har. Men jag tror inte på den lösningen.

 

Problemen som orsakade detta ska enligt webbhotellet vara åtgärdade. Man har återgått till en tidigare och mer beprövad SAN lösning, så det här ska inte kunna hända igen.

 

Jag är lite chockad över hur det kunde gå så här snett. Har aldrig varit med om något liknande. Några störningar ibland får man tåla, men det här var absolut inte normalt. Har ni några frågor kring detta så hör gärna av er. Jag ber om ursäkt igen.

[Czechflash]

Tack för uppdateringen, Peo. Följde spektaklet via twitter (bra att det finns i såna här fall). Trist att det hänt, men inte mycket att göra åt. Tur i oturen är väl att det inte var mer som gick miste. Men det är klart att en hel veckas inlägg borta är trist.

 

Får hoppas att detta var de sista problemen och att man då har det värsta bakom sig.

[Spög]

Vi får posta om våra inlägg. Förvisso surt, men sådant som händer.

[Peo]

Det som är tråkigt är just att inlägg gått förlorade. Att sidan ligger nere ett dygn är frustrerande, men går att leva med.

 

Vi betalar för en extra tjänst som skapar en backup på hela servern en gång per dygn. Den är dessutom placerad på en extern server om något skulle hända med vår server, vilket ju skedde nu. Problemet var att denna backuplösning hade hängt sig och fastnat i en kö som aldrig blev färdig att skapa backupen. Det är fortfarande problem med just backuplösningen tyvärr. Som en extra säkerhet sparar jag därför nu manuellt en backup av databasen lokalt varje dygn. Backup sparades lokalt även tidigare, men inte varje dygn.

[Jojje]

Nice work, Peo! It looks ok and it feels fast and stable so far.

Hmm, jag får ta tillbaka det där.

 

Nä, men skämt åsido, det är ju hänt saker som du inte kan styra över, Peo. Jobbigt. Som du säger, att man inte kommer åt sajten under en tid, några timmar, ett dygn, det är ju frustrerande. Att data, i form en veckas inlägg, går förlorade är oacceptabelt. Fast det vet ju alla inblandade om.

 

Nåväl, det hade kunnat vara värre. Bara att posta om alla inlägg som Spög skrev. Hoppas allt sköter sig nu. Det där med backupen är ju lite oroväckande. Bra med manuell backup, hoppas det inte innebär nåt extrajobb för dig.

[Peo]

Vi har fått generös ersättning för den här incidenten. Med tanke på hur vårt svenska webbhotell behandlade sina kunder vid långa avbrott är det iaf en indikering om att det nya webbhotellet bryr sig.

 

Automatisk backup är fixad och funkar igen, men jag fortsätter med manuell backup varje dygn också. Ett annat litet problem har upptäckts och fixats under gårdagen. Så jag hoppas också att störningarna ska vara över nu.