Workdays avbrott började med ett eget reservtest, anställda kunde inte stämpla in

Workday, programvaran som många stora arbetsgivare använder för lönehantering, instämpling och ledighet, slutade fungera för kunderna efter att ett test av företagets egen reservlösning gått snett. När Workday testade sina system för återställning efter en katastrof upptäckte företaget att reservtjänsterna oväntat hade anslutit till de produktionsdatabaser som kunderna arbetar i, vilket gjorde att posterna hamnade i ett inkonsekvent tillstånd. Workday kopplade bort de berörda systemen för att reparera dem.

För de anställda innebar avbrottet att inloggningssidan visade meddelandet ”Workday is currently unavailable”. Personal hos drabbade företag kunde inte stämpla in eller ut, kontrollera löneuppgifter, ansöka om ledighet eller slutföra sin förmånsregistrering. Även schemalagda jobb som matar in information i andra företagssystem kunde fallera. Det skyddsnät som skulle hålla tjänsten igång vid en katastrof var alltså det som slog ut den.

Omfattningen gör att följderna sträcker sig längre än till HR-avdelningarna. Workday uppger att fler än 11 500 organisationer använder företagets programvara. Bland de kunder som företaget offentliggör finns Walmart, Target, Netflix, Chipotle, Southwest Airlines, US Department of Energy och NASA:s Jet Propulsion Laboratory. Workday har inte uppgett hur många av dem som drabbades, utan beskrivit påverkan enbart som ”some of our customers”. Inlägg som spridits på nätet och hävdar att samtliga dessa arbetsgivare låg nere går därför längre än vad fakta ger stöd för. Enligt UC Today registrerade avbrottstjänster rapporter från USA och Indien.

Workdays egen förklaring, publicerad på företagets statussida för kunder och återgiven av IT-teamet vid Washington University, är ovanligt rättfram. ”While validating the weekly Maintenance Window for Disaster Recovery tenants, we have identified that tenanted services within the DR Site unexpectedly connected to Production databases”, stod det i meddelandet. Där tillades att data hade lämnats i ”an inconsistent state”, vilket kunde leda till fel när användare öppnade sina konton eller göra att uppgifter misslyckades. Företaget försatte därefter alla produktionsmiljöer i den kundgrupp som det kallar WD1 i underhållsläge och lovade att lämna uppdateringar var 30:e minut.

Förklaringen lämnar den viktigaste frågan obesvarad. En kopia för katastrofåterställning finns till för att problem på ett ställe inte ska kunna sprida sig till det andra, men här nådde testet fram till själva produktionsmiljön. Workday har inte berättat hur den kopplingen kunde finnas eller om några poster gick förlorade, snarare än bara hamnade i otakt. Även företagets kommunikation väckte kritik. Administratörer i Reddits forum sysadmin och Workday skrev att problemen hade börjat flera timmar före den första kundaviseringen, en tidslinje som Workday inte har bekräftat. I ett kundmejl som delades där medgav företaget dessutom att det inte kunde uppskatta när tjänsten skulle vara återställd och uppmanade företag med kritiska tidsfrister att gå över till sina kontinuitetsplaner.

För de anställda beror de praktiska konsekvenserna på när avbrottet inträffade. Timanställda som inte kunde stämpla in behöver få sina arbetstimmar korrigerade manuellt, och för alla som försökte hinna registrera sina förmåner före en tidsfrist var dörren stängd. Vissa arbetsgivare flyttade fram tidsgränserna: Emerson College meddelade att lärosätet förlängde sin period för öppen registrering på grund av avbrottet. Händelsen inträffade också i slutet av en dålig vecka för arbetsplatsprogramvara, efter att ett avbrott i Microsoft 365 gjort Outlook och Exchange-mejlen opålitliga ända in på den andra dagen.

Hittills ser tidslinjen ut så här: Emerson College uppgav att Workday tog systemet offline omkring klockan 17.15 Eastern Time fredagen den 13 november, och LiveNOW from FOX rapporterade att Downdetector registrerade nära 3 000 felrapporter strax efter klockan 17. En talesperson för Workday sade att företaget ”working urgently to investigate and resolve the issue” och bad de drabbade kunderna om ursäkt. På lördagsmorgonen meddelade Workday kunderna att omindexeringen och återöppningen av deras miljöer väntades vara klar för majoriteten senast klockan 11 Eastern Time lördagen den 14 november, medan det skulle ta längre tid för vissa. Dessa kunder skulle kontaktas via ett supportärende. Emerson Colleges förlängda registreringsperiod löper nu till klockan 12 Eastern Time måndagen den 16 november.

Att tjänsten kommer igång igen besvarar inte den svårare fråga som arbetsgivarna nu ställer till sin leverantör. De vill veta varför ett test som skulle visa att Workday kan klara en katastrof hade en väg in till de data som det var tänkt att skydda.

Taggar: molntjänster, HR-system, IT-avbrott, katastrofåterställning, lön, Workday