Sådan håndterer du manglende data i dansk branchestatistik

Hvad betyder manglende data i branchestatistik?

Ifølge forskningsmetode.dk opstår manglende data, når en undersøgelse ikke får indsamlet alle de planlagte data. Kilden nævner to typiske former: personer, der ikke svarer på bestemte spørgsmål, og personer i et behandlingsforløb, der ikke dukker op til nogle af undersøgelserne. I en branchestatistik svarer det til, at en virksomhed ikke indberetter de oplysninger, statistikken bygger på, eller kun besvarer en del af dem.

Problemet er dobbelt: der bliver færre data end planlagt, og – ifølge forskningsmetode.dk det værre – det er ofte ikke tilfældigt, hvilke data der mangler. Kilden bruger selv behandlingsforløb som eksempel: det er dem, der ikke havde så meget ud af behandlingen, der falder fra til sidst, eller som ikke gider svare på flere spørgeskemaer. Resultatet bliver derfor bedre, end det burde være, fordi kun de tilfredse er med i undersøgelsen. Samme logik gælder, hvis det systematisk er bestemte typer virksomheder, der undlader at indberette: så beskriver tallene ikke branchen, men de virksomheder, der valgte at svare.

Den første praktiske opgave er derfor at kortlægge frafaldet, før tallene bruges. Undersøg, om de manglende indberetninger fordeler sig skævt på forhold, du kan observere for alle enheder i populationen – fx størrelse, branchekode eller geografi – og vurdér, om den variabel, du vil måle, kan tænkes at hænge sammen med tilbøjeligheden til at svare.

MCAR, MAR og MNAR – hvorfor manglen har en mekanisme

I nyere behandlinger af manglende data skelner forskningsmetode.dk mellem tre typer. Missing Complete at random (MCAR) betyder, at de manglende værdier ikke har nogen sammenhæng med andre variable i undersøgelsen. Missing at random (MAR) betyder, at der godt kan være en sammenhæng bag mekanismen, der fører til manglende data, men at den kan forklares ved andre variable. Missing Not at random (MNAR) betyder, at der er sammenhæng mellem det, at data mangler, og den variabel, der skal forklares.

Kildens MAR-eksempel er en undersøgelse af angst, hvor mænd er mindre tilbøjelige til at besvare spørgeskemaerne, men hvor den manglende udfyldelse ikke har noget at gøre med angstniveauet. Overført til branchestatistik svarer det til, at små virksomheder oftere undlader at indberette, men at det ikke i sig selv siger noget om den størrelse, du måler på – så længe virksomhedsstørrelse indgår i forklaringen. Er manglen derimod knyttet til selve den måling, du er interesseret i, er der tale om MNAR, og så kan ingen af de efterfølgende metoder uden videre rette op på skævheden.

Skellet er afgørende, fordi det bestemmer, hvilken håndtering der overhovedet kan løse problemet. MCAR og MAR kan håndteres med de metoder, der beskrives nedenfor, mens MNAR kræver, at du eksplicit modellerer sammenhængen mellem manglen og den målte størrelse.

Hvorfor listwise deletion og simpel imputation kan give skæve branchetal

Den ene traditionelle metode er ifølge forskningsmetode.dk listwise deletion: hvis blot enkelte data mangler for en person, sletter man hele personen fra samplet. Det giver dels et stort spild, dels den bias, kilden har omtalt, fordi de frafaldne ikke nødvendigvis ligner dem, der bliver tilbage. Den anden er casewise deletion, hvor personen kun udgår af de analyser, hvor de manglende data faktisk skal bruges. Kilden kalder det på en måde endnu værre, fordi man mister overblikket over analyserne: det er ikke til at se, hvor mange og hvem der er med i hvilke analyser.

Den tredje traditionelle tilgang er simpel imputation. Her indsætter man gennemsnittet for de øvrige personer dér, hvor værdien mangler, eller beregner via regressionsanalyse ud fra andre variable, hvilken værdi der »burde« stå på den manglende plads. Begge metoder lider ifølge forskningsmetode.dk under samme fejl: der bliver for lille variation i de variable, hvor der indsættes beregnede værdier.

Forklaringen er, at hvis der faktisk havde været en værdi, ville den godt kunne ligne gennemsnittet eller den regressionsberegnede værdi, men sandsynligvis ikke ramme den nøjagtigt – snarere ligge lidt ved siden af. Især hvis der er flere manglende værdier for en bestemt variabel, ender for mange indsatte værdier »lige på midten«, og variansen bliver for lille. I et branchetal viser det sig som et gennemsnit, der trækkes mod midten, og som spredningstal, der ser mere sikre ud, end datagrundlaget berettiger til.

Moderne metoder: multipel imputation og FIML

Forskningsmetode.dk peger på, at der findes bedre og moderne metoder til at håndtere manglende data: multiple imputation og FIML. Multiple imputation bygger på, at man danner flere forskellige, sandsynlige sæt af værdier for det, der mangler, i stedet for at indsætte én beregnet værdi, og dermed undgår at presse alle de manglende observationer ind på midten af fordelingen. FIML er et alternativ, hvor modellen estimeres direkte på de data, der faktisk findes, i stedet for at man først udskifter de manglende værdier.

Valget mellem dem bør følge den mekanisme, du har identificeret: kan manglen forklares ved andre variable, står de moderne metoder stærkt, mens en manglende, der er knyttet til den målte variabel, kræver, at sammenhængen indgår eksplicit. Uanset valget bør du skrive ned, hvilken mekanisme du antager, og hvilken metode du derpå har valgt, så forudsætningerne kan efterprøves af den, der læser tallene.

Når virksomheder ikke indberetter: Danmarks Statistiks rykkerprocedure

For de statistikker, hvor virksomheder selv indberetter oplysninger, oplyser Danmarks Statistik, at myndigheden anvender en ensartet og konsekvent rykkerprocedure i tilfælde af manglende indberetning. Det betyder, at den manglende besvarelse håndteres efter samme fremgangsmåde fra gang til gang, og at rykkerforløbet ikke afhænger af den enkelte virksomhed eller af det enkelte indberetningsforløb.

Har du som indberetter problemer med at komme igennem indberetningen, henviser Danmarks Statistik til sin supportformular, hvor man kan få hjælp til sin indberetning. Brug den, hvis et indberetningskrav er uklart, eller hvis felter ikke kan udfyldes som forudsat – en manglende indberetning, der skyldes misforstået skema eller manglende vejledning, er lettere at forebygge end at rette op på bagefter.

Brug mikrodata og DDV App til at analysere manglende data

Er du tilknyttet en autoriseret institution, foregår adgangen til Danmarks Statistiks mikrodata via DDV App, der er myndighedens digitale platform for mikrodataadgang. Det er i DDV App, at autoriserede institutioner opretter og indsender projektindstillinger, altså den formelle ansøgning om at arbejde med de underliggende data i et konkret projekt.

Adgangen giver mulighed for at arbejde med de data, der ligger bag de offentliggjorte tal, hvilket er forudsætningen for selv at kunne analysere, hvilke enheder der mangler i en statistik og hvordan manglen fordeler sig, i stedet for at måtte gætte ud fra de færdige tabeller.

Har du spørgsmål om Danmarks Statistiks mikrodataordninger, om brugeradgang eller om processen for bestilling af data via DDV App, kan du kontakte Danmarks Datavindue.

Supplerende branchnøgletal fra Dansk Erhverv

Dansk Erhverv offentliggør interaktive digitale nøgletalsrapporter, der dækker en række af de brancher, organisationen repræsenterer. Nøgletallene omhandler blandt andet omsætning, arbejdssteder og fuldtidsansatte, og rapporterne er udpluk af relevante statistikker lavet af Dansk Erhvervs konsulenter. Organisationen lægger løbende nye rapporter op.

Blandt de brancherettede rapporter findes Bygge- og anlæg, Detail, Engros, It-tele, Kreative Erhverv, Kultur, Life Science, Medier, Rådgivning, Sundhed, Transport og Turisme. Dertil kommer tværgående rapporter om blandt andet mangel på arbejdskraft og materialer mv., omkostnings- og prisindeks, grøn konkurrenceevne samt et kommunekort, hvor kommuner måles på 11 rammevilkår.

For en analyse med manglende data er rapporterne nyttige som sideliggende reference: hvis et branchetal fra én statistik ser skævt ud på grund af frafald, kan udviklingen i beslægtede nøgletal for samme branche bruges til at vurdere, om retningen er troværdig. Vær opmærksom på, at rapporterne kan bygge på andre indsamlinger og andre definitioner end den statistik, du arbejder med, og at de derfor perspektiverer snarere end erstatter.

Kilder og ressourcer til analyse af manglende data i dansk branchestatistik

Dokumentér dine valg og følg Danmarks Statistiks statistikdokumentation

Danmarks Statistik offentliggør statistikdokumentation for sine statistikker, eksempelvis for statistikken Forskning og udvikling i den offentlige sektor. Den slags dokumentation er et konkret forbillede at læse, når du selv skal beskrive, hvor dine data kommer fra, hvordan de er indsamlet, og hvor usikre de er.

For en brancheanalyse, hvor noget af materialet mangler, bør dokumentationen som minimum svare på: hvor mange enheder der var planlagt indsamlet, hvor mange der faktisk indgår, om frafaldet fordeler sig skævt på observerbare kendetegn, hvilken manglende-data-mekanisme du antager, og hvilken metode du har valgt til at håndtere den. Det er den samme række oplysninger, læseren skal bruge for at kunne vurdere tallene – og de skal stå skrevet, ikke blot ligge i analysens kode.