Kvalitetsmåling

Troværdighed

Analyser har stor betydning for den virkelighed, vi lever i. Politikere, virksomheder og organisationer træffer ofte beslutninger på baggrund af statistisk data, mens journalister og debattører refererer til analyser, der er udarbejdet af uafhængige analyseinstitutter.

Derfor er det vigtigt, at resultaterne er fremkommet på retmæssig vis, så vi kan stole på undersøgelsernes validitet, og så vi har et solidt udgangspunkt for at kunne træffe beslutninger og føre debat, der tager udgangspunkt i danskernes (eller dine kunders) faktiske adfærd, behov og holdninger.

Kvalitetsstemplet er din garanti for validitet

Voxmeter ønsker at fremme en større gennemsigtighed og at skabe fokus på kvaliteten af de analyser, der omtales i medierne, og som danner grundlag for beslutninger i virksomheder og organisationer såvel som i det politiske liv.

Derfor har vi etableret kvalitetsstemplet Kvalitetsmåling. Målet med stemplet er, at der stilles større metodiske krav til analyseinstitutterne. På den måde vil vi søge at mindske misbrug af analyser samt gøre det nemmere og mere gennemskueligt for analysebrugere at vurdere en analyses kvalitet. Med kvalitetsstemplet kan analysebrugerne stole på analyseresultaterne uden at udføre et større detektivarbejde, hver gang de præsenteres.

Svarpersoner skal beskyttes mod misbrug

Kvalitetsmåling er svarpersoners garanti for anonymitet. At deres besvarelser ikke leveres videre til tredjemand, fejlfortolkes eller manipuleres. Svarpersoner har krav på at være trygge, når de deltager i en undersøgelse – hvilket har en vigtig sideeffekt, idet det bevirker en højere deltagelsesprocent, det vil sige en højere repræsentativitet og altså et mere præcist billede af virkeligheden.

Hvad indebærer Kvalitetsmåling?

En valid analyse skal overholde tre metodiske grundprincipper og en rækker etiske regler.

      1. 

Alle skal have lige stor chance for at blive hørt
Svarpersoner skal udvælges tilfældigt ud af den totale population i den aktuelle målgruppe. Det vil sige, at skal man gennemføre en politisk meningsmåling med 1.000 interview blandt vælgere, skal svarpersonerne udtrækkes helt tilfældigt blandt Danmarks cirka 4,3 millioner borgere på 18 år og derover.

Den bedste undersøgelsesmetode er derfor at interviewe svarpersonerne telefonisk, da praktisk talt alle danskere har adgang til en telefon. Hvis man benytter sig af internetbaserede undersøgelser, skal man være opmærksom på, hvordan paneldeltagerne er rekrutterede, så man sikrer sig, at der er benyttet samme tilfældige udvælgelsesprincip, som gælder ved telefoninterview.

Webpaneler, hvor deltagerne selv har haft mulighed for at tilmelde sig, giver ikke et repræsentativt billede af befolkningen, da nogle mennesker er mere tilbøjelige til selv at tilmelde sig undersøgelser end andre. Webpaneler, der er rekrutteret via selvtilmelding, skaber ikke valide resultater og bør ikke danne grundlag for beslutninger, selvom de er billigere i praksis.

      2. 

En høj deltagelsesprocent
Hvis en analyse skal være retvisende, er det en forudsætning, at alle i målgruppen har haft mulighed for at blive hørt. Derfor skal man overbevise flest mulige blandt de udtrukne svarpersoner om at deltage i undersøgelsen. Det skal altid kunne oplyses, hvor stor opnåelsesprocenten har været i forbindelse med en given undersøgelse.

Det er en vigtig kendsgerning, at desto bedre interviewerne er uddannet, desto færre svarpersoner afviser at deltage i undersøgelsen. Erfaring viser desuden, at når interviewerne er aflønnet via fast timeløn og ikke via akkord- eller bonusordninger, øges opnåelsen. Resultaterne af undersøgelsen vil alt andet lige være mere valide, når interviewerne afsætter tilstrækkelig tid til at forklare respondenterne om undersøgelsens baggrund og formål.

      3. 

Angivelse af statistisk usikkerhed
Når man har overholdt principperne om tilfældig udvælgelse, kan man ved hjælp af matematiske udregninger angive den statistiske usikkerhed. Dette er vigtigt, når man skal vurdere resultaternes relevans, udviklingstendenser og forskelle mellem befolkningsgrupper. Angivelse af den statistiske usikkerhed er altafgørende, når man eksempelvis skal vurdere, om en meningsmåling viser en reel fremgang eller tilbagegang til et politisk parti.

      4. 

Etiske retningslinjer
Udover de tre metodiske grundprincipper er der en række etiske retningslinjer, som analyseinstitutter bør overholde. Det vigtigste etiske princip er, at deltagerne sikres fuld anonymitet i forhold til tredjepart, og at personlige oplysningerne ikke videregives til virksomheder med henblik på salg. Endvidere er det væsentligt, at undersøgelsens design og formål fremgår eksplicit. Man får svar, som man spørger. Derfor er det vigtigt, at udformningen af spørgsmål og tolkningen af tal er udført sagligt, at det fremgår hvordan spørgsmålene er formuleret, hvilke konklusioner, der udledes af tallene, og hvem der har betalt for undersøgelsen.

Med Kvalitetsmåling håber vi på at skabe en mere kvalitetsbevidst analysebranche. Vi vil derfor gerne invitere alle analyseinstitutter til at skabe større gennemsigtighed og øget fokus på metode og etik. Vi håber på, at flere vil deltage i Kvalitetsmåling med henblik på at skabe valide resultater, fremme en virkelighedsbaseret debat og være med til at danne en saglig ramme om beslutninger, der baserer sig på pålideligt data.