REPLIK: ”Viktigt med ärlig debatt om metodfrågor”

Torbjörn Sjöström framför kritik mot att undersökningar med tvivelaktig metod ges stort medieutrymme. Det finns poänger i kritiken och frågan är viktig. Men diskussionen skulle gynnas av både lite mer bredd och nyans och ett lite bättre uppsåt.

Det skrivs en hel del om undersökningar i media. Det är så klart i många avseenden positivt, men precis som Torbjörn skriver blir det tydligt problematiskt när undersökningar som gjorts på ett undermåligt sätt ges stor uppmärksamhet. Det är enkelt konstaterat att resultatet i en mätning som gjorts i en självrekryterad webbpanel inte borde bli förstasidesstoff. Behovet av en diskussion kring undersökningsmetodologi och vad vi egentligen kan dra för slutsatser av en mätning har sannolikt sällan varit större än idag. 

”Andelen i befolkningen som har ett registrerat telefonnummer sjunker successivt. Effekten av detta blir att innan telefonintervjuer ens påbörjas har idag ungefär en tredjedel i ett obundet slumpmässigt urval fallit bort.”

Tyvärr blir debatten inte mycket klokare av det aktuella inlägget. Ett skäl till detta är att även mer traditionella mätmetoder är behäftade med utmaningar. Göteborgsforskaren Johan Martinsson skrev tidigare i år ett mycket informativt inlägg på Politologerna om telefonintervjuundersökningars representativitet. Andelen i befolkningen som har ett registrerat telefonnummer sjunker successivt. Effekten av detta blir att innan telefonintervjuer ens påbörjas har idag ungefär en tredjedel i ett obundet slumpmässigt urval fallit bort på att de inte har några registrerade nummer. I en yngre målgrupp är problemet ännu större, där faller nästan hälften bort av samma skäl. Andelen som faller bort blir dessutom bara större och större när fler väljer lösningar som gör att nummer inte hamnar i sökbara register. 

LÄS ÄVEN: Novus vd: Mediernas opinionsmätningar saknar trovärdighet 

Detta betyder givetvis inte att telefonintervjuer är en irrelevant metod, tvärtom är det fortsatt en metod som är ytterst lämplig för många mätningar. Men skall man diskutera metoders trovärdighet är det viktigt att vara ärlig även om baksidorna med en metod. Denna fråga adresseras inte alls i texten, och i Novus opinionsmätningar räknas inte heller svarsfrekvensen på ett sätt som faktiskt återger det verkliga bortfallet. 

”I Torbjörns inlägg blir dock dikotomin en annan, inte bara om webbpaneler utan om alla sorters undersökningar. Det är Novus eller skräp.”

Det går givetvis inte att inrymma alla viktiga metodfrågor i en och samma debattartikel. Det må alltså vara hänt att denna bit inte tas med i inlägget. Men även i övrigt finns det saker att invända. För samtidigt som Novus har en webbpanel som håller högre klass än många andra paneler är de inte ensamma om att erbjuda helt slumpmässigt rekryterade paneler med god representativitet. Mitt eget företag driver inte egna webbpaneler och kan inte erbjuda en, men vi kan precis som alla andra aktörer på marknaden köpa urval från en sådan panel. 

I Torbjörns inlägg blir dock dikotomin en annan, inte bara om webbpaneler utan om alla sorters undersökningar. Det är Novus eller skräp. Han skriver: ”[Novus är] det enda undersökningsföretag som i dag aktivt följer och försvarar de metoder som i dag fungerar, både för nyhetsvärdering och beslutsunderlag”. Det är ett sällsynt oklädsamt sätt att uttrycka sig på för den som vill framstå som saklig och dessutom en förenklad och inkorrekt beskrivning av situationen. Det finns flera skickliga och seriösa aktörer i branschen. 

Men passusen är samtidigt avslöjande om vad ingången i metoddiskussionen är, nämligen inte att bidra med kunskap eller stå upp för bra undersökningar utan snarare att värna den egna ställningen.

Som sagt, det har sannolikt sällan varit så viktigt med en metodologisk diskussion som nu. Men den diskussionen skulle gynnas av större bredd, fler nyanser och kanske inte minst av ädlare motiv.

Daniel Sturesson
Grundare och delägare, Enkätfabriken

ALLT I ÄMNET:

Novus vd: Mediernas opinionsmätningar saknar trovärdighet

REPLIK: ”Viktigt med ärlig debatt om metodfrågor”

REPLIK: Enda orsaken att avvika från beprövad metod är kostnadsskäl

SLUTREPLIK: Metoddiskussioner måste handla om metoden