Varning för självrekryterade paneler

Den ironiska debattartikeln i Journalisten (22 januari 2013) där transportarbetaren hade genomfört en opinionsundersökning och kommit fram till att ingen läser Expressen resulterade i att Expressens chefredaktör fick svara på samtal från oroliga annonsörer som undrade om tidningen var konkursmässig. Den så kallade opinionsundersökning var i själva verket fyra personer på kontoret.

Igår (15 maj 2013) presenterade Metro/Yougov sin senaste väljarbarometer som pekar på en kraftig återhämtning för Vänsterpartiet, där de i artikeln slår fast att ökningen är statistiskt säkerställd. TT sprider ut denna artikel och ett 30-tal redaktioner återpublicerar den. Det är bara ett problem: väljarbarometern som presenteras är baserad på en självrekryterad panel, det innebär att man omöjligt kan ange felmarginal, signifikansnivåer och statistiskt säkerställda förändringar. Går man tillbaka till rapporten som artikeln är baserad på återfinns heller inga sådana siffror. Skedde tillägget på Metros eget initiativ eller var det med undersökningsföretagets goda minne? Oavsett vad så bör inte denna typ av fel slinka igenom.

Denna blinda tilltro till opinionsundersökningar är både något fint men också farligt. Ett högt förtroende är lätt att missbruka. Ett förlorat förtroende är extremt svårt att återuppbygga. Undersökningsbranschen är en förtroendebransch. Vi som undersökningsföretag måste värna om detta förtroende och ta ansvar för att det upprätthålls.

Korrekt genomförda undersökningar är väldigt träffsäkra, det är en myt att de inte skulle gå att få pålitliga resultat. Det är också en myt att traditionell forskning inte gäller längre i och med internets intåg. De sanningar som varit kända sedan George Gallup började 1936 gäller fortfarande.

Felaktiga undersökningar, som det extrema exemplet ovan från Journalisten, anses också vara sanna och kan ha stora effekter. I media har det publicerats en hel del mätningar som till och med medvetet varit fel, det har förekommit fall där statsminstern eller statsråd kommenterat dessa, ofta uppseendeväckande, resultaten som om de vore sanna. När felen sedan uppdagas lever sanningen kvar. Media och auktoriteter har då hjälpt till att cementera en felaktig världsbild. En sanning har skapats utifrån en mätning via media och politiker, sanningar som också i vissa fall blivit självuppfyllda.

Även den mängd väljarbarometrar av kraftigt varierande kvalitet som ofta visar helt motsägelsefulla partisympatisiffror frestar på allmänhetens förtroende för undersökningar. Metros exempel ovan där de tar till felaktiga kvalitetsmått och på så sätt försöker skapa trovärdighet till en spännande förändring är ett tydligt exempel på detta. Det finns både nationella och internationella studier som påvisar att det inte är möjligt att dra korrekta slutsatser från självrekryterade paneler, jag känner inte till någon studie som visar på motsatsen. När mätningar av den typen presenteras som någon form av sanning frestar det starkt på förtroendet för hela branschen.

Undersökningsföretagen har ett direkt ansvar för hur våra undersökningar används och vilka slutsatser man kan dra från dem. Enligt den europeiska branschorganisationen ESOMAR har vi ett ansvar för första publiceringen av våra mätningar, något som ofta glöms bort. Vi måste säkerställa att våra mätningar har en vetenskaplig grund och att korrekta slutsatser kan dras, och reagera på felaktiga tolkningar. Inte bara som bransch utan också ur ett demokratiskt perspektiv. Finns det ingen som kan ta ansvar för de sanningar som presenteras i undersökningar, finns det heller ingen garant för tillförlitligheten.

Precis som för alla yrkesmän bör det vara självklart att vi tar ansvar för vårt hantverk. Att en mätning är korrekt genomförd och att slutsatserna är korrekta. Kunder, massmedia och allmänheten skall känna sig trygga i att undersökningsföretaget garanterar korrektheten.

En annan del i detta förtroende är oberoende, man måste kunna lita på undersökningsföretagets oberoende. Undersökningsbranschen bör inte driva några egna agendor kring de mätningar som vi genomför.

Oberoende, yrkeskunnande och ansvarstagande är de hörnstenar som undersökningsbranschens förtroende vilar på.

Torbjörn Sjöström, vd Novus

Axel Andén