Missvisande journalistik om Löfven-effekt

När Håkan Juholt valdes till partiledare för socialdemokraterna förra våren och socialdemokraternas opinionssiffror strax därefter steg var journalisterna snabba med att tala om en ”Juholt-effekt”. Detta kritiserade jag då i ett par inlägg med rubrikerna Oseriöst om Juholt-effekten och Juholt-effekten som uteblev. Historien sedan dess visar också med all tydlighet att det var missvisande att tala om en Juholt-effekt.

Av detta tycks medierna emellertid inte ha lärt någonting. När nya opinionsundersökningar nu visar ett ökat stöd för socialdemokraterna tolkas detta av många som bevis för en ”Löfven-effekt”. Exempelvis skriver Göteborgs-Posten om Löfven-effekt i GP/Sifo, medan Aftonbladet i en rubrik har talat om Löfven-effekt direkt för S. Senast igår slog makthavare.se fast att det är en Tydlig Löfven-effekt i opinionen.

Att socialdemokraterna har gått framåt i de senaste opinionsundersökningarna råder det inget tvivel om, men det är inte liktydigt med en ”Löfven-effekt”. Det ökade stödet för socialdemokraterna kan bero på en rad olika faktorer, varav valet av Stefan Löfven till ny partiledare bara är en. Dit hör inte minst att mediebevakningen av socialdemokraterna har skiftat från att handla om problem och interna konflikter till att handla om hur socialdemokraterna sluter upp bakom Löfven, om Löfven själv och om det nya lag av medarbetare som han har utsett. Efter en lång period av negativ mediebevakning och sjunkande opinionsstöd är det heller inte konstigt som stödet ökar när mediebevakningen blir mer positiv och det framstår som om socialdemokraterna har hittat en väg ut ur de interna konflikterna.

Minst lika viktigt är emellertid att det är oklart vad som egentligen ska räknas som en ”Löfven-effekt” eller en partiledareffekt i allmänhet, och att de publicerade opinionsmätningarna inte ger underlag för att  bedöma om det ökade opinionsstödet verkligen beror på partiledarbytet eller på andra faktorer. Som Henrik Oscarsson konstaterar i ett mycket läsvärt inlägg med rubriken Vad är Löfveneffekten?, för att verkligen kunna bedöma orsakerna till det förändrade opinionsstödet behöver man veta ”om, hur och på vilket sätt väljarnas syn på Socialdemokraterna som parti, dess organisation, ideologi, positionstaganden och strategier förändrats av ledarskiftet”. Och han fortsätter:

Nyheten om ledarskiftet kan i sig självt ha producerat en mobilisering av ett latent sympatikapital utan att S-sympatisörer fördenskull har den blekaste aning om vem Stefan Löfven är (Hur många politiska journalister har inte själva förväxlat ”Håkan” med ”Stefan” under den senaste veckans kommentarer). Det finns ett helt grundlöst antagande bakom allsköns tal om snabba direkta partiledareffekter är att man tror att personen omedelbart blir känd av i princip alla. Samtidigt vet vi att det kan ta mycket lång tid innan en partiledare närmar sig något som liknar att vara ”allmänt känd”. Några undersökningar av hur kända våra partiledare egentligen är har vi dock inte tillgång till annat än genom SOM-institutets undersökningar varje höst; trots att det är närmast grundkurs i marknadsundersökningar att studera hur kända de ”varumärken” man mäter egentligen är.

Många väljares relationer till partiet Socialdemokraterna bygger på livslånga egna erfarenheter som orimligen kan kan mäta sig med väljarnas samlade erfarenheter av Stefan Löfven. Min huvudpoäng är att det finns en hel hög med alternativa förklaringar till Socialdemokraternas treprocentiga lyft i opinionen under senaste månaden som vi tyvärr inte har möjlighet att pröva systematiskt i brist på relevant empiriskt underlag. Ledarskiftet har inte minst inneburit även ett skifte när det gäller mediernas bevakning, granskning och gestaltning av Alliansregeringen. Det känns dock främmande att betitla även den typen av förklaringar som en Löfven-effekt.

Denna analys delar jag fullständigt. I bästa fall är det för tidigt att tala om en ”Löfven-effekt”, i sämsta fall är det missvisande och felaktigt. Oavsett vilket tenderar medierna att systematiskt överskatta partiledarnas roll och underskatta partiernas och de politiska budskapens roll. Därför finns det all anledning att förhålla sig väldigt skeptisk varje gång medierna diskuterar olika partiledareffekter.

Juholt-effekten som uteblev

För någon vecka sedan kritiserade jag Aftonbladet och deras tes om en så kallad Juholt-effekt. Grundargumentet var dels att det inte gick att dra några slutsatser om en eventuell Juholt-effekt utifrån den opinionsundersökning som Aftonbladet förlitade sig på, dels att det är alldeles för tidigt att dra några slutsatser om hur socialdemokraternas opinionssiffror kommer att påverkas av att Juholt blivit ny partiledare. Intressant nog redovisar Dagens Nyheter idag en opinionsundersökning enligt vilken Juholt-effekten uteblev bland riksdagsväljarna.

Samtidigt som det är frestande att säga ”vad var det jag sa” är det mer intressant att fundera över den journalistiska logik som har utvecklats där man först på skakiga grunder blåser upp och gör en nyhet av ett påstått fenomen, för att sedan göra nya nyheter om att fenomenet inte var verkligt.

Även om det i just det här fallet handlar om olika tidningar kan detta ses som en indikation på en journalistisk logik där det intressanta och väsentliga inte är vad som faktiskt har hänt, utan ett politiskt spel där det som eventuellt kan hända, eller inte har hänt trots att det har påståtts av andra medier att det ska hända, ges lika stor eller större vikt än vad som de facto har hänt och som kan verifieras.

Det är en journalistik frikopplad från idén om att journalistikens kärna – och det som brukar benämnas mediernas demokratiska uppgift – handlar om att först kontrollera sanningshalten i och först sedan publicera sådan information som människor behöver för att kunna informera sig samt fritt och självständigt ta ställning i samhällsfrågor. Det är också en form av journalistik som frestar på mediernas trovärdighet och legitimitet som centrala aktörer i demokratins tjänst.

Oseriöst om Juholt-effekten

Igår presenterades en ny opinionsundersökning från United Minds i Aftonbladet, och redan nu går det enligt Lena Mellin och Aftonbladet att upptäcka en ”Juholt-effekt”. I en kolumn skriver Lena Mellin att:

Under den första delen av mätperioden låg socialdemokraterna på 26,3 procent. Så många skulle rösta på dem om det vore val idag. Men mellan den 11 och 13 mars, alltså fredag, lördag och söndag, tog stödet för Socialdemokraterna ett raketskutt till 34,4 procent. Juholt-effekten, om man på detta tidiga stadium törs kalla förändringen så, tycks alltså vara hela 8,1 procent.

Och hon fortsätter:

Det säger en del om hur mycket S-väljare och sympatisörer längtat efter en ny ledning sedan Mona Sahlin abdikerade i mitten av november. Sedan dess har hon bara gjort sporadiska framträdanden på den svenska arenan. Det räcker med att hennes efterträdare visar sig på en presskonferens och säger att den som står mitt i solskenet bör hålla i paraplyet åt den som står i ösregnet så skjuter opinionssiffrorna i höjden. Det är nästan rörande. S-väljarna har så att säga skådat frälsaren.

Om den här artikeln kan man säga mycket, men viktigast är att det ännu inte går att dra några som helst säkra slutsatser om hur opinionen har eller kommer att påverkas av förslaget och det troliga valet av Håkan Juholt till ny partiledare för socialdemokraterna. Inte ens den mätning som Lena Mellin och Aftonbladet redovisar ger någon vägledning. Visserligen ökade stödet för socialdemokraterna efter att förslaget om Håkan Juholt som ny partiledare hade presenterats, men av de totalt 1337 personer som ingår i United Minds undersökning svarade bara 246 personer efter att Håkan Juholt hade presenterats.

Totalt 246 personer är helt enkelt för lite för att några slutsatser ska kunna dras. Förutom att det är få personer vet vi ingenting om hur representativa de är för övriga svarande eller befolkningen i dess helhet. Att de svarade under helgen gör dock sannolikheten stor att de inte är representativa.

Med andra ord går det inte att dra några som helst slutsatser om en eventuell Juholt-effekt. Det är fullt möjligt, till och med troligt, att stödet för socialdemokraterna kommer att öka framöver, men det är alldeles för tidigt att dra några slutsatser. Om stödet för socialdemokraterna ökar framöver behöver det inte heller handla om någon Juholt-effekt: det kan lika gärna handla om att den stökiga processen att hitta en ny partiledare och den negativa mediebevakningen som följt på den processen är över.

Det enda som är säkert så här långt är att Aftonbladet ännu en gång ägnar sig åt oseriös opinionsjournalistik. Det är både beklagligt och sorgligt och sänker förtroendet för Aftonbladet ytterligare. Att tidningen själv noterar att det bara var 246 personer som svarade i undersökningen efter att Juholt hade presenterats väger inte upp det, utan snarare tvärtom. Det visar att tidningen – eller Lena Mellin – är medveten om att det inte går att dra några slutsatser, men trots det går hon vidare och diskuterar Juholt-effekten som om den vore verklig.

Bra inlägg om opinionsundersökningsbranschen

I dagens Dagens Nyheter skriver Karin Nelsson, vd för undersökningsföretaget Synovate, en intressant debattartikel om behovet av att opinionsmätningar är korrekta och att företagen i branschen håller en hög etik. Mycket riktigt påpekar hon att ”Allmänheten måste kunna lita på att det som ett undersökningsföretag levererar är just en undersökning och inte ett resultat. Undersökningsföretaget skall inte acceptera uppdrag som innebär att man försöker köpa en opinion eller där man vill mörka vem som står bakom en undersökning. Det kan kosta kunder, men som ett seriöst företag måste man avstå från sådant. Man skall inte kunna köpa en opinion.”

I vilken utsträckning problemet med opinionsmätningar är bristande kvalitet på mätningarna och bristande etik hos undersökningsföretagen, respektive bristande kvalitet på redovisningarna och mediernas bevakning av dem, låter jag vara osagt. Att det finns stora problem med sättet som medierna redovisar och bevakar opinionsmätningar är helt klart. Helt klart är också att det är viktigt att undersökningsföretagen och opinionsmätningarna har ett stort förtroende hos allmänheten, eftersom viljan att delta i undersökningarna annars riskerar att gå ner ännu mer än vad den redan har gjort. Ur det perspektivet håller jag med Karin Nelsson när hon skriver att:

Från branschens sida måste vi ta ett tydligare ansvar när det gäller att säkerställa att de mätningar som publiceras är korrekta och genomförda på ett etiskt sätt. Det krävs också att det finns möjligheter att komma åt de oseriösa företagen. Här brister det i dag och i praktiken saknas effektiva sanktioner mot dem som uppträder oetiskt. Etiska Rådet för Marknadsundersökningar och SMIF (Svenska Marknadsundersökningsföretag) kan i dag klandra företag som missköter sig men det sker sällan och sanktionsmöjligheterna är högst begränsade. Dessutom kan Marknadsdomstolen stoppa marknadsföring som är felaktig. Det är bra.

Marknadsdomstolen kan emellertid inte göra något åt felaktiga eller vilseledande mätningar som inte används i marknadsföringssyfte, exempelvis opinionsmätningar.

Certifieringar och kvalitetsmärkningar finns i många andra branscher som revision och VVS-installation och många produkter har märkningar för att signalera att de uppfyller exempelvis miljökrav. Det behövs sannolikt någon form av kvalitetsmärkning eller certifieringsförfarande även för undersökningstjänster även om formerna för detta – liksom exakt vilka krav som bör ställas – inte ännu är klara. Kanske behövs också en opinionsundersökningsombudsman?

Vi vill därför bjuda in branschorganisationerna och företagen i branschen för att diskutera dessa frågor. Klart är att det behövs krafttag för att se till att förtroendet för opinionsmätningarna och för undersökningsföretagen upprätthålls.

Drevet mot Mona Sahlin och socialdemokratins problem

Kritiken mot Mona Sahlin växer, även om få öppet kritiserar henne. Enligt en ny opinionsundersökning som Novus gjort på uppdrag av TV4 Nyheterna har bara 44 procent av socialdemokratiska väljare mycket eller ganska stort förtroende för Mona Sahlin, jämfört med 63 procent i mars. Resultaten visar också att 45 procent svarar att hon bör avgå, 37 procent att hon bör sitta kvar, medan 18 procent svarar vet ej. På frågan Vem av följande tycker du skulle passa bäst som partiledare för Socialdemokraterna blev resultatet:

Margot Wallström 34%
Thomas Bodström 18 %
Mona Sahlin 18%
Ulrica Messing 4%
Sven-Erik Österberg 2%
Veronica Palm 2%
Ilija Batljan 2%
Pär Nuder 2%
Thomas Östros 1%
Carin Jämtin 1%
Ylva Johansson 1%
Morgan Johansson 1%
Anneli Hulthén 1%
Ingen av dessa 4%
Vet ej 10%
Källa: Novus Opinion

Förutom att opinionsundersökningen är ett bra exempel på när medierna skapar nyheter snarare än speglar dem är frågan hur man ska tolka resultaten. Givetvis är det inte bra för vare sig Mona Sahlin eller socialdemokraterna när nyheterna domineras av interna konflikter, ifrågasättanden, och lågt förtroende för partiledaren. Hur genomtänkta svaren i opinionsundersökningen är och vilken betydelse dagens förtroendesiffror kommer att ha vid kommande val – om Mona Sahlin sitter kvar – är dock en helt annan fråga.

Här kan man dra en parallell till folkpartiet och Lars Leijonborg. Efter katastrofvalet 1998 var det många som hävdade att Lars Leijonborg måste ersättas eftersom det skulle vara omöjligt att nå valframgång med honom som partiledare. Favoritkandidaten hos många var Peter Örn, tidigare partisekreterare men sedan 1994 generalsekreterare för svenska Röda Korset. Precis som Margot Wallström var han obefläckad av aktuella politiska strider. Det dröjde dock bara till valet 2002 och helt plötsligt fick folkpartiet den framgång som många trodde var omöjlig med Lars Leijonborg som partiledare, och själv fick han epitetet ”Leijonkungen”.

Av detta och forskning kring partier och partiledarnas betydelse kan man dra flera lärdomar. För det första, det är lätt att vara kritiskt mot sittande partiledare men att en partiledare har misslyckats i ett val behöver inte betyda att han eller hon är dömd att misslyckas. Det går att vända motgång till framgång. För det andra, det är lätt att projicera förhoppningar och förväntningar på personer som står utanför aktuella strider. Det behöver inte betyda att de skulle fungera bättre som partiledare. Om de skulle tacka ja skulle de snabbt dras in i dagspolitiken och glansen börja mattas av. För det tredje, som personer betyder partiledarna mindre för valresultatet än vad många tror. För det fjärde, en av partiledarnas absolut viktigaste uppgifter handlar om att sätta bilden av partiet och vad det står för. Genom att förändra bilden av vad partiet står för kan en partiledare leda sitt parti till framgång även om han eller hon inte är jättepopulär som person. Det var detta Lars Leijonborg lyckades med. För det femte, en förutsättning för att en partiledare med styrka ska kunna sätta bilden av partiet är att han eller hon har internt stöd.

Det är naturligt att socialdemokraterna nu har en intensiv intern debatt om både politik och person, men i det långa loppet är politiken viktigare än personerna. Vid någon tidpunkt som inte ligger allt för långt fram i tiden måste socialdemokraterna bestämma sig för att antingen stödja eller ersätta Mona Sahlin. Det mest förödande för socialdemokraterna vore om Mona Sahlin satt kvar utan intern legitimitet och utan intern uppbackning.

Så klarade sig opinionsinstituten

Även om vi inte vet säkert ännu tyder mycket på att det publicerades fler opinionsmätningar under valrörelsen 2010 än någonsin tidigare. Samtidigt diskuterades opinionsmätningarnas betydelse mer än under tidigare valrörelser. Den stora frågan, nu när valet är över, är hur de olika opinionsinstituten egentligen klarade sig. Vilket opinionsinstitut lyckades komma närmast valresultatet, och vilket opinionsinstitut lyckades sämst?

För att undersöka detta har jag jämfört den senaste opinionsundersökningen från respektive opinionsinstitut med valresultatet och räknat ut den genomsnittliga procentavvikelsen. I nästan samtliga fall lyckades de olika opinionsinstituten träffa väldigt rätt när det gäller något enskilt parti, men viktigare är hur bra de i genomsnitt lyckades.

När det gäller hur bra opinionsinstituten var på att fånga valresultatet på partinivå visar resultatet visar att Synovate, som genomförde opinionsundersökningarna åt Dagens Nyheter, lyckades bäst, och att United Minds, som genomförde opinionsundersökningarna åt Aftonbladet, lyckades sämst. Medan det är ganska jämnt i toppen avviker United Minds tydligt i botten, och det finns skäl för både dem och Aftonbladet som anlitade dem att se över sina metoder. Den genomsnittliga procentavvikelsen på partinivå för de olika opinionsinstituten var följande:

Skop: 0,92 procent

Novus: 0,77 procent

Demoskop: 0,72 procent

Sifo: 0,74 procent

Synovate: 0,66 procent

United Minds: 1,36 procent

Om man istället för att undersöka den genomsnittliga procentavvikelsen på partinivå studerar den genomsnittliga procentavvikelsen för de båda blocken visar resultatet följande:

Skop: 0,3 procent

Novus: 0,4 procent

Demoskop: 1,6 procent

Sifo: 1,1 procent

Synovate: 0,5 procent

United Minds: 1,3 procent

Medan Synovate lyckades bäst på partinivå lyckades Skop bäst på blocknivå. I det senare fallet är dock skillnaderna mellan Skop, Novus och Synovate mycket små, och samtliga har anledning att känna sig nöjda. De som lyckades sämst var Demoskop och, återigen, United Minds.

Vad detta visar är framförallt två saker. För det första, olika opinionsinstitut var olika bra på att fånga opinionen i valrörelsens slutskede. För det andra, opinionsmätningar är inte samma sak som valresultat. Det har sagt otaliga gånger under valrörelsen, men med tanke på all den uppmärksamhet som medierna riktar mot opinionsmätningarna förtjänar det att sägas igen. Och igen. Och igen.

Ny Sifo-mätning och debatt mellan Reinfeldt och Sahlin

Så har ännu en ny opinionsmätning publicerats. Den här gången är det Svenska Dagbladet som redovisar den senaste Sifo-undersökningen. Enligt den leder den borgerliga alliansen med 51,7 procent mot de rödgrönas 42,0 procent. Skillnaden mellan blocken är statistiskt signifikant, och för de rödgröna markerar detta ännu en dålig nyhet. Ser man till de enskilda partierna är två förändringar statistiskt säkerställda: en minskning med 2,6 procent för miljöpartiet och en ökning med 2,2 procent för kristdemokraterna.

Det är nu mycket svårt att se vad som skulle kunna förändra valrörelsens dynamik på ett sätt som leder till att den borgerliga alliansen förlorar och de rödgröna vinner regeringsmakten, även om vi vet att cirka en tredjedel bestämmer hur de ska rösta först under sista veckan. Förändringar kan därför ske, inte minst när det gäller de enskilda partierna. Frågan om ifall sverigedemokraterna kommer in i riksdagen är också fortfarande öppen. Valet är därför på inget sätt avgjort.

Dessutom kvarstår åtminstone två medierade händelser som kan få betydelse. Det handlar för det första om debatten mellan Fredrik Reinfeldt och Mona Sahlin i Sveriges Television ikväll, och för det andra om den avslutande partiledardebatten i SVT på fredag. Det ska bli mycket spännande att se dessa debatter, och om de får någon effekt på opinionen och valresultaten. Givet tidigare forskning – framförallt utomlands men i viss utsträckning också i Sverige – vet vi att partiledardebatter kan få betydande effekter, men det är inte alltid de har det. Det återstår att se om de två debatterna i SVT kommer att befästa eller förändra opinionsläget och utsikterna för partierna inför valdagen.

Så tolkar man en opinionsundersökning

Idag medverkar jag och andra forskare i en artikel på DN.se som handlar om hur man bör tolka opinionsundersökningar. Tyvärr publicerades den inte i papperstidningen – åtminstone inte i den upplaga som kommer till Sundsvall – men artikeln är viktig och kan rekommenderas.

Guide till opinionsmätningar

Idag publicerar Svenska Dagbladet en artikel med rubriken Hitta rätt i sifferdjungeln, som handlar om vad man bör tänka på när man läser artiklar eller hör och ser inslag som redovisar resultat från olika opinionsmätningar. Jag intervjuades för artikeln förra veckan och artikeln bygger bland annat på det samt på den här och Henrik Oscarssons blogg. Det är en både välskriven och viktig artikel som förtjänas att läsas av såväl vanliga mediekonsumenter som journalister som rapporterar om opinionsmätningar.

Att manipulera opinionen med opinionsmätningar

På dagens DN debatt skriver Gustav Fridolin, miljöpartiet, en artikel om hur Shell har försökt manipulera opinionen med hjälp av en vinklad opinionsmätning. Enligt opinionsmätningen var 74 procent av skåningarna positiva till att Shell provborrar efter naturgas i skåne, men enligt Fridolin är det resultatet inte tillförlitligt. Istället är det ett resultat av hur frågorna är ställda. Genom att inte tydliggöra att naturgas är en fossil gas och genom att ställa en rad ledande frågor fick Shell fram ett resultat som stödjer den egna verksamheten och politiken. Utan att granska undersökningen tillräckligt rapporterade sedan TT om den.

Det är en mycket läsvärd artikel som kan rekommenderas, och av allt att döma har Fridolin rätt i sin kritik mot både Shell och TT. Det är allt för vanligt att företag, intresseorganisationer och partier på olika sätt och med hjälp av opinionsundersökningar försöker framställa opinionen på ett sätt som stödjer den egna linjen – och att medierna går på det och publicerar nyheterna utan att granska om och i vilken utsträckning undersökningarna är tillförlitliga.

Det största problemet när det gäller att undersöka opinionen är nämligen inte att manipulera opinionen. Genom det sätt som frågorna och svarsalternativen är formulerade och genom ordningen som frågorna ställs på kan man relativt enkelt öka sannolikheten att människor svarar på ett relativt förutsägbart sätt. Det stora problemet är att undersöka opinionen på ett sätt som ger så rättvisande och sanna bilder som möjligt.

För att förstå varför måste man komma ihåg att i de flesta frågor har människor inga egentliga opinioner, i betydelsen genomtänkta åsikter. Ju mer komplexa frågorna är och ju längre bort från den egna vardagen frågorna ligger, desto mindre är sannolikheten att människor har genomtänkta åsikter om dem. Ändå tenderar människor att svara på de frågor som ställs i opinionsmätningar. Frånvaron av egna genomtänkta åsikter gör emellertid att frågeformuleringarna och svarsalternativen kan få avgörande betydelse.

Ett bra exempel på problemen med opinionsundersökningar som handlar om människors åsikter i olika sakfrågor är amerikanska experiment, där människor har tillfrågats om lagförslag som överhuvudtaget inte existerar: trots att frågorna handlade om icke-existerande förslag svarade människor på frågorna. En del var emot, andra var för – som om det handlade om något verkligt, något existerande.

Med detta vill jag inte ha sagt att jag är emot opinionsundersökningar i sig. Det är jag inte. Opinionsundersökningar är en fantastisk metod för att undersöka människors åsikter, men precis som alla andra metoder finns det bra och dåliga sätt att använda dem. De kan både nyttjas och utnyttjas, brukas och missbrukas.

Tyvärr är det allt för vanligt att opinionsundersökningar missbrukas av företag, intresseorganisationer och partier. Det är också allt för vanligt att medier inte granskar de opinionsundersökningar som redovisas tillräckligt noggrant. Varje gång medierna misslyckas med att granska opinionsundersökningar tillräckligt noggrant reducerar de sig själva till villiga redskap i händerna på dem som försöker påverka opinionen genom att framställa det som om de bara speglar den.

För den som är intresserad av att lära sig mer om opinionsundersökningar och deras styrkor och svagheter, möjligheter och problem, finns det många böcker att läsa. Tre relativt nya böcker som kan rekommenderas är:

– Medierna: folkets röst?, av Olof Petersson (red) (2008). Den går även att ladda ner gratis här.

– The Opinion Makers. An Insider Exposes the Truth Behind the Polls, av David W. Moore (2008)

– The Illusion of Public Opinion. Fact and Artifact in American Public Opinion Polls, av George F. Bishop (2005)