Kritik mot att använda facebook som gallupmetod

August 6, 2018


I Nya Åland har två personer ifrågasätt valet av facebook som plattform för enkäter och opinionsundersökningar. Det är självklart helt ok att göra det och det är en mycket intressant frågeställning, men jag håller inte med i deras slutsatser.

De båda riktar in sig främst på att facebook inte kan anses var statistiskt korrekt, eftersom urvalet inte är slumpmässigt gjort.

 

 

En bakgrund varför jag har valt facebook som metod att få fram folks opinionen inför valet 2019 och inte någon annan teknik. Jag har resonerat enligt följande. För det första så har medialandskapet förändrats mycket och även folks beteenden har ändrats tack vare det.

 

Brevutskick/telefonintervjuer/personliga besök 

Det sätt som är bäst rent statistiskt, är att slumpmässigt välja ut vilka som skall deltaga från olika segment beroende på vad man skall ta reda på i enkäten. 

Utmaningarna är dock stora att få folk att svara på de statistiskt korrekta utskicken som t.ex ÅSUB brukar göra. Detta är ett  allmänt problem som hela forskarvärlden brottas med och det har krävt mycket arbete för att få in tillräckligt med svar så att man kan vikta de olika populationerna på ett korrekt sätt. Det är dessutom en mycket arbetsdryg, långsam och kostsamt sätt. Därav inte konstigt att det kostar ca. 11 000 € för att få igång opinionsundersökning till stånd och därmed i praktiken orealistiskt att få till en undersökning i månaden. Jag har inte själv ens tillgång till adressregister med med de nödvändiga uppgifterna för att slumpmässigt välja ut de som skulle vara med i enkäten. 

 

Webbenkäter

Det som kom först var att ha enkäter på internet, men det är otroligt enkelt att rösta hur många gånger som helst om man är lite bevandrad i teknik. Dessutom så har man ett problem med att få till det slumpmässiga urvalet eftersom isåfall skulle man behöva ha ett epostadressregister med demografiska uppgifter och om det var svårt förut, så har det tack vare GDPR blivit än svårare. 
 

Webbpaneler
Den senaste taktiken är att använda frivilligt anslutna personer till s.k. webbpaneler. Flertalet av de opinionstjänster som jobbar med svenska valet använder just den tekniken. De har också problemet med att få det slumpmässiga urvalet korrekt. Speciellt när de ofta samarbetar med ett mediahus som kan ha en viss typ av läsare. 

 

Min slutsats
Jag fundera ett bra tag på vilken typ av lösning som jag skulle använda av dessa, men det enda realistiska sättet att verifiera en person var att de skulle logga in med sina bankkoder. Det är ju visserligen fullt möjligt men det skulle bli en mycket dyr lösning och det skulle göra att tröskeln skulle bli onödigt hög för att vara med i gallupen. Jag funderade på att använda färdiga "survey" tjänster, men det det föll på att de inte var speciellt utformade för mina behov. Jag hade provat att göra ett antal enkäter på facebook, men problem där är att man inte är anonym och folk har flockbeteende, så snabbt blir ett populärt alternativ allt starkare. 
Däremot är facebook en bra plattform eftersom väldigt många människor finns med där, det finns alla varianter av människor, från att de som pratar och blandar sig i allt och ingenting till de som bara läser vad andra skriver. Alla demografer finns representerade från ung till gammal, men visst finns det de grupper som är över och under representerade, men det är just därför man viktar resultatet för att kompensera det. 

Jag har administrerat en av Ålands större diskussion grupper Åland Ekonomi och enda sedan starten 2011 har jag varit noga med att enbart godkänna äkta personer som medlemmar, snabbt lär man sig vilka som är äkta och vilka som är oäkta facebook profiler. 
 

Jag såg egentligen ingen skillnad ur ett  slumpmässigt hänseende att använda facebook istället för webbpaneler eller webbenkäter. Däremot såg jag enorma fördelar med att använda facebook connect för att verifiera vem personer är och när jag hade hittat tjänsten som kunde göra det så att jag först kan godkänna personen i facebook och att de sedan blir anonymiserade med ett unikt ID så var saken klar. 


Lite utdrag ur  Anders Gustafsson insändare

"Gallupar på Facebook har samma svaghet som att ställa sig på Torggatan och fråga. Man får inte ett urval som är representativt för väljarkåren, vilket gör resultatet skevt. Oberoende av hur många ålänningar som finns på Facebook så får man inte ett representativt urval där."
Svar: Det finns stora skillnader på att genomföra en gallup på en fysisk plats under max några timmar jämfört med att göra den 24/7 under tre dagar för alla som har ett facebook konto på Åland.  

 

Många har inte konton och många som har skapat konton är inte aktiva på Facebook så Anders Enges kritik är definitivt berättigad i detta fall. "

Svar: Fakta är att det är en övervägande större del som har ett facebook konto än som är utan på Åland. I dag kan man verifiera att det finns ca.78% av befolkningen som är över 18 år och satt in sin bostadsort någonstans på Åland, sedan finns det ett mörkertal på de som bor på Åland, men inte har satt in bostadsort, så de räknas inte in bland dem. 

I den senaste undersökningen i Sverige så är det 74% av svenskarna som använder facebook några gånger i månaden och 53% dagligen. Svenskarna och internet 2017

Jag ser ingen orsak varför våra facebook beteenden skulle vara markant annorlunda än svenskarnas. Här är det nog bra om du kommer med några siffror och fakta som säger att många inte är aktiva på facebook. 
 

"Mats skall ha en eloge för arbetet han lagt ned och transparensen i uträkningarna, men vad jag saknar i Åland Gallup är tydliga uppgifter om felmarginalen.

Utan denna kan man omöjligtvis dra några slutsatser och det är därför oerhört viktigt att media då de presenterar resultatet av dessa gallupar är tydliga med vilken osäkerhet en gallup har."

Svar: Tack för berömmet Anders och det finns en klar orsak varför jag inte kan ge tydliga uppgifter om felmarginalen. Helt enkelt eftersom jag inte kan använda mig av traditionella statistiska metoder. Det är dock inte unikt för just facebook utan alla brottas med detta som inte använder de traditionella metoderna. 

Jag passar på att citera Inizio (gör valprognoserna åt Aftonbladet)

"Vi på Inizio baserar våra undersökningar genomförda inom ramen för Schibsted/Inizios opinionspanel på en självrekryterad panel och vi följer riktlinjerna i ISO-standarden 26362 som gäller s.k. accesspaneler. Standarden föreskriver bl.a. att det inte är möjligt att redovisa osäkerhetsmått som en felmarginal. Vi kan heller inte redovisa bortfall på konventionellt sätt utan använder oss av begreppet deltagandegrad. Standarden talar också om hur man underhåller denna typ av paneler. Självrekryterade paneler är ett slags icke-sannolikhetsurval. Om man använder sådana måste man arbeta för att få så bra representation som möjligt genom att tillämpa vägningsförfaranden. Vi arbetar dessutom med att identifiera mätfelsmönster som inte verkar vara seriösa och personer som försöker svara flera gånger på samma undersökning.

 

Undersökningslandskapet håller på att förändras. Traditionella metoder baserade på sannolikhetsurval håller på att ersättas eller kompletteras av andra baserade på icke-sannolikhetsurval eller kombinationer av dessa. Dessutom har nya datakällor tillkommit, t.ex. data från sociala media och Big data. Vi ser redan undersökningar som utnyttjar skannerdata, sensordata, Twitter och Facebook, de båda första till och med i officiell statistik. Denna utveckling är en följd av svårigheterna att genomföra sannolikhetsurval. Bortfallet ökar dramatiskt i många undersökningar och ett av de grundläggande kraven på sannolikhetsurval, nämligen att varje enhet i populationen ska ha en känd sannolikhet större än noll att komma med i urvalet, är sällan uppfyllt på ett tillfredsställande sätt. Dessutom spelar faktorer som kostnader och snabbhet allt större roll. Studier där resultaten från undersökningar baserade på sannolikhetsurval och andra urval visar fortfarande på ett visst övertag för de förra men det beror också på hur mycket arbete som läggs ner på att skapa representativa paneler. Där lägger vi ned mycket arbete. Det förändrade landskapet har bara under de senaste fem åren resulterat i en mycket aktiv internationell utveckling av kombinationer av datakällor och utnyttjande av icke-sannolikhetsurval." Länk 

 

De avslutar med att hänvisa till dokument som visar riktlinjer för att hantera den nya situationen med att inte kunna ge använda icke-sannolikhetsurval "Organisationen AAPOR har publicerat en skrift om felmarginaler i urval som inte baseras på obundet slumpmässiga urval, så kallade OSU, som du kan läsa här: AAPOR_Guidance_Nonprob_Precision_042216

 

 

Slutord  

Om man dissar facebook som gallupmetod, så måste man även dissa Inizios/anftonbladets och de andra som använder liknande metoder.
Det vore även otroligt viktigt att t.ex ÅSUB gjorde en opinionsundersökning eller varför inte andra aktörer, så kan vi jämföra olika metoder. 

 

Länk: Anders Enges insändare 

 

 

Please reload

Our Recent Posts

Första "Folkets fråga"

February 29, 2020

December Gallup

January 26, 2020

Hur galluparna är gjorda

March 13, 2019

1/1
Please reload

Tags

Please reload

mobile: +358-4573135416

  • wikipedia

©2018 by Åland Gallup. created by MazocialMedia