Naar aanleiding van deze post op LinkedIn ben ik ‘s in de wereld van de online respondentwerving gedoken. De vraag bij de post in kwestie was waar het heen gaat met het onderzoeksvak als respondenten worden geworven om tegen betaling zoveel mogelijk enquêtes in te vullen. Het belangrijkste bezwaar is dat de kwaliteit en representativiteit van de respons achteruit gaat op het moment dat een leger beroepsrespondenten de hele dag niks anders doet dan vragenlijsten invullen om vervolgens geld of cadeaubonnen te incasseren. Via stellige reacties onder de betreffende post distantiëren ‘gedegen bureaus’ zich van dit soort praktijken, maar is dat terecht? Onderstaande visual stond bij de genoemde post en is een uitnodiging van EnquêteVergelijk. Deze uiting is vergelijkbaar met andere wervers in dit segment, die allemaal dezelfde stappen hanteren in hun werving: 1. gratis registreren 2. enquêtes invullen en 3. beloning ontvangen. Concurrenten van EnquêteVergelijk zijn o.a. Surveybee, Surveyswine, Panelchoice.nl, Panelxl.nl en Betaaldeonlineenquetes.nl.
Britse bureaus
Van de twee Nederlandse namen heb ik achterhaald wie erachter zitten. Dat zijn geen Nederlandse bedrijven maar Britse bureaus. Betaaldeonlineenquetes.nl is een handelsmerk van C2O Media en EnquêteVergelijk is van Marketing VF Ltd. Beide zijn gerespecteerde ondernemingen die wereldwijd respondenten werven en panels in de lucht houden. Marketing VF Ltd won onlangs nog een prestigieuze prijs in Engeland. De Engelse EnquêtesVergelijk-uitnodiging voor deelname is ziet er dan ook exact hetzelfde uit als de Nederlandse versie:
Eigen labels
Terug naar de post op LinkedIn. De reacties van de ‘gedegen bureaus’ onder die post zijn pittig. Kantar, SSI (Survey Sampling International) en GfK geven aan nimmer met dergelijke bureaus in zee te gaan. Sterker nog, ze zijn nog nooit benaderd, zo werd mij verteld. Dus als het goed is kom ik ook geen enquêtes van de ‘gedegen bureaus’ tegen als ik me inschrijf als nieuw panellid. Dat heb ik maar ‘s gedaan en ik kon via EnquêteVergelijk al na een paar minuten aan de slag. Ik kreeg per mail enquêtes aangeboden van o.a. MySurvey, Opinieland, GlobalTestMarket, Toluna, Ipsos i-Say, Stempunt en GfK. Ipsos en GfK kende ik wel, dat zijn immers ‘gedegen bureaus’, maar van die andere partijen had ik nooit gehoord.
Nader onderzoek leert dat GlobalTestMarket en MySurvey onderdeel zijn van Lightspeed en dat Lightspeed eigendom is van Kantar. Kantar kennen wij in Nederland als de moeder van TNS. Opinieland en BlauwNL zijn van SSI en gaandeweg blijkt dat Stempunt.nl van Motivaction is. Dat zijn toch stuk voor stuk ‘gedegen bureaus’.
Toluna is wat dat betreft een buitenbeentje. Het behoort tot een investeringsmaatschappij (ITWP Acquisitions LTD), die ook eigenaar is van Harris Interactive, voorheen onderdeel van Nielsen.
Het lijkt erop dat de ‘gedegen bureaus’ hun eigen labels hebben om respondenten en panels te werven en dat de partijen als EnquêteVergelijk, Surveybee en Surveyswine ‘concurrenten’ zijn. Met dat verschil dat zij geen eigen panels hebben, waar (de labels van) de ‘gedegen bureaus’ dat wel hebben.
Vergelijkbare wervingsmethoden
De wervingsmethoden van bureaus als EnquêteVergelijk en de labels van de ‘gedegen bureaus’ zijn overigens precies hetzelfde. Ze hanteren allemaal de drie en soms vier stappen om de aanstaande respondenten te bewegen om mee te doen. Onderstaand heb ik een aantal wervingsslogans op een rijtje gezet, waarbij het beeld ‘een pot nat’ opdoemt:
MySurvey doet er in de welkomstmail nog een schepje bovenop: “Je bent zojuist een wereld van beloningen en vermaak binnengetreden.” Eh, het gaat toch om serieus marktonderzoek?
Wel of geen samenwerking?
De vraag is wel wat het businessmodel is van die wervingsbureaus, waar de ‘gedegen bureaus’ openlijk afstand van nemen, terwijl ik als panellid wel enquêtes krijg aangeboden van die ‘gedegen bureaus’. Via EnquêteVergelijk kreeg ik een vragenlijst van een onderzoek dat ik als mediaprofessional herkende als een A-merk onderzoek van een dito bureau. Ik zal geen namen noemen.
Uiteraard heb ik dit bureau om commentaar gevraagd en die ontkende bij hoog en bij laag samen te werken met EnquêteVergelijk. Sterker nog, op het moment dat ik de vragenlijst van het A-merk onderzoek ontving, was er volgens het bureau helemaal geen veldwerk gepland voor dit onderzoek. “Je kan in het artikel zetten dat [bureau] geen directe samenwerking met deze partij heeft.” Op z’n minst vreemd.
Toen heb ik Marketing VF Ltd, de moeder van EnqueteVergelijk, maar ‘s om commentaar gevraagd. Volgens het Britse bureau is er wel degelijk sprake van een contract tussen het bureau in kwestie en Marketing VF Ltd. Jordan Eggar, senior accountmanager bij MVF, antwoordt desgevraagd: “This agency are a client of ours and we help them grow their panel size. EnqueteVergelijk.nl is a recruitment method we use.” Collega Phillippa Colville vult aan: “Our partners/clients, Toluna, GlobalTestMarket, Opinieland, GfK, PanelClix, Ipsos i-Say for example, give us on a monthly basis an allocation of panelists they would like us to recruit. We then use a variety of digital marketing methods to supply them with the requested number of panelists. Our site, EnqueteVergelijk, is one of the digital channels we use for panelist recruitment and in the majority of cases, our partners/ clients are familiar with our site. In fact, a lot of our clients have come to us after seeing our website and requesting for their campaign to be promoted on it.”
Zo wordt het een ja/nee-spelletje, waar ik verder niet tussen wil zitten. Toch nog één keer het bureau in kwestie gevraagd naar aanleiding van de reactie van Marketing VF Ltd en toen kreeg ik het antwoord dat Marketing VF Ltd toch wel bekend is binnen het bureau en dat Marketing VF Ltd samenwerkt met EnqueteVergelijk.nl. Oh, ok.
Kwaliteit
Terug naar de vraag of de geschetste wervingspraktijken invloed hebben op de kwaliteit van de respons. Op Twitter komen in dat kader de meest exotische berichten voorbij:
Er zit weinig tot geen verschil tussen de praktijken van wervingsbureaus – waar de ‘gedegen bureaus’ zo openlijk afstand van nemen – en de labels van de ‘gedegen bureaus’. Zie de eerdere tabel hierboven en ook dit overzicht.
Er wordt op grote schaal online geronseld en de vraag lijkt me dan ook terecht of dit ten koste gaat van de kwaliteit van de respons. Bij zelfaanmelding van respondenten is immers geen sprake van een a-selecte steekproef. Het verzamelen van bereidwillige respondenten in een panel verzwakt dit effect weliswaar, maar dan heb je nog steeds geen goede afspiegeling van de onderzoekspopulatie.
Partijen als het CBS en SCP werken om die reden nooit met dergelijke methoden. Door het Sociaal Cultureel Planbureau word ik gewezen op de FAQ’s op hun site: “Kan ik me aanmelden voor enquêtes?” Antwoord: “Het SCP werkt voor zijn enquêtes met steekproeven. Dat betekent dat uit de bevolking van Nederland op toevalsbasis mensen geselecteerd worden voor een onderzoek. Mensen kunnen zich dus niet zelf opgeven voor een onderzoek: het toeval bepaalt wie een uitnodiging voor de enquête krijgt. Dit gebeurt o.a. om te voorkomen dat vooral mensen meedoen die geïnteresseerd zijn in een bepaald onderwerp, of die veel gebruik maken van een bepaalde voorziening. Dat kan al gauw een vertekend beeld opleveren.”
Het CBS heeft zelfs een heel document (91 pagina’s) opgesteld, waarin beschreven wordt welke steekproefmethodes er binnen het instituut gehanteerd worden.
Voor veel enquêtes werkt het SCP samen met het CBS. Dat is bijvoorbeeld het geval bij het Onderzoek Culturele Veranderingen in Nederland, het Vrijetijdsonderzoek, het Tijdbestedingsonderzoek en het onderzoek naar Ouderen in Instellingen. Andere SCP-enquêtes worden uitgevoerd door marktonderzoekbureaus. Deze zijn aangesloten bij de Nederlandse organisatie van marktonderzoeksbureaus (de MOA). Daardoor is het zeker dat ze zich houden aan richtlijnen op het terrein van onderzoekskwaliteit en bescherming van persoonsgegevens.
ISO-normering
MOA voorziet in een kwaliteitsgarantie in de vorm van ISO-normeringen. De ISO-norm 26362 is speciaal bedoeld voor het exploiteren van accesspanels. Tevens geeft MOA een overzicht van de MOA-aangesloten bedrijven die zo’n normering hebben. De ‘gedegen bureaus’ staan daar voor het grootste gedeelte tussen, maar de wervingslabels van die ‘gedegen bureaus’ niet. Dus geen MySurvey, Lightspeed, GlobalTestMarket, Opinieland, Stempunt.nl etc. De enige partij die er wel ‘dubbel’ in staat is KIEN en hun panellabel Panelwizard. Beide hebben de ISO-norm 26362. Voor de ‘gedegen bureaus’ is nu niet duidelijk of de normering ook geldt voor hun panellabels. Andersom geldt voor Novio Research – onderdeel van DVJ Researchgroup – dat volgens de Novio-site ook een ISO-26362 heeft, maar niet apart wordt genoemd. Alleen de DVJ Researchgroup wordt door MOA genoemd als ISO-gecertificeerd.
Uiteraard heb ik MOA ook om een reactie gevraagd. Die reactie was tweeledig. Het eerste deel betreft het NOPVO-onderzoek uit 2006, het tweede deel gaat over de ISO-norm.
In 2006 heeft er onder auspiciën van de MOA een grootschalig onderzoek plaats gevonden naar onder andere de invloed van paneldruk en paneloverlap. Uit dat onderzoek, waaraan 19 panelbureaus deelnamen, bleek dat er inderdaad sprake was van paneloverlap, maar dat niet kon worden aangetoond dat die paneloverlap van invloed was op de kwaliteit van de data. Hetzelfde kon gezegd worden over de paneldruk, dat wil zeggen het aantal interviews dat in een bepaalde periode aan één dezelfde respondent wordt aangeboden.
Sindsdien is er geen vervolgonderzoek à la het NOPVO uitgevoerd.
Het onderzoek uit 2006 heeft gezorgd voor het opstellen van de ISO-norm die in 2009 van kracht werd. De reacties op het onderzoek waren destijds heftig. Een overzicht is hier te zien. Naar aanleiding van het feit dat het onderzoek tien jaar geleden werd gehouden verscheen in oktober vorig jaar dit artikel in Clou. In de laatste alinea lezen we: “De vraag is of zoiets (een nieuwe NOPVO-onderzoek, PW) überhaupt opnieuw op poten kan worden gezet en of bureaus happig zouden zijn om hier weer aan mee te doen. De uitkomsten kunnen namelijk niet welgevallig zijn, en het commercieel belang van panelonderzoek is de afgelopen tien jaar toegenomen.”
Voorlopig moeten we dus vasthouden aan de ISO-norm. MOA zegt hierover in een reactie:
Bij de panelbureaus, die zijn aangesloten bij de MOA, staat de kwaliteit van de panels op de eerste plaats. Deze bureaus zijn gecertificeerd op basis van een internationaal goedgekeurde ISO kwaliteitsstandaard voor (access) panels en handelen conform die richtlijnen. Zij worden daarop jaarlijks geaudit door onafhankelijke certificeringbureaus.
Gezien de uitkomsten van het NOPVO onderzoek uit 2006, verwachten we dat de impact van dit soort vergelijkingssites beperkt is. Daarnaast voeren de bureaus separate checks uit op invulpatronen, die er ook voor zorgen dat de respons kwaliteit van de panels op peil blijft.
Conclusie
Tijd voor een wrap-up. Het artikel is een beetje uit de hand gelopen qua lengte, maar hopelijk niet minder interessant. Laten we even teruggaan naar de aanleiding: een post op LinkedIn met een uiting van EnqueteVergelijk.nl en daarbij de vraag waar het heengaat in het onderzoeksvak. Onder die post stellige en vooral ontkennende reacties van ‘gedegen bureaus’ die niks te maken willen hebben met partijen als EnquêteVergelijk.
Eenmaal aangemeld bij EnquêteVergelijk blijkt dat de hele santenkraam voorbijkomt en wat licht deskresearch laat zien dat er door de ‘gedegen bureaus’ op exact dezelfde wijze wordt geworven als EnqueteVergelijk, maar dan veelal onder een ander label. Ik zie in ieder geval geen verschil.
Het onderscheid waar precies de ISO-norm voor geldt is op basis van het overzicht van MOA niet helder. Is dat alleen voor de ‘gedegen bureaus’ of ook voor de labels die ze hanteren? Wat dat betreft zou de lijst wat specifieker mogen zijn.
Natuurlijk is het een kwestie van prijs en uiteindelijk betalen de opdrachtgevers voor hetgeen zij vragen. ‘k Vraag me dan wel af of het altijd duidelijk is voor de opdrachtgevers waar en in welk panel het onderzoek wordt gehouden en of de kwaliteit inderdaad zo gewaarborgd is, zoals de ISO-norm doet vermoeden.
Goed stuk. Ik houd mijzelf ook al tijden bezig met de slechte kwaliteit van peilingen uit online panels op basis van zelfselectie. Mocht je geïnteresseerd zijn, neem dan een kijkje op mijn weblog peilingpraktijken.nl. Daar staan vele voorbeelden van slechte peilingen. Ook kun je daar nog wat publicaties over dit onderwerp vinden.
Jelke Bethlehem
Dank je Jelke!! Ik ga zeker op je blog kijken.