Field di ricerca online

Esomar 28 questions to help research buyers of online samples

L'utilizzo di Internet nelle indagini di mercato, e dei panel online in particolare, è una tecnica di ricerca relativamente recente.
Ci vorrà del tempo perché si individuino in modo condiviso gli standard di qualità in materia e gli stessi siano adottati dall'industria.

Al momento si riscontrano differenze anche significative tra i diversi fornitori dei servizi di ricerca online. Per i committenti che desiderano avvalersi di tale modalità e valutare l'offerta di una società di ricerche in relazione alle ricerche online, Esomar ha predisposto un insieme di 28 domande che si ritiene compongano le basi di una discussione metodologica sul tema.
I fornitori di soluzioni di ricerca online che abbiano definito le proprie metodologie di indagine e si siano dotati di panel di individui sono invitati a rispondere alle domande che seguono.
In questo modo, la decisione di procedere o no con il lavoro potrà essere presa sulla base di indicazioni precise e confrontabili tra i diversi possibili fornitori.

Human Highway aderisce alla proposta di Esomar di rispondere a 28 domande sul modo di gestire un panel di ricerca online.
L'introduzione del presente documento e i testi delle domande sono stati presi dal sito di Esomar e liberamente tradotti da Human Highway.
Le risposte alle domande sono quindi prodotte da Human Highway e si riferiscono alla prassi di lavoro sul panel di indagine OpLine.

    Introduction

    The primary aim of these 28 Questions is to increase transparency and raise awareness of the key issues for researchers to consider when deciding whether an online sampling approach is fit for their purpose. Put another way, the aim is to help researchers to ensure that what they receive meets their expectations. The questions are also designed to introduce consistent terminology for providers to state how they maintain quality, to enable buyers to compare the services of different sample suppliers. Notes on the context of the questions explain why the questions should be asked and which issues researchers should expect to be covered in the answer.

    These new questions replace ESOMAR's "26 Questions to help Research Buyers of Online Samples". ESOMAR has updated the text to recognize the ongoing development of techniques. While some of the questions remain constant, new questions have been added to incorporate new techniques and new technology in this area. In particular, this revision recognises the broad trend within the industry to build online samples from multiple sources rather than relying on a single panel.

    It should be noted that these 28 Questions focus on the questions that need to be asked by those buying online samples. If the sample provider is also hosting the data collection you will need to ask additional questions to ensure that your project is carried out in a way that satisfies your quality requirements.

    The 28 Questions complement ESOMAR's Guideline to Online Research which was revised in 2011 to add updated legal and ethical guidance and new sections on privacy notices, cookies, downloadable technology and interactive mobile.

    Company profile

  1. What experience does your company have in providing online samples for market research? Context: This answer might help you to form an opinion about the relevant experience of the sample provider. How long has the sample provider been providing this service and do they have for example a market research, direct marketing or more technological background? Are the samples solely provided for third party research, or does the company also conduct proprietary work using their panels?

    Human Highway in undici anni di attività ha condotto 704 interventi di ricerca online, 546 sul proprio panel di popolazione (OpLine), 158 su campioni di Customer/ User Base, ha invitato a partecipare alle indagini 2.952.958 individui e raccolto via Web 806.884 questionari compilati.

    L'esperienza acquisita ha prodotto una profonda consapevolezza sui problemi del campionamento derivante dalla prassi di ricerca online.

    Il problema è causato dal fenomeno dell'autoselezione e altera sempre, anche se in misura diversa, la struttura dei campioni di rispondenti. Tuttavia, il bias provocato dall'autoselezione agisce sempre nella stessa direzione e questo rende il fenomeno prevedibile e controllabile con opportuni metodi di analisi e ponderazione.

    I test effettuati negli anni hanno permesso di provare che l'autoselezione non dipende dal metodo di reperimento. Human Highway ha introdotto nel proprio panel migliaia di individui con diversi sistemi di reclutamento: offline (a seguito di interviste CAPI), attraverso DEM o campagne online, con il passaparola, con una campagna pubblicitaria radiofonica. L'alterazione del profilo dei rispondenti rispetto al profilo della popolazione agisce sempre nella stessa direzione e con fattori simili di disproporzionalità.

    2. Sample sources and recruitment

  2. Please describe and explain the type(s) of online sample sources from which you get respondents. Are these databases? Actively managed research panels? Direct marketing lists? Social networks? Web intercept (also known as river) samples? Context: The description of the types of sources a provider uses for delivering an online sample will provide insight into the quality of the sample.

    OpLine, il panel di popolazione di Human Highway è un "active managed panel". Non una lista, non una community e neanche un sistema alimentato da uno o più siti di riferimento (Web Intercept).

    Il panel OpLine si compone di decine di migliaia di individui con diversi sistemi di reclutamento: porta a porta (a seguito di interviste CAPI), attraverso DEM o campagne online, con il passaparola, con una campagna pubblicitaria radiofonica.

    Dal 2007 l'unico sistema di reclutamento attivo è il passaparola.

    OpLine dispone dal 2012 anche di una pagina Facebook per pubblicizzare la propria attività ma non utilizza questo canale né per gli inviti alle surveys né come strumento di profilazione.

  3. If you provide samples from more than one source: How are the different sample sources blended together to ensure validity? How can this be replicated over time to provide reliability? How do you deal with the possibility of duplication of respondents across sources? Context: The variation in data coming from different sources has been well documented. Overlap between different panel providers can be significant in some cases and de-duplication removes this source of error, and frustration for respondents.

    Nei casi (raro, sinora avvenuto solo nell'1% dei casi) in cui i campioni di OpLine debbano essere integrati con il contributo di campioni di altri panel, il controllo di eventuali duplicati viene fatto sulla base della combinazione delle informazioni sullo User Agent e l'indirizzo IP.

  4. Are your sample source(s) used solely for market research? If not, what other purposes are they used for? Context: Combining respondents from sources set up primarily for different purposes (like direct marketing for example) may cause undesirable survey effects.

    Sì, le persone aderenti a OpLine sono invitate solo a partecipare alle indagini di Human Highway. Non solo: le persone di OpLine non sono mai state invitate a partecipare a questionari diversi da quelli proposti da OpLine (es.: questionari di altri istituti di ricerca).

  5. How do you source groups that may be hard to reach on the internet? Context: Ensuring the inclusion of hard-to-reach groups on the internet (like ethnic minority groups, young people, seniors etc.) may increase population coverage and improve the quality of the sample provided.

    Sappiamo che alcuni segmenti di popolazione sono sotto-rappresentati in OpLine oppure non sono disponibili nella numerosità richiesta dal cliente.

    Ciò può essere dovuto a due fattori:

    • si sta cercando di rappresentare con un campione di individui presenti sulla Rete un segmento di popolazione poco affine alla Rete (es.: i pensionati). In questo caso pensiamo che la metodologia di ricerca online non sia né corretta né efficace.
    • si sta cercando un segmento (target) a bassissima incidenza nella popolazione generale (es.: uomini possessori di una cerca marca di auto, con penetrazioni pari a pochi punti percentuali, o anche inferiori). In questo caso proponiamo la combinazione di un campione prodotto da OpLine con altri campioni selezionati da panel di istituti/ field provider di comprovata qualità. Una seconda alternativa, efficace ma non sempre rigorosa, è il campionamento di tali segmenti su communities/ siti Web con buona affinità al tema dell'indagine

  6. If, on a particular project, you need to supplement your sample(s) with sample(s) from other providers, how do you select those partners? Is it your policy to notify a client in advance when using a third party provider? Context: Many providers work with third parties. This means that the quality of the sample is also dependent on the quality of sample providers that the buyer did not select. Transparency is essential in this situation. Overlap between different providers can be significant in some cases and de-duplication removes this source of error, and frustration for respondents. Providers who observe process standards like the ISO standards are required to give you this information.

    La necessità di ricorrere a un'integrazione di un campione di OpLine si può presentare nei casi (piuttosto rari, inferiori al 5%) di indagine su target che presentano un'incidenza molto bassa nella popolazione. La selezione dei partner è effettuata prendendo in considerazione lo stile e i processi di lavoro, valutati proprio attraverso alcune delle 28 risposte alle domande di questo documento.

    Nel caso di ricorso a panel di terze parti informiamo sempre in anticipo i nostri clienti e, al termine del lavoro, forniamo loro tutte le informazioni utili a comprendere come si è svolto il lavoro di field.

    7. Sampling and project management

  7. What steps do you take to achieve a representative sample of the target population? Context: The sampling processes (i.e. how individuals are selected or allocated from the sample sources) used are the main factor in sample provision. A systematic approach based on market research fundamentals may increase sample quality.

    I campioni sono selezionati all'interno del segmento sociodemografico e di consumo definito sulla base dei dati di profilo esistenti rispettando le quote eventualmente definite nel disegno campionario.

    Nella selezione viene data priorità agli individui eleggibili che hanno partecipato alla loro ultima indagine meno recentemente. A parità di recentezza la selezione avviene in modo casuale.

  8. Do you employ a survey router? Context: A survey router is a software system that allocates willing respondents to surveys for which they are likely to qualify. Respondents will have been directed to the router for different reasons, perhaps after not qualifying for another survey in which they had been directly invited to participate, or maybe as a result of a general invitation from the router itself. There is no consensus at present about whether and how the use of a router affects the responses that individuals give to survey questions.

    No, non utilizziamo un survey router per le nostre indagini

  9. If you use a router: Please describe the allocation process within your router. How do you decide which surveys might be considered for a respondent? On what priority basis are respondents allocated to surveys? Context: Biases of varying severity may arise from the prioritisation in choices of surveys to present to respondents and the method of allocation.

    Non utilizziamo un survey router per le nostre indagini

  10. If you use a router: What measures do you take to guard against, or mitigate, any bias arising from employing a router? How do you measure and report any bias? Context: If Person A is allocated to Survey X on the basis of some characteristic then they may not be allowed to also do Survey Y. The sample for Survey Y is potentially biased by the absence of people like Person A.

    Non utilizziamo un survey router per le nostre indagini

  11. If you use a router: Who in your company sets the parameters of the router? Is it a dedicated team or individual project managers? Context: It may be necessary to try to replicate your project in the future with as many of the parameters as possible set to the same values. How difficult or easy will this be?

    Non utilizziamo un survey router per le nostre indagini

  12. What profiling data is held on respondents? How is it done? How does this differ across sample sources? How is it kept up-to-date? If no relevant profiling data is held, how are low incidence projects dealt with? Context: The usefulness to your project of pre-profiled information will depend on the precise question asked and may also depend on when it was asked. If real time profiling is used, what control do you have over what question is actually asked?

    A seguito della prima registrazione, OpLine manda una mail al nuovo panelista invitandolo a compilare il questionario di profilazione. Solo a seguito della compilazione di questo questionario il panelista entra a tutti gli effetti a par parte del panel.

    Le variabili di profilo acquisite nel questionario di profilazione sono:

    • Sesso, età (data di nascita)
    • CAP di residenza
    • Numero di componenti il nucleo famigliare
    • Ultimo titolo di studio conseguito
    • Tecnologia di connessione alla Rete
    • Anzianità di utilizzo di Internet
    • Luoghi di collegamento a Internet
    • Dispositivo di collegamento a Internet
    • Connettività mobile
    • Numero di caselle email possedute
    • ISP utilizzato da casa
    • Acquisti online negli ultimi tre mesi
    • Gestori telefonia mobile utilizzati con regolarità
    • Numero caselle email utilizzate con regolarità
    • Numero di CC accessibili online
    • Frequenza di fruizione dei principali mezzi di comunicazione
    • Consumo medio di prodotti culturali e di intrattenimento
    • Frequenza di partecipazione a eventi culturali e di intrattenimento
    • Mezzi di trasporto comunemente utilizzati
    • Indicatori di fiducia nel futuro
    • Responsabilità degli acquisti di prodotti per la casa

    Ai panelisti attivi è chiesto di aggiornare la propria profilazione ogni 18 mesi.

  13. Please describe your survey invitation process. What is the proposition that people are offered to take part in individual surveys? What information about the project itself is given in the process? Apart from direct invitations to specific surveys (or to a router), what other means of invitation to surveys are respondents exposed to? You should note that not all invitations to participate take the form of emails. Context: The type of proposition (and associated rewards) could influence the type of people who agree to take part in specific projects and can therefore influence sample quality. The level of detail given about the project may also influence response.

    I panelisti di OpLine sono invitati a partecipare a un'indagine con una email spedita all'indirizzo che hanno comunicato al momento della registrazione (o hanno successivamente modificato nel loro profilo).

    La mail contiene un invito alla compilazione del questionario online ospitato su una delle piattaforme di Web Survey di Human Highway.

    L'invito è generalmente così formulato:

    Ciao,
    OpLine ti invita a partecipare a una nuova indagine:

    Link al questionario

    La compilazione del questionario ti impegnerà per circa otto minuti di tempo.
    La partecipazione all'indagine ti accredita fino a 8 nuovi punti OpLine che si sommano a quelli che hai sin qui già maturato.

    Alla fine del questionario ti verrà restituita una pagina che ti comunica il saldo del tuo conto. Se il tuo saldo è sufficiente, OpLine ti presenta i premi che puoi richiedere e ricevere anche subito via email.

    Grazie in anticipo per la tua collaborazione e...
    buona compilazione!

    Lo staff di OpLine


    Se invece vuoi cancellarti da OpLine segui questo link

  14. Please describe the incentives that respondents are offered for taking part in your surveys. How does this differ by sample source, by interview length, by respondent characteristics? Context: The reward or incentive system may impact on the reasons why people participate in a specific project and these effects can cause bias to the sample.

    La partecipazione a OpLine è associata a un programma di loyalty, che prevede l'assegnazione di un certo numero di punti a seguito di ogni questionario compilato. Al raggiungimento di determinate soglie di punti OpLine il panelista può riscuotere un premio personali o indicare a OpLine il destinatario di una donazione solidale.

    I premi personali oggi disponibili sono:

    • buono sconto da utilizzare su due siti di eCommerce molto popolari in Italia
    • ricariche per il telefono cellulare di taglio da 10 o 15 €
    • ricarica iTunes da 15 €
    • donazioni solidali di importo pari a 5€ a tre programmi di solidarietà selezionati da OpLine
    • ricarica Mediaset Premium del valore di 20 €

  15. What information about a project do you need in order to give an accurate estimate of feasibility using your own resources? Context: The "size" of any panel or source may not necessarily be an accurate indicator that your specific project can be completed or completed within your desired time frame.

    La fattibilità di un lavoro di ricerca su OpLine dipende fondamentalmente dall'incidenza del target da studiare nella popolazione. Se il target penetra pochi punti percentuali OpLine saprà rappresentarlo con poche centinaia di casi. Nel caso di richieste d'indagine su target molto particolari OpLine si riserva la possibilità di misurare su un piccolo campione l'incidenza del fenomeno prima di garantire il successo del lavoro.

    Talvolta questo problema investe non tanto una singola wave d'indagine ma l'esecuzione di un tracking frequente e di lungo periodo: il rispetto dei tempi di latenza nella ripetizione interviste sui medesimi casi può portare alla conseguenza che anche nello studio di ampi segmenti di popolazione si arrivi alla saturazione dei casi disponibili prima del termine del lavoro. In questi casi OpLine consiglia di ricorrere a panel di terze parti per l'integrazione dei propri campioni integrativi.

  16. Do you measure respondent satisfaction? Is this information made available to clients? Context: Respondent satisfaction may be an indicator of willingness to take future surveys. Respondent reactions to your survey from self-reported feedback or from an analysis of suspend points might be very valuable to help understand survey results.

    Sì, al termine di ogni ricerca si chiede al rispondente di esprimere una valutazione dell'esperienza di compilazione basata su sei dimensioni di giudizio. L'intervistato, se vuole, può anche riportare un commento per iscritto in un apposito box testuale.

    Le informazioni sono registrate insieme ai dati acquisti dalle compilazioni e sono rese disponibili ai clienti su richiesta.

  17. What information do you provide to debrief your client after the project has finished? Context: One should expect a full sample provider debrief report, including gross sample, start rate, participation rate, drop-out rate, the invitation/contact text, a description of the field work process, and so on. Sample providers should be able to list the standard reports and metrics that they make available.

    • La dimensione e le caratteristiche di profilo della collettività che si è voluto rappresentare nell'indagine
    • La dimensione del campione e il sistema di verifica della sua rappresentatività
    • Il numero di persone invitate alla survey
    • Il numero di persone che hanno ricevuto l'invito alla survey
    • Il numero di compilazioni del questionario
    • Il numero di compilazioni valide del questionario
    • Numero e ragioni delle risposte scartate perché ritenute non valide
    • Il numero di risposte (questionari compilati) acquisite per giorno di field
    • I commenti al questionario e la valutazione dell'esperienza di compilazione

    18. Data quality and validation

  18. Who is responsible for data quality checks? If it is you, do you have in place procedures to reduce or eliminate undesired within survey behaviours, such as (a) random responding, (b) Illogical or inconsistent responding, (c) overuse of item non-response (e.g. "Don't Know") or (d) speeding (too rapid survey completion)? Please describe these procedures. Context: The use of such procedures may increase the reliability and validity of the survey data.

    Tutti i processi descritti in questo documento sono codificati in tre guidelines scritte e conservate presso gli uffici di Human Highway e seguite dal personale che si occupa della gestione del panel, della costruzione dei campioni e della comunicazione con i panelisti.

    Sì, queste tecniche sono molto importanti per assicurare la qualità dei dati di una singola ricerca e l'affidabilità di un panel nel suo complesso. Le tecniche utilizzate da OpLine si basano sui dati dichiarati dai rispondenti e sui dati rilevati automaticamente dalla piattaforma di Web Survey durante l'intervista. Opportune analisi di questi dati consentono di individuare i rispondenti inaffidabili, le compilazioni distratte, le compilazioni prodotte da robot, le persone che si presentano con multi-identità fasulle.

    Ad ogni ricerca su OpLine viene scartata una quota di risposte compresa tra 1% e 2% e composta dai casi inaccettabili sopra citati.

  19. How often can the same individual be contacted to take part in a survey within a specified period whether they respond to the contact or not? How does this vary across your sample sources? Context: Over solicitation may have an impact on respondent engagement or on self-selection and non-response bias.

    La regola di OpLine è di eseguire non più una ricerca alla settimana e non meno di una ricerca ogni tre mesi. Il carico di lavoro sin qui prodotto sul panel OpLine ha sempre reso possibile il rispetto della regola

  20. How often can the same individual take part in a survey within a specified period? How does this vary across your sample sources? How do you manage this within categories and/or time periods? Context: Frequency of survey participation may increase the risk of undesirable conditioning effects or other potential biases.

  21. Do you maintain individual level data such as recent participation history, date of entry, source, etc., on your survey respondents? Are you able to supply your client with a project analysis of such individual level data? Context: This type of data per respondent including how the total population is defined and how the sample was selected and drawn, may increase the possibilities for analysis of data quality.

    Sì, manteniamo questi dati perché la loro analisi è funzionale a individuare i rispondenti inaffidabili ed escluderli dal panel, se necessario. Queste informazioni non sono generalmente rilevanti per i nostri clienti ma possono essere fornite se esplicitamente richieste. Inoltre, i panelisti che dopo 12 consecutivi inviti di partecipazione alle indagini non rispondono con almeno una compilazione sono posti nello stato di "dormienti": a loro viene successivamente notificato via email un invito a prendere una decisione definitiva riguardo alla loro volontà di rimanere nel panel o di essere esclusi dal programma.

  22. Do you have a confirmation of respondent identity procedure? Do you have procedures to detect fraudulent respondents? Please describe these procedures as they are implemented at sample source registration and/or at the point of entry to a survey or router. If you offer B2B samples what are the procedures there, if any? Context: Confirmation of identity can increase quality by decreasing multiple entries, fraudulent panellists etc.

    Sì. Il processo di verifica dell'identità del panelista è prodotto continuativamente ad ogni contatto utile di ricerca e si basa su un mix di informazioni rilevate dal sistema e dichiarate dal rispondente.

    La logica del controllo non può essere divulgata al pubblico ma viene spiegata in modo completo ai prospect e ai clienti di Human Highway che ne fanno richiesta.

    23. Policies and compliance

  23. Please describe the 'opt-in for market research' processes for all your online sample sources. Context: The opt-in process indicates the respondents' relationship with the sample source provider. The market generally makes a distinction between single and double opt-in. Double opt-in refers to the process by which a check is made to confirm that the person joining a panel or database wishes to be a member and understands what to expect (in advance of participating in an actual survey for a paying client).

    I panelisti che entrano in OpLine devono procedere attraverso un processo di doppia adesione:

    1. la consegna della loro email, contestuale alla dichiarazione di consenso al trattamento dei dati, e
    2. il click sul link di una successiva email spedita all'indirizzo comunicato al punto (1) che invita il destinatario della mail alla compilazione del questionario di profilazione.

    Solo al termine della compilazione del questionario di profilazione il panelista entra a tutti gli effetti a far parte di OpLine.

  24. Please provide a link to your Privacy Policy. How is your Privacy Policy provided to your respondents? Context: Not complying with local and international privacy laws might mean the sample provider is operating illegally. An example privacy policy is given in the ESOMAR Guideline for Online Research.

    I partecipanti a OpLine sono informati sulle modalità di trattamento dei loro dati, ai sensi del d.l. 30 giugno 2003 n.196 "Codice in materia di protezione dei dati personali" in vigore in Italia.

    I panelisti possono chiedere la cancellazione della loro iscrizione e di tutti i dati comunicati nelle ricerche a cui hanno partecipato. Inoltre, a maggior garanzia della privacy, OpLine non richiede al momento dell'iscrizione alcun dato relativo all'indirizzo di residenza e ai recapiti telefonici.

  25. Please describe the measures you take to ensure data protection and data security. Context: The sample provider usually stores sensitive and confidential information on panellists and clients in databases. These data need to be properly secured and backed-up, as does any confidential information provided by the client. The sample provider should be able to provide you with the latest date at which their security has been evaluated by a credible third-party

    I dati dei panelisti sono custoditi in ambienti protetti da password e sono criptati nel caso in cui vengano trasferiti sulla Rete Internet.

  26. What practices do you follow to decide whether online research should be used to present commercially sensitive client data or materials to survey respondents? Context: There are no foolproof methods for protecting audio, video, still images or concept descriptions in online surveys. In today's social media world, clients should be aware that the combination of technology solutions and respondent confidentiality agreements are "speed bumps" that mitigate but cannot guarantee that a client's stimuli will not be shared or described in social media.

    Non è possibile garantire che i materiali multi-mediali inseriti in un questionario online non siano salvati, riutilizzati o condivisi dagli intervistati: OpLine lo dichiara sempre in modo esplicito quando il cliente esprime qualche dubbio sulla confidenzialità di tali materiali.

  27. Are you certified to any specific quality system? If so, which one(s)? Context: Being certified may require the supplier to perform tasks in a pre-determined manner and document procedures that should be followed.

    No, l'attività di OpLine non è certificata da alcun ente terzo.

  28. Do you conduct online surveys with children and young people? If so, do you adhere to the standards that ESOMAR provides? What other rules or standards, for example COPPA in the United States, do you comply with? Context: The ICC/ESOMAR International Code requires special permissions for interviewing children. These are described in the ESOMAR Online Research Guideline. In the USA researchers must adhere to the requirements of the Children's Online Privacy Act (COPPA). Further information on legislation and codes of practice can be found in Section 6 of ESOMAR's Guideline for Online Research.

    Quando è necessario selezionare e intervistare persone sotto i 15 anni di età si procede a eseguire una prima intervista di screening con persone maggiorenni appartenenti al panel OpLine, al fine di individuare in questo insieme i genitori di ragazzi giovani o bambini. Ai genitori si chiede il consenso ad essere ricontattati di lì a qualche giorno per eseguire una nuova intervista a cui risponda il/la figlio/a. A seguito del consenso viene spedita una nuova mail di invito in cui si raccomanda al genitore di supportare il/la figlio/a nella comprensione del tema e nella compilazione del questionario, senza influenzarne le risposte.

Esomar World Reserch