Comparaison des résultats :

Entrevue téléphonique versus réponse vocale interactive vers le Web


Depuis la fin du mois de mars 2020, Advanis réalise auprès de la population canadienne une étude auto-financée sur la COVID-19, en utilisant la méthode de la réponse vocale interactive (RVI) vers le Web. Nous déployons tous les efforts afin de valider continuellement la fiabilité des nos méthodes pour collecter des données qui servent ensuite à éclairer les décisions prises par nos clients. Nous avons réalisé une étude comparative des méthodes de recherche, dans laquelle les mêmes questions étaient posées par téléphone (entrevues téléphoniques assistées par ordinateur - CATI) et à l’aide d’un système de RVI vers le Web.

Ces deux sondages ont été réalisés auprès d’adultes canadiens, entre le 16 et le 22 juillet 2020. 819 questionnaires complétés ont été collectés en utilisant l’entrevue téléphonique (avec une marge d’erreur de ±3,4 %, 19 fois sur 20) et 4677 questionnaires complétés ont été collectés en utilisant la méthode RVI vers le Web (avec une marge d’erreur de ±1,4 %, 19 fois sur 20). Les résultats des deux sondages ont été pondérés selon la province, l’âge et le sexe, de façon à ce que les résultats finaux soient représentatifs de l’ensemble de la population canadienne adulte.

Les résultats obtenus avec les deux méthodologies étaient identiques pour la plupart des questions comportementales (par exemple, les activités réalisées au cours de la semaine précédente, ou le port du masque). Les différences que nous avons pu constater entre les deux méthodologies étaient cohérentes avec celles constatées lors de précédentes études où nous avions comparé les données collectées par téléphone avec celles collectées en ligne (voir par exemple l’article de Greene, Speizer et Wiitala de 2008, et celui de Chang et Krosnick de 2009) :

 

1. Les répondants avaient plus tendance, lorsqu’ils répondaient au sondage par téléphone (avec un intervieweur) que lorsqu’ils répondaient au sondage en ligne (avec un questionnaire auto-administré), à d’être d’accord avec certaines affirmations, ou à indiquer que ces affirmations les décrivaient bien. Ceci pourrait être dû au fait que le biais d’acquiescement tendrait à être plus marqué lorsque le sondage est réalisé avec un intervieweur que lorsqu’il est réalisé en ligne. Ainsi par exemple :

  • Les répondants avaient plus tendance, lorsqu’ils étaient interrogés par téléphone, à indiquer que les affirmations suivantes les décrivaient bien (pourcentage des 3 cases supérieures d’une échelle de 7 points) :
    • J’apprécie ce que la crise m’a apporté (tranquillité, temps passé avec des amis ou ma famille) : 49 % dans le sondage téléphonique, contre 43 % dans le sondage en ligne
    • Si nous respectons les distances sociales pendant quelques semaines, tout reviendra à la normale ensuite : 34 % dans le sondage téléphonique, contre 22 % dans le sondage en ligne
    • Ce virus ne m’affectera d’aucune manière : 27 % dans le sondage téléphonique, contre 16 % dans le sondage en ligne.
  • Les répondants avaient plus tendance lorsqu’ils étaient interrogés par téléphone à indiquer que leur ménage avait été affecté par la COVID-19 (pourcentage des 3 cases supérieures d’une échelle de 7 points) : 57 % dans le sondage téléphonique, contre 51 % dans le sondage en ligne.

2. Le biais de désirabilité sociale est plus marqué parmi les personnes qui répondent au sondage par téléphone que parmi celles qui y répondent en ligne, ceci conduit à une surestimation des comportements et attitudes socialement désirables, et à une sous-estimation des opinions et des comportements dont elles craignent qu’ils pourraient susciter la désapprobation de l’intervieweur téléphonique, en particulier sur des sujets sensibles. Ainsi par exemple :

  • Les répondants avaient plus tendance lorsqu’ils étaient interrogés par téléphone à indiquer qu’ils pratiquaient la distanciation sociale (pourcentage des 3 cases supérieures d’une échelle de 7 points) : 87 % dans le sondage téléphonique, contre 82 % dans le sondage en ligne
  • Les répondants avaient plus tendance lorsqu’ils étaient interrogés par téléphone à indiquer qu’ils appuyaient quelque peu ou fortement les lois imposant l’obligation du port du masque : 77 % dans le sondage téléphonique, contre 73 % dans le sondage en ligne.
  • Les répondants avaient plus tendance lorsqu’ils étaient interrogés par téléphone à indiquer que leur santé mentale était bonne, très bonne ou excellente : 82 % dans le sondage téléphonique, contre 78 % dans le sondage en ligne.
  • Les répondants avaient moins tendance lorsqu’ils étaient interrogés par téléphone à indiquer que la pandémie de COVID-19 avait eu une incidence sur la santé mentale des membres de leur ménage (pourcentage des 3 cases supérieures d’une échelle de 7 points) : 28 % dans le sondage téléphonique, contre 40 % dans le sondage en ligne.
  • Les répondants avaient moins tendance lorsqu’ils étaient interrogés par téléphone que lorsqu’ils répondaient en ligne à indiquer qu’ils avaient ressenti de multiples effets négatifs sur le plan émotionnel :
    • Des changements dans la qualité ou la durée de votre sommeil : 32 % dans le sondage téléphonique, contre 37 % dans le sondage en ligne.
    • Le sentiment d’être plus irritable ou d’avoir des moments de colère que vous n’aviez pas auparavant : 32 % dans le sondage téléphonique, contre 37 % dans le sondage en ligne.
    • Une perte d’intérêt et de plaisir à l’égard de vos activités quotidiennes : 32 % dans le sondage téléphonique, contre 37 % dans le sondage en ligne.
    • Des moments de grande inquiétude ou de panique : 26 % dans le sondage téléphonique, contre 32 % dans le sondage en ligne.

En conclusion, ces résultats, qui concordent avec ceux obtenus lors de précédentes études, indiquent qu’il peut y avoir des avantages à réaliser des sondages en ligne, en particulier lorsque le sondage porte sur des sujets sensibles ou plus susceptibles de susciter des réponses biaisées par des considérations de désirabilité sociale. Cela ne veut pas dire pour autant que les sondages en ligne présentent dans tous les cas des avantages sur les sondages téléphoniques. Ainsi, par exemple, il a été constaté que les sondages téléphoniques permettaient plus facilement que les sondages en ligne probabilistes d’accéder à certains segments de population (voir l’étude de Keeter de 2015).

 

Références bibliographiques

  • CHANG, LinChiat, et Jon A. KROSNICK (2009). « National Surveys Via RDD Telephone Interviewing Versus the Internet: Comparing Sample Representativeness and Response Quality ». Public Opinion Quarterly, vol. 73, p. 641-678.
  • GREENE Jessica, Howard SPEIZER et Wyndy WIITALA (2008). « Telephone and Web: Mixed‐Mode Challenge ». Health Services Research, vol. 43, p. 230-248.
  • KEETER, Scott (2015). « Methods Can Matter: Where Web surveys produce different results than phone interviews ». Pew Research Center. (Consulté le 7 août 2020 https://www.pewresearch.org/fact-tank/2015/05/14/where-web-surveys-produ...)