Un sondage ne fait pas le printemps

Petit guide pour décrypter une industrie et ses méthodologies

Il y a eu un sondage Léger samedi ; un Ipsos publié jeudi ; un Mainstreet commandé et diffusé par la Coalition avenir Québec mercredi. Et ce n’est qu’un début : la campagne 2018 sera comme d’habitude le point de chute de nombreux sondages. Quelle valeur leur accorder ? Le Devoir décrypte l’art des sondages avec Claire Durand, sociologue spécialiste des sondages et présidente de la WAPOR (World Association for Public Opinion Research).

Additionner les sondages

« Je dis toujours qu’un sondage ne fait pas le printemps », illustre Claire Durand. Une manière de souligner que c’est un ensemble de sondages — avec des méthodologies souvent différentes — qui donne un vrai portrait de situation. Selon Mme Durand, « les sondeurs sont des gens compétents qui mettent leur tête sur le billot à chaque sondage ».

Comprendre les sondages menés en ligne

« Le principal avantage, c’est que c’est auto-administré : il n’y a pas d’intervieweur, la personne se sent libre de révéler son opinion, dit Mme Durand. On peut mettre du visuel, on peut aussi donner un délai pour que les gens répondent quand ça leur convient. »

Léger fonctionne en utilisant un panel Web — une banque de répondants de plus de 400 000 Canadiens. Pour chaque sondage, un certain nombre de panélistes sont interrogés, et l’échantillon est pondéré. Selon Léger, 60 % du panel a été recruté « au hasard, par téléphone ». Les autres ont été recrutés par le biais de programmes. D’autres firmes vont « louer » des panels à des partenaires pour mener des sondages.

« Quand les gens sont recrutés par téléphone, c’est presque probabiliste (le terme associé aux sondages téléphoniques d’antan, où les probabilités d’être joint pour le sondage étaient les mêmes pour tout le monde), explique Mme Durand. Mais quand les gens peuvent s’inscrire en ligne pour faire partie du panel, ça peut être plus dangereux. Il y a aussi le risque lié au fait de poser des questions toujours aux mêmes personnes. »

Selon Claire Durand, les sondages menés en ligne « ont plus de difficultés à détecter les changements ». Elle souligne toutefois qu’il n’est plus vrai de dire que le taux de pénétration d’Internet ferait en sorte qu’on ne rejoint que certaines tranches de la population. « Le taux actuel de pénétration d’Internet au Québec [près de 85 %] est plus élevé que ce qu’était le téléphone au début des sondages. »

Comprendre les sondages téléphoniques

«Ce qui a fait en partie disparaître les sondages téléphoniques, ce sont les coûts, indique Mme Durand. Les taux de réponse ont chuté, on a perdu l’habitude du téléphone fixe comme moyen de communication, un appel téléphonique est de plus en plus considéré comme une intrusion. C’est devenu coûteux pour les firmes de procéder comme ça. »

« Autre chose, ajoute-t-elle : selon la qualité de l’intervieweur et son attitude, les gens peuvent avoir tendance à cacher leurs intentions. »

Notons que certaines firmes (comme Ipsos) utilisent une méthode mixte : une partie des répondants sont joints par Internet, et une autre partie par téléphone (fixe ou cellulaire).

Comprendre les sondages téléphoniques automatisés

Souvent présentés par l’acronyme IVR (pour Interactive Voice Response), ces sondages sont « souvent très critiqués », note Claire Durand.

La firme Mainstreet, qui procède de cette façon, a fait l’objet d’un rapport accablant de la défunte Association de la recherche et de l’intelligence marketing en lien relativement aux sondages publiés lors de l’élection municipale de Calgary en 2017. La firme a corrigé ses façons de faire depuis, mais plusieurs joueurs de l’industrie demeurent suspicieux face aux IVR.

« Il y a des avantages, relève Mme Durand : c’est peu cher, c’est auto-administré dans la mesure où il n’y a pas d’intervieweur, les gens savent que ce ne sera pas long, on peut faire de très gros échantillons. »

Mais ? « Les échantillons de numéros de téléphone sont habituellement générés au hasard », ajoute-t-elle. Ceci fait qu’il est pratiquement impossible d’avoir la correspondance entre les numéros de téléphone, surtout cellulaires, et l’endroit où les gens résident. Ces sondages peuvent plus difficilement être utilisés pour faire des sondages par circonscription. Deuxième désavantage : certaines personnes ne sont pas à l’aise de répondre « à une machine ».

Répartir les indécis

Dans un blogue récent, Claire Durand rappelait que dès le premier sondage électoral mené au Québec en 1959, le vote libéral avait été sous-estimé. La manière de répartir les indécis a fait l’objet de nombreuses études et théories depuis.

« Pratiquement toutes les firmes répartissent au prorata [des résultats obtenus par chaque parti dans ce sondage] », relève Claire Durand. Ses travaux laissent entendre que la meilleure manière de répartir les indécis serait plutôt d’en accorder 50 % aux libéraux, 25 % au Parti québécois et 25 % à la Coalition avenir Québec. « Quand on répartit les indécis au prorata, on en accorde toujours trop aux petits partis… et on sous-estime les libéraux. »

Ne pas négliger l’importance d’une campagne

« Sur les cinq dernières élections québécoises, au moins trois ont fini différemment par rapport à ce que les sondages disaient au début, rappelle Claire Durand. Les campagnes peuvent changer bien des choses, gardons-le en tête. »