Erreur des sondeurs ou changement de jeu ?


Après la victoire de Trump aux USA et, dans une moindre mesure celle de Fillon aux primaires de la droite, la réputation des sondeurs a été passablement malmenée. Il est vrai que la spectaculaire erreur de pronostic sur l’élection de Donald Trump n’est que le dernier événement d’une série inaugurée avec la présence surprise de Jean Marie le Pen au second tour des élections présidentielles françaises en 2002, suivie de la victoire du Non au référendum sur la constitution européenne en 2005 et plus récemment le choix du Brexit par les électeurs britanniques.
Une telle régularité dans l’appréciation des mouvements émergents de rejet de l’establishment interdit de parler ici d’accident ou d’incompétence de tel ou tel. Cette erreur est aujourd’hui si partagée parmi les sondeurs qu’elle semble revêtir un caractère structurel.

On peut y trouver trois types d’explications : la première serait que les sondages sont mal faits, la seconde qu’il recueillent un matériau frelaté, déjà biaisé avant même qu’on l’analyse, la troisième qu’il est des objets qui par principe résistent aux sondages.

Des sondages mal conduits ?

La première explication met en cause les méthodes qui se sont généralisées dans le métier des études au cours de ces dernières années : notamment les techniques d’interrogation en ligne avec leurs échantillons puisés dans ces immenses réservoirs de répondants pré-recrutés et disponibles : les access panels.

On leur reproche de ne pas respecter l’exigence fondamentale de représentativité des échantillons : les panélistes ne représentent pas la population toute entière, mais seulement celle des Internautes ; ils sont plus jeunes, plus diplômés, plus aisés, appartiennent aux catégories sociales les plus élevées. Ils sont également plus ouverts à l’innovation qu’elle soit technique, ou sociale.

Les sondeurs connaissent ces défauts, et ils savent s’en prémunir : une enquête du Crédoc[1] montre qu’un redressement simple des échantillons en ligne sur la base des quotas de l’Insee permet de corriger les principales distorsions des réponses entre les répondants en ligne et les répondants par téléphone ou en face à face.

L’expérience montre effectivement que, quand ils sont bien faits, les sondages en ligne n’ont pas à rougir de leurs résultats devant les études conduites selon des méthodes traditionnelles (interrogation par téléphone). Après les élections américaines de 2012, Nate Silver notait ainsi que les études en ligne avaient pour l’ensemble obtenu un meilleur résultat que les études par téléphone. (pour autant que l’échantillonnage était conduit de manière satisfaisante)[2].

Pour les élections de novembre, 2016, un examen des 92 sondages publiés par le New York Times entre le 1er octobre et le 7 novembre, dont 40 ont été réalisés par téléphone, pendant que 52 l’étaient par questionnaire en ligne, montre que les résultats entre les deux modes d’interrogation sont assez proches.

Enquêtes publiées par le NYT du 1/10 au 7/11

Recueil des données en ligne
(moyenne sur 52 sondages)

Recueil des données par téléphone
(moyenne sur 40 sondages)

Clinton

45,55 %

46,95 %

Trump

40,61 %

41,42%

Le « mensonge » des répondants

Les méthodes des instituts hors de cause, le deuxième suspect dans le manquement des sondages est le répondant lui-même. C’est parce que les répondants leur auraient menti en camouflant leurs véritables intentions de vote que les sondeurs se sont trompés.

Là encore, les sondeurs sont familiers de ces échantillons « menteurs ». Ils les traitent par la méthode éprouvée du redressement qui consiste à corriger le résultat brut des réponses à une question donnée, ou la composition d’un échantillon, en prenant pour base une donnée analogue dont on est assuré par ailleurs. On redressera, par exemple, la composition d’un échantillon dont le rapport d’hommes et de femmes diffère de ce qu’on sait être celui de la population française (grâce aux recensements de l’Insee) en ramenant les poids relatifs des hommes et des femmes au sein de l’échantillon à ce qu’ils sont au sein de la population de référence.

C’est cette même technique que les sondeurs utilisent pour redresser les « mensonges » des personnes interrogées sur leurs intentions de vote. A l’époque déjà lointaine où le vote Front National était honteux les électeurs de ce parti avaient l’habitude de sous-déclarer leurs véritables intentions. Pour déterminer l’ampleur de cette sous-déclaration, il suffisait de demander aux personnes interrogées en complément de leur intention de vote ce qu’avaient été leurs votes passés. En comparant les déclaration des sondés avec la réalité des scrutins on dispose d’un indice, une clé, pour redresser leurs intentions de vote déclarées afin qu’elles correspondent à la réalité.

Si les sondeurs ont su jusqu’ici redresser les déclarations imparfaites des sondés pourquoi ont-ils récemment perdu la main ? Il convient ici d’être nuancé. Les sondeurs n’ont pas complètement perdu leur latin mais seulement une partie de celui-ci. Si l’on compare les mesures des instituts avec la réalité du vote des Américains, on constate que les sondeurs ont correctement anticipé le vote Clinton pendant qu’ils sous-évaluaient régulièrement le vote Trump.

Différence des résultats d’enquêtes d’avec les résultats finaux Clinton Trump
Recueil des données en ligne -2,45 % -6,39%
Recueil des données par téléphone 1,05 % – 5,58 %

Il y a donc quelque chose dans le « mensonge » des sondés qui échappe désormais à l’entendement des sondeurs. Ils mentent toujours, mais certains autrement.

Le mensonge du répondant, ou comment se concilier les bonnes grâces des sondeurs.

Dans le jargon du métier, ce mensonge relève de ce qu’on appelle le « biais enquêteur ». Il provient d’une forme de honte de ses propres opinions, notamment politiques, que le sondé éprouve devant le sondeur. L’enquêté cherche alors à complaire à l’enquêteur en lui offrant ce qu’il pense être une bonne réponse, socialement plus acceptable.

Cette petite veulerie a deux motifs : le premier est que la relation entre l’enquêteur et le répondant est asymétrique ; c’est une relation de domination dans laquelle l’un pose des questions et l’autre ne fait qu’y répondre ; l’un sait pourquoi il interroge, l’autre ne sait pas toujours pourquoi il répond.

Certes, les sondeurs n’aiment pas se dire qu’ils sont un pouvoir. Ils se conçoivent plutôt comme des observateurs neutres et objectifs, tirant leur légitimité de la science et de leur expertise technique et dont la déontologie exige qu’ils se tiennent à l’écart des jeux et des enjeux de pouvoir. Tout cela est peut être vrai. Mais il reste que pour l’opinion, les sondeurs sont du monde des puissants et des institutions

Aussi, en mentant le répondant fait ce que font tous les dominés à l’égard du pouvoir qui les domine, il cherche à en diminuer le poids et en adoucir la possible brutalité : il ment pour ne pas avoir de problème.

Mais ce mensonge des sondés est en même temps un consentement à la domination du sondeur, et au delà à celle de l’institution des sondages ; sans quoi, ils cesseraient de répondre. Quand le répondant dissimule son opinion pour complaire au sondeur sa ruse vise à aménager sa propre domination plutôt qu’à la remettre en cause. Chacun reste poliment à sa place.

La révolte des sondés ?

Si les sondeurs ont aujourd’hui plus de difficulté que d’habitude à redresser les déclarations inexactes des sondés, c’est que ceux-ci ont, pour partie, changé de nature. Le « nouveau répondant », celui qui fait trébucher les instituts, présente en effet un double caractère : il se défie désormais des institutions et des pouvoirs, et sans être expert, il a une petite familiarité avec les sondages.

Les sondages sont aujourd’hui pris dans le même mouvement de réprobation qui vise les institutions de pouvoir (média, entreprises, gouvernement, etc.).

Dans le même temps, à force de lire des sondages dans la presse et d’être soi-même interrogés, les répondants ont acquis une certaine familiarité, sinon une expertise, à l’égard des techniques de sondages. Si certains veulent faire déraper la machine, ils savent comment s’y prendre : en mentant plus encore qu’avant et pour d’autres raisons. Ainsi est-il non seulement légitime de mentir au sondeur, mais plus encore de l’induire en erreur.

Il y a fort à parier que la révolte des électeurs contre l’establishment, commence par une dissimulation de leurs intentions par les sondés ; le mensonge n’est plus une complaisance à l’égard de l’enquêteur, mais une résistance.

Saisir les mouvements émergents de l’opinion ? Vers de nouvelles méthodes.

Ce jeu du sondé à l’égard du sondeur est un comportement nouveau de l’opinion et en cela, il rend encore plus difficile la tâche du sondeur. Car les sondages n’aiment pas la nouveauté ; ils ne sont pas taillés pour cela.

Dans l’élection américaine, comme on l’a vu, les sondeurs ne se sont pas trompés partout, mais essentiellement sur le vote Trump. Leur erreur fut de ne pas avoir prévu l’imprévisible : le nouveau qui ne ressemble à rien de ce que l’on connaît déjà.

L’émergence de nouvelles logiques de l’opinion est un double défi pour les sondeurs. Tout d’abord, les techniques de redressement supposent de comparer les intentions de vote actuelles avec les comportements électoraux passés. Or, quand de nouvelles offres apparaissent et que l’opinion se recompose, la tâche devient pratiquement impossible pour le sondeur de déterminer sur quelle élection passée il convient de se baser pour déterminer les bonnes clés de redressement. A quelle élection les sondeurs américains devaient-ils se référer pour évaluer le vote Trump ?[3] A quelle élection les sondeurs français devront-ils quant à eux se référer pour évaluer, par exemple, le vote Macron et autres objets électoraux mal identifiés ? Le futur proche des sondeurs est un chemin semé d’embuches.

En second lieu, au delà de la question ponctuelle du redressement, il convient de remarquer que les sondages sont par principe peu faits pour identifier des mouvements émergents au sein de l’opinion.

Un sondage ne peut mesurer que des objets qu’il connaît déjà et qu’il sait décrire. Le monde du sondeur est déjà catégorisé, structuré. C’est pourquoi l’éventail des réponses possibles aux questions des sondages est défini avant même que n’ait commencé l’interrogation de l’échantillon. Un sondage ne peut faire plus que mesurer l’importance au sein de l’opinion de chacune des catégories qu’il a prédéfinie. Cela ne signifie pas que les sondages ne mesurent que des artefacts, comme le ressasse la critique bourdivine, mais que la qualité d’un sondage dépend largement de la compréhension que le sondeur a de son objet.

Toutes les règles méthodologiques d’un sondage peuvent bien être respectées (échantillonnage, redressement, organisation du plan d’enquête, etc.) ; si l’objet qu’il se propose de mesurer est mal défini, il sera difficile de parvenir à un résultat satisfaisant.

Les sondages sont faits pour mesurer des évolutions à l’intérieur de cadres stables. Quand les cadres sont en pleine transformation, les sondages touchent nécessairement leurs limites. Il faut donc aux sondeurs d’autres outils, en amont de leurs mesures, pour comprendre la nature des phénomènes d’opinion émergents tels que les nouveaux mouvements anti-establishment.

Des méthodes complémentaires ?

Dans une société toujours plus liquide, dont les opinions sont éminemment instables, l’avenir des sondages se situe probablement ailleurs que dans les sondages eux-mêmes. Il faut qu’aux côtés des méthodes traditionnelles de mesure de l’opinion les sondeurs se dotent d’outils et de méthodes permettant d’observer et de comprendre l’opinion dans la fluidité de son mouvement.

De tels outils sont apparus récemment, notamment avec les techniques d’observation et d’analyse des mouvements d’opinion sur Internet et dans les réseaux sociaux. Ces techniques ne sont plus tout à fait dans leurs balbutiements, mais elles ne sont pas encore parvenues à leur maturité. Leurs méthodes ne sont pas encore définitivement fixés, leurs biais – car toute technique d’observation a les siens – ne sont pas tous identifiés et maîtrisés, mais pour l’ensemble, elles se montrent extrêmement prometteuses pour ce qui concerne l’observation des phénomènes d’opinion émergents.

L’articulation de l’ancien (les sondages), et du nouveau (l’observation de l’Internet), devrait permettre au métier de réparer les récents accrocs faits à sa réputation.

[1] R. Bigot, P. Croutte, F. Recours, Enquêtes en ligne : peut-on extrapoler les comportements et les opinions des internautes à la population générale ? Crédoc, 2010

[2] Which Polls Fared Best (and Worst) in the 2012 Presidential Race, Nate Silver November 10, 2012 (http://fivethirtyeight.blogs.nytimes.com/2012/11/10/which-polls-fared-best-and-worst-in-the-2012-presidential-race/?_r=0)

[3] Même le vote Palin de 2008, (vieux déjà de 8 ans), ne fournissait pas une base de référence satisfaisante pour comprendre le mouvement d’opinion qui a porté Trump au pouvoir.

2 réponses

Laisser un commentaire

Choisissez une méthode de connexion pour poster votre commentaire:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s