Mettre un stop à la paupérisation des études


Market Research News : l’actualité et le guide des études marketing la vie du conseil et des études marketing

 Pour Mustapha Smail (Le Terrain), la représentativité des études doit être prise pour ce qu’elle est : non pas une fin en soi, mais une exigence devant répondre à des besoins précis. C’est aussi une promesse faite par des professionnels, et qui ne peut être tenue qu’en respectant des méthodologies d’études précises, rigoureusement conçues et mises en œuvre. Elle ne doit donc pas être faite à la légère, faute de quoi le risque serait de contribuer à entretenir la spirale d’une paupérisation des études, hélas, déjà bien engagée.    

MRNews : Les pratiques d’études ont fortement évolué depuis une dizaine d’années, et ces évolutions suscitent beaucoup de questions sur cet enjeu de représentativité. Beaucoup d’avis s’opposent, mais un des points de convergence est la nécessité de repenser cette notion, de la réactualiser en somme. Qu’en pensez-vous ?

Mustapha Smail : Je ne partage pas nécessairement l’idée qu’il faille repenser la notion de représentativité, dont les règles scientifiques sont bien établies et relativement intangibles… Mais je ressens la nécessité en préambule de poser une première conviction. Il me semble important de souligner que la représentativité des échantillons d’études n’est pas une fin en soi. Il ne s’agit au fond de rien d’autre que d’un outil, que l’on met au service d’un besoin et donc d’une demande. Il n’y a donc aucune contre-indication, de mon point de vue, à mettre en œuvre des études bâties sur d’autres logiques. Nous réalisons aussi ce type d’études lorsqu’il s’agit par exemple de tester un produit ou un concept.

Beaucoup d’études sont présentées comme étant « représentatives », en particulier de la population française, alors qu’elles ne le sont pas ?

Lorsque la promesse de représentativité est formulée, il est sain qu’elle soit respectée. Il est évident que la promesse est trop souvent faite à la légère et quelquefois on se demande quels ont été les critères pris en compte pour garantir la représentativité de l’échantillon.

Beaucoup d’études sont présentées comme étant représentatives de la population française. Alors qu’il est parfois flagrant que cette représentativité ne peut pas être rigoureusement garantie compte tenu des méthodes utilisées. Quand je vois certains acteurs proposer pour 180€ des études portant sur un échantillon de 1000 personnes représentatives de la population française. Il est probable qu’il y a un malentendu sur la notion de représentativité, pour dire les choses gentiment ! 

Une des pratiques d’études qui soulèvent le plus de questions sur ces enjeux de représentativité est l’usage d’internet et tout particulièrement des Access panels on-line. Pensez-vous qu’il soit possible de garantir une représentativité correcte via ces outils ?

Posons un préalable : la représentativité se définit non pas dans l’absolu, mais en rapport à une population de référence. Un échantillon est donc représentatif si je peux extrapoler les résultats que j’obtiens auprès de lui à une population de référence, en ayant une vision objective de la précision de cette extrapolation.

Il me semble qu’il ne faut pas mélanger les modes de recueil (face à face, téléphone, internet, sms) et l’usage dans les enquêtes « des panels » et plus précisément des Access qui existaient bien avant l’arrivée d’Internet (les premiers ayant été créés dans les années 30).

Votre question porte plutôt sur l’outil « Access Panel » et la manière dont ils sont constitués et cette question importante, les Access panel permettent-ils d’obtenir des échantillons représentatifs de la population française ? 

Ces limites tiennent-elles à la mécanique de la panélisation ?

Oui, c’est une question. Le fait de s’inscrire pour répondre régulièrement à des enquêtes via internet est-il neutre ou pas quant à des modes de consommation ou à certaines visions des choses, comparativement à la globalité de la population française ? On se posait la même question dans le recrutement des consommateurs pour les groupes qualitatifs. Personnellement, je ne le sais pas, et je m’interroge sur les biais liés à ces comportements. 

Cela est-il lié à cette forme d’auto-sélection induite par les Access panels ?

Oui, l’auto sélection, l’absence de couverture d’une partie des internautes, … au moins en partie. La notion de représentativité suppose la mise en œuvre de techniques d’échantillonnage. Sur le plan pratique, les méthodes d’échantillonnage supposent d’une certaine façon de mettre les répondants potentiels dans un panier, un fichier en somme, et de sélectionner dans le fichier les individus  pour les interroger, soit en se fiant au principe de l’aléa pur, soit en utilisant des quotas qui correspondent à la description de la population de référence, lorsque les informations sont disponibles.

Lorsque l’on utilise un Access Panel bien souvent ce sont les individus qui décident de faire partie du panier ! Le risque est donc d’avoir affaire à des personnes qui répondent à un grand nombre d’enquêtes, avec des motivations particulières et donc un profil psychologique que l’on ne peut pas préjuger identique à celui du français moyen, y compris lorsque les caractéristiques socio-démographiques sont équivalentes. Il y a un risque dans ce cas de professionnalisation des panélistes.

Lorsque le recueil se fait par téléphone, les individus peuvent accepter ou pas de répondre. Est-ce que ce n’est pas une forme d’auto-sélection ?

Le téléphone n’est qu’un outil de recueil, il est possible de faire des enquêtes par téléphone auprès de consommateurs inscrits dans un panel ou un Access Panel. La question c’est donc plutôt : Panel ou pas Panel. !

Par téléphone, lorsque nous sélectionnons au hasard des individus, il faut intégrer bien sûr le fait qu’il y ait un certain taux de refus. De nombreux travaux ont évalué ce biais et il existe des solutions. Mais la situation avec les Access Panels est très différente. Lorsqu’on vise à représenter des populations larges – comme la population française par exemple – il est parfaitement possible de constituer une base de sondages, selon des conditions parfaitement maitrisées. C’est comme si l’on mettait dans un grand panier l’ensemble des numéros de téléphone existant. Malheureusement, on ne peut pas appliquer ce principe aux adresses mails, c’est irréalisable en pratique.

Lorsqu’il s’agit de représenter une cible plus fine, les clients d’une entreprise donnée, il peut être tentant de solliciter le fichier via des emails, mais on se trouve là en butte à une autre limite qui est le taux de réponse, et les blocages techniques ( les antispams, les adblock, …). En général, cela tourne dans la majorité des cas, autour de 1% à 3%, ce qui est complètement insuffisant pour constituer une bonne base de travail.

Le téléphone est-il le medium le plus pertinent pour assurer la représentativité des échantillons ?

Sur le plan théorique si l’on veut être représentatif de la population française, je serais tenté de dire que presque tous les modes de recueil sont envisageables. Mais en pratique, oui, le téléphone offre le plus souvent les meilleures options avec le moins de biais méthodologiques. La joignabilité des individus se situe à des niveaux élevés grâce à la diffusion du téléphone mobile (près de 90% de pénétration) ; il n’a même jamais été aussi facile qu’aujourd’hui de joindre des personnes par téléphone.

On peut interroger les ménages via les téléphones fixes, ou les individus via les téléphones mobiles. Ou bien en combinant fixe et mobile, ce qui est une technique que nous maitrisons parfaitement. Le seul petit souci provient du multi-équipement, mais il s’agit d’un phénomène assez marginal et il existe des moyens pour mesurer ce biais.

Par ailleurs, le téléphone présente un autre avantage du point de vue de l’interrogation des individus : l’assistance d’un(e) enquêtrice (teur), et la communication orale est celle qui permet de s’assurer de la bonne compréhension des questions. Tout cela va dans le sens d’une meilleure maitrise des conditions d’enquête, qui est une des exigences majeures de fiabilité.

Vous utilisez différents moyens de recueil : le téléphone, le on-line, mais aussi le SMS. Qu’en est-il de ce dernier medium sur ces enjeux de représentativité ?

Il s’agit d’un mode de recueil assez particulier, qui présente à la fois des gros avantages et des limites. Il faut à mon sens plus le considérer comme un outil complémentaire dans l’arsenal des moyens susceptibles d’être mis en œuvre pour répondre aux besoins de nos clients. Ce mode de recueil est intéressant pour étudier un groupe d’individus, et disposer d’éléments de compréhension de certains comportements, le plus souvent en complément d’autres sources d’information. On ne se situe pas du tout dans le cadre d’une étude représentative de la population française par exemple, pour disposer d’un cadrage sur un marché ou une problématique.

Dans l’exemple que vous évoquiez précédemment quant à la proposition d’un acteur, vous avez fait mention de la durée du recueil. La représentativité est-elle conciliable avec des durées de terrain très courtes, d’une journée par exemple ?

Sauf cas très particulier, on ne peut pas garantir une représentativité correcte des échantillons avec de telles durées. Plus on intègre des contraintes, plus on s’écarte de l’échantillon idéal. Mais on peut aussi regarder les choses sous un autre angle : la perfection absolue n’est jamais atteignable, et elle a un coût. La question à se poser est donc celle des bons compromis à effectuer. Je pense que ceux-ci ne peuvent être établis qu’en examinant d’assez près les enjeux. A quoi va servir l’étude ? Quelle est l’importance des décisions susceptibles d’être prises sur la base de celle-ci ?

Faire une étude est avant tout un investissement, il faut donc à mon sens sélectionner la méthodologie et les moyens en fonction des bénéfices qu’ils peuvent apporter. Lorsque les enjeux sont importants, il me parait suicidaire de ne pas se préoccuper de la solidité de l’échantillon et de la robustesse des résultats, et le cas échéant de la représentativité de l’échantillon investigué.

Une dernière question enfin : êtes-vous inquiet sur la façon dont évoluent les pratiques d’études, et en particulier sur la question de la rigueur avec laquelle celles-ci sont mises en œuvre ?

Oui. Je ne vais pas le cacher. Je pense que l’on assiste à une forme de paupérisation des études. Plus les choses avancent, moins on se préoccupe des aspects scientifiques et on  valorise de moins en moins, le temps de la recherche, de la réflexion, de l’analyse. Dans une certaine mesure, il est normal qu’il y ait un phénomène de baisse des prix des études, en intégrant les gains de productivité réalisés dans notre secteur. Le problème est que nous semblons nous engager dans une spirale qui pourrait conduire à une dégradation de la valeur même de ce qui est produit.

La faute, s’il y en a une, ne revient pas aux acheteurs d’études, mais à ceux qui vendent ces études. Le risque, me semble-t-il, est que le produit « étude » soit d’une qualité telle qu’il ne permette plus aux entreprises de disposer de cet outil d’aide à la décision pour avancer dans leur réflexion ou pour prendre des décisions ; et qu’il perde ainsi toute sa valeur. J’espère bien sûr que l’on puisse enrayer cette spirale, mais ce n’est pas un combat gagné d’avance !

Laisser un commentaire

Choisissez une méthode de connexion pour poster votre commentaire:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s