Gros plan sur… La thèse de Arthur Jatteau, sur “Faire preuve par le chiffre ? Le cas des expérimentations aléatoires en économie”

Le carnet du RT12 braque régulièrement le projecteur sur un travail de recherche de doctorat en cours. Aujourd’hui, nous nous intéressons au travail d’Arthur Jatteau, qui a soutenu sa thèse de sociologie et d’économie en décembre 2016 à l’ENS Cachan, sous la direction de Frédéric Lebaron (professeur de sociologie à l’ENS Cachan) et d’Agnès Labrousse (maîtresse de conférences à l’Université de Picardie – Jules Verne).

1. Votre thèse porte sur le fait de « faire preuve par le chiffre », en prenant comme objet d’étude les « expérimentations aléatoires en économie ». Qu’est-ce qui vous a intéressé dans ce sujet ?

J’ai toujours été intéressé par les chiffres. C’est ce qui m’a attiré vers l’économie, à travers les Sciences Économiques et Sociales, les « SES » (que j’enseigne aujourd’hui). Après le bac, j’ai entamé des études de sciences sociales, à cheval entre la sociologie et l’économie. Faire de la sociologie m’a incité à regarder les chiffres avec une certaine réflexivité, c’est-à-dire en ne les prenant pas pour « donnés », mais en pensant leur production. C’est ce regard que j’essaie de porter dans ma thèse, en analysant comment, dans un sens très « pratique », on fait preuve par le chiffre. C’est l’originalité de ma démarche : ne pas se limiter à une approche théorique, mais regarder « concrètement » comment cette preuve par le chiffre est construire sur le terrain. Je me suis ainsi demandé par exemple : Comment ont été élaborées les questions d’un questionnaire distribué sur le terrain ? Par qui ? Dans quel cadre ? Quelles sont les différentes étapes du processus qui aboutissent à la production de ces chiffres ?

J’ai choisi comme objet d’étude les « expérimentations aléatoires », c’est une méthode est sur le « devant de la scène » depuis plusieurs années. À la manière des essais cliniques randomisés en médecine, elle cherche à évaluer l’impact d’un programme ou d’un projet, qui compare deux groupes tirés au sort (c’est pour cela qu’on parle d’expérimentation aléatoire) : l’un à qui l’on donne ce que l’on veut de tester (le groupe de « traitement »), l’autre à qui l’on ne donne rien (le groupe de contrôle). Au bout d’un certain temps, on compare des indicateurs de ces deux groupes pour voir s’il y a un effet. On teste ainsi l’impact de la distribution gratuite d’un manuel scolaire sur le niveau des élèves au Kenya, l’effet de la distribution d’un sac de lentilles pour inciter les mères à vacciner leurs enfants en Inde, l’organisation de réunions parents-profs sur la réussite scolaire dans l’académie de Créteil…

Au début, comme beaucoup, j’avais été attiré par cette approche de l’économie, très appliquée, qui se présentait comme novatrice. Je lisais avec intérêt les articles d’Esther Duflo, l’économiste française (et désormais également américaine) qui a contribué à populariser les expérimentations aléatoires réalisées par le laboratoire qu’elle a fondée, le J-PAL (« Poverty Action Lab »). C’est un laboratoire dont l’objectif est de proposer des projets pour réduire la pauvreté en apportant des preuves de leur efficacité. J’ai même été engagé comme assistant de recherche sur un de ses projets. Mais la fermeture disciplinaire que j’ai constatée sur le terrain, associée à une faible réflexivité, m’a déçu. Les conditions de production des expérimentations aléatoires étaient peu prises en compte, le contexte (notamment culturel) rarement interrogé, la signification des chiffres sur de tels terrains guère questionnée. J’ai donc décidé de mettre un terme à ma collaboration avec le J-PAL et de débuter une recherche sur leur méthode, d’abord avec un mémoire de master 2, prolongé ensuite en thèse.

2. Quels cadres théoriques avez-vous mobilisé pour aborder ces questions ?

Plutôt que de parler de cadre théorique pour ma thèse, j’aime mieux parler de « cadre méthodologique ». En effet, je n’ai pas débuté ce travail avec un cadre théorique dominant en tête, mais plutôt avec une conviction méthodologique : celle du croisement disciplinaire. Il était important pour de ne pas rester cloisonné à une discipline, notamment parce que j’en avais vu les limites sur le terrain.

Lors d’un séjour de deux mois dans l’ouest du Kenya, où ont été lancées plusieurs expérimentations aléatoires, je me suis aperçu que toute la littérature ne s’appuyant pas sur des méthodes quantitatives était « rejetée » par les équipes sur place car considérée comme non-scientifique. Il me semblait pourtant qu’elle pourrait nourrir utilement la réflexion dans le cadre de la méthode aléatoire, en précisant le contexte socio-culturel d’intervention, en mettant au jour la perception qu’ont les enquêtés de ces expérimentations ou les éventuelles dissonances cognitives…  Bref, l’absence de qualitatif contribuait à ne pas prendre en compte certains éléments utiles à la compréhension de ce qui se jouait se le terrain.

C’est une des raisons qui m’ont poussé à avoir recours à des méthodes qualitatives (entretiens principalement, mais aussi observations) dans ma thèse. J’ai également mobilisé d’autres méthodes, comme la revue systématique des littératures (médicales, sociologiques, économiques) et les méthodes quantitatives (analyse prosopographique, analyse géométrique des données, analyse de réseau).

3. Comment enquêtez-vous sur ce terrain ? Quelles données mobilisez-vous ?

J’ai mobilisé des données de nature très variée. Puisque je souhaitais étudier les expérimentations aléatoires telles qu’elles se font et non telles qu’elles sont censées se faire, il me fallait aller au-delà des articles académiques les relatant, publiés dans des revues économiques, où la réflexivité sur les conditions de production est trop rarement de mise.

L’approche que j’ai privilégiée a été les entretiens, délaissant rapidement ceux avec les chercheurs, car leurs propos étaient trop proches de leurs publications pour que j’y trouve une réelle plus-value, pour me concentrer sur les assistants de recherche. Maillon indispensable des expérimentations aléatoires, ils sont chargés de faire l’interface entre le terrain et le chercheur. Basés dans les régions où se déroulent les projets et y restant au moins une année, ils ont une connaissance plus fine et plus profonde de leur déroulement que les chercheurs.  Les entretiens que j’ai pu mener avec eux ont été particulièrement instructifs, car ils donnaient à voir (ou plutôt à entendre) des éléments dont je n’aurais pu prendre connaissance par ailleurs, comme par exemple sur le choix des questions à poser ou les difficultés rencontrées lors de la passation des questionnaires.

Comme le J-PAL est un laboratoire très internationalisé, dans lequel travaillent des chercheurs de tous les continents, lançant des projets dans plus d’une soixantaine de pays, j’ai eu recours à Skype pour mener des entretiens non-présentiels. Ceux-ci étaient souvent en anglais.

Je n’ai pas pu mener autant d’observations que je l’aurais voulu. Mon mémoire de master 2, critique à l’égard de la méthode employée par le J-PAL, a déplu à certains de ses membres. Mon accès aux différents terrains que j’envisageais a ainsi été rendu particulièrement compliqué… J’ai essayé de dépasser ce problème, en jouant sur la présentation que je faisais de ma thèse à mes interlocuteurs, en insistant notamment sur son versant sociologique, de manière à n’être pas perçu comme un économiste critique.

4. Quelles conclusions tirez-vous dans votre thèse ?

La principale conclusion à laquelle j’aboutis dans ma thèse consiste à remettre en cause la prétendue supériorité de la méthode des expérimentations aléatoires comme mode d’administration de la preuve. En théorie, elle est séduisante, quoique critiquable, comme le montrent les travaux de l’économiste Angus Deaton, récipiendaire du « prix Nobel » d’économie en 2015. « Sur le papier », elle apparaît en effet pour beaucoup comme supérieure aux autres méthodes d’évaluation d’impact. Mais si l’on adopte une approche « par le bas », comme je l’ai fait dans ma thèse, on s’aperçoit qu’un certain nombre de bricolages, d’arrangements, ont lieu lors de l’application de cette méthode. Ils sont tout à fait normaux, bien sûr, mais leur absence de prise en compte limite fortement la validité des résultats que l’on en tire. Ainsi, on s’arrange pour avoir des chiffres les plus frappants possibles, quitte à perdre en pertinence du point de vue des politiques publiques ; on « teste » un certain nombre de variables jusqu’à obtenir des résultats ; on interprète ces derniers de manière à les présenter comme généralisables sans fournir de preuves de cette possible généralisation… Pour donner un exemple, on peut évoquer une étude menée par Esther Duflo et ses collègues, qui visait à réduire l’absentéisme des instituteurs indiens. Pour ce faire, l’idée, classique, était de les payer à la présence. Mais l’originalité résidait dans le contrôle de leur présence. En effet, il était demandé aux instituteurs de se photographier le matin avec leur classe, puis une nouvelle fois en fin de journée, afin de vérifier qu’ils étaient bien présents à l’école (en regardant l’heure des clichés). Au-delà des questions d’éthique que l’on est en droit de se poser, on peut se poser la question du sens d’une telle idée dans une optique de politique publique. Va-t-on acheter un appareil photo pour les 3 millions d’instituteurs indiens ?

J’ai aussi mis en avant les effets de la pression à la publication exercée sur les chercheurs. Présente bien évidemment au-delà des seules expérimentations aléatoires et n’étant d’ailleurs pas restreinte à l’économie, elle se traduit ici sur le terrain en ayant un impact direct sur les enquêtés. L’enjeu n’est ainsi pas le même entre le chercheur qui « fait tourner » un modèle sur un ordinateur et le chercheur qui implique des centaines, voire des milliers d’individus dans son expérimentation. Ici, les implications de cette pression à la publication sont bien concrètes, poussant les économistes qui pratiquent les expérimentations aléatoires à parfois privilégier les questions de publication à celles de développement ou de politique publique. Pour illustrer ce point, je peux citer un exemple qui m’a été rapporté par l’assistant de recherche d’une expérimentation qui visait à installer des équipements sanitaires dans des villages ruraux d’un pays africain. Une fois les équipements mis en place, il a proposé aux chercheurs qui encadraient l’étude de revenir dans les villages un an après afin de regarder si les villageois avaient recours à ces équipements. Or les chercheurs ont refusé, en affirmant que les taux d’utilisation risquaient d’être trop faibles, voire nuls, et qu’ils avaient besoin de résultats tangibles pour leurs publications futures. Décision fut prise de revenir quelques semaines seulement après l’installation des équipements, afin de profiter de l’effet de nouveauté qu’ils devraient susciter. On voit bien ici la tension entre publication et développement.

Avec cette thèse, je souhaite enfin apporter une contribution à un questionnement plus général, en soulignant qu’une seule discipline, une seule méthode, ne saurait suffire à elle seule pour prétendre décrire et comprendre le monde social. En ayant considéré un objet particulier, j’espère avoir montré toute la fertilité qu’il y a à croiser les regards.

5. Liens

Jatteau, Arthur, « Expérimenter le développement ? Des économistes et leur terrain », Genèses, 2013, vol. 4, no 93, p. 8‑28.

Jatteau, Arthur, Les expérimentations aléatoires en économie, La Découverte, 2013.

Labrousse, Agnès, « Nouvelle économie du développement et essais cliniques randomisés : une mise en perspective d’un outil de preuve et de gouvernement », Revue de la régulation, 2010, no 7, p. 2‑32.

Quentin, Aurélie et Isabelle Guérin, « La randomisation à l’épreuve du terrain. L’exemple du projet de microassurance SKY au Cambodge », Revue Tiers Monde, 2013, vol. 1, no 213, p. 179‑200.

Laura Chartain

More Posts