Deux économistes, fervents défenseurs de la libéralisation du marché du travail, font le tour des médias pour présenter leur récent pamphlet. Selon ces deux auteurs qui revendiquent un monopole médiatique, les économistes hétérodoxes, parce qu’ils ne se soumettent pas à la doxa néolibérale, ne seraient pas des scientifiques. Pire, ils seraient des « négationnistes » dont il faudrait « se débarrasser ».
Arthur Jatteau revient ici sur les prétentions scientifiques de Cahuc et Zylberberg, montrant notamment qu’elles sont fondées sur une confusion entre « preuves d’efficacité » et « preuves de causalité ». Il soutiendra cet automne une thèse sur l’expérimentation aléatoire en économie à l’Université Versailles Saint Quentin.
La brutalité, pour ne pas dire l’ignominie, du titre de l’ouvrage de P. Cahuc et A. Zylberberg (Le négationnisme économique) et du sous-titre (et comment s’en débarrasser)[1], interpelle à raison ceux qui sont visés. La juste indignation d’économistes comme Michel Husson, André Orléan[2] ou Henri Sterdyniak[3], ou de l’Association Française d’Economie Politique (AFEP) est à la mesure de l’insulte proférée à l’encontre de ceux qui, comme eux, ne s’inscrivent pas dans le courant de l’économie dominante. La réponse circonstanciée du premier à Cahuc et Zylberberg montre l’inanité de la critique qu’ils portent, en soulignant avec malice qu’ils ne semblent pas avoir eux-mêmes produit de travaux relevant de l’économie expérimentale, qui serait pourtant devenue l’essence même de la science économique contemporaine[4].
Vous avez dit expérimentation ?
Nous avons essayé, pour notre part, de prendre au sérieux les propos des deux chercheurs, qui placent donc au centre de la science économique la méthode expérimentale. Par cette dernière, l’économie se situerait désormais du côté de sciences comme la physique ou la médecine. Elle leur emprunterait l’idée de constituer des groupes afin de tester ce que l’on appelle en médecine un « traitement » (médicament, protocole…) et qui revient à un programme ou à une politique en économie. En constituant un groupe test (qui bénéficie de ce que l’on souhaite mesurer) et un groupe témoin (qui n’en bénéficie pas), si possible par tirage au sort afin qu’ils soient les plus semblables possible, et en comparant des indicateurs de résultats au bout d’un certain temps, on devrait être en mesure de mettre en avant des effets de la politique dont on souhaite estimer les effets. Cette démarche est au cœur de l’ouvrage de P. Cahuc et A. Zylberberg. C’est au MIT de Boston qu’on trouve le porte étendard de l’expérimentation en économie, une célèbre économiste française, Esther Duflo. Au sein de son laboratoire, elle applique cette méthode à des centaines de projets dans le monde entier, et plus particulièrement dans les pays pauvres[5].
Quoique l’inflexion expérimentale d’une partie de la recherche en économie semble être avérée, il est permis de relever ses travers, tels qu’ils transparaissent dans Le négationnisme économique. Tout d’abord, notons que les deux auteurs ont une définition imprécise de ce qu’est une expérimentation, puisque certains exemples qui figurent dans leur ouvrage n’en relèvent tout simplement pas. Par exemple, on ne trouve pas, dans la célèbre étude de Card et Krueger sur le salaire minimum aux États-Unis[6], de cadre expérimental, alors qu’elle présentée dans l’ouvrage comme symbolique de ce tournant qu’aurait pris l’économie. Card et Krueger profite simplement d’une différence de salaire minimum entre deux Etats américains pour y appliquer une technique statistique, mais cette différence n’a pas elle-même été pensée pour prendre part à une expérience.
D’ailleurs, que sont vraiment les expérimentations, et que montrent-elles ? Sans ouvrir un débat épistémologique trop pointu, accordons-nous simplement sur le fait qu’elles supposent une intervention active d’un-e chercheur-e, qui doit mettre en place un protocole à des fins de mesures. Louis Pasteur, lorsqu’il teste son vaccin contre la maladie du charbon sur deux groupes de moutons (un témoin, l’autre test), procède bien à une expérience[7]. Lorsque des économistes montent un projet afin de savoir si la distribution de manuels scolaires à des écoliers kényans améliore leur niveau, nous sommes toujours dans le cadre expérimental[8]. Mais nombreux sont les travaux sur lesquels s’appuient Cahuc et Zylberberg qui n’en relèvent pas. Certes, ils cherchent à mesurer des effets, mais sans préalablement avoir mis en place un protocole à des fins évaluatives.
Tester ou comprendre ?
Au-delà de ce problème de définition, il nous faut évoquer ce que montre, en toute rigueur, une expérimentation. Pour le comprendre, il faut revenir à une différence incontournable bien qu’apparemment ignorée de Cahuc et Zylberberg, alors qu’elle est bien établie en médecine. Il s’agit de la différence entre les preuves d’efficacité et les preuves de causalité[9]. Les premières renvoient au fait qu’un « traitement » produise des effets, qu’il soit donc « efficace », bref, qu’il marche. Les deuxièmes renvoient aux causes de ces effets. La nuance paraît ténue, mais elle est fondamentale, car un « traitement » peut marcher sans que l’on sache exactement pourquoi. C’est le cas par exemple de l’acupuncture en complément du cancer[10]. Son efficacité est prouvée, mais on peine à en comprendre les raisons. Cette différence doit être pensée en économie dès lors qu’on expérimente.
Pour reprendre l’exemple évoqué plus haut des manuels scolaires, admettons qu’à la fin de l’année scolaire, le groupe d’écoliers les ayant reçus obtienne de meilleurs résultats aux examens que le groupe de ceux n’ayant rien reçu. On peut légitimement en déduire que « les manuels marchent », puisqu’ils élèvent le niveau. Pour autant, l’expérience en elle-même ne dit rien des causes. Les manuels ont-ils été utilisés par les élèves du groupe test ? Ces derniers ont-ils été plus encouragés que les autres d’un point de vue pédagogique ? Est-ce que leur distribution a valorisé les élèves, à tel point qu’ils se sont davantage investis ? Est-ce que les enseignants, au vu des moyens supplémentaires dont disposaient leurs élèves, en ont été remotivés ? Est-ce que ce sont les parents qui ont davantage poussé leur progéniture ?
On le voit : efficacité n’est pas causalité. Une expérimentation à elle seule ne peut suffire à dévoiler les mécanismes causaux, que ce soit en médecine ou en économie, car les méthodes statistiques ne sauraient en elles-mêmes dévoiler des causalités[11]. Il est ainsi parfaitement inexact de déclarer que « c’est ainsi que la médecine résout le problème de la causalité[12] ».
En l’état, ce que l’on peut tirer, sur le plan des connaissances, d’une lecture brute d’une expérimentation, est bien pauvre. Contrairement à ce que laissent entendre Cahuc et Zylberberg, elles ne sont pas suffisantes à elles seules. Elles doivent nécessairement être complétées par un appareillage théorique adéquat et, en ce qui concerne les expérimentations dans le monde social, il paraît incontournable de ne pas s’armer uniquement de méthodes quantitatives pour espérer dévoiler la causalité. L’exemple des manuels scolaires le montre. Un traitement purement quantitatif ne saurait dévoiler les chaînes causales en jeu.
Pour le moment, nous savons déjà qu’une expérimentation, en économie comme ailleurs, peut éventuellement montrer si quelque chose marche, mais non pourquoi, comme le relève Angus Deaton[13], dernier « Nobel » d’économie en date et farouche opposant des expérimentations aléatoires telles que pratiquées par Esther Duflo et promues par nos deux auteurs.
Le problème de la généralisation
Ajoutons que les enseignements que l’on peut tirer d’une expérimentation sont également limités par ce que l’on appelle dans la littérature spécialisée la « validité externe », c’est-à-dire la capacité des conclusions tirées à tenir dans un autre contexte spatial, temporel, social, culturel…
Pour bien comprendre son importance, revenons à l’expérimentation sur les manuels scolaires dans une région du Kenya. En quoi ses résultats nous informent-ils sur les effets d’une telle politique dans une autre région ? Dans un autre pays ? Sur un autre continent ? À une autre époque ? Cette limite n’est triviale qu’en apparence, et semble un peu rapidement laissée de côté par les défenseurs de l’approche expérimentale, comme Cahuc et Zylberberg. Par définition, une expérimentation est localisée et inscrite dans le temps. Prétendre qu’elle serait à même de produire des connaissances de portée universelle apparaît très exagéré, si l’on ne se donne pas les moyens de prendre en compte les particularités du cadre dans lequel elle a été réalisée.
L’étude sur les 35 heures qu’ils citent dans leur ouvrage est symptomatique de la tendance qu’ils ont à tirer de conclusions générales d’études particulières. La méthode expérimentale ne saurait à elle seule tenir lieu de science économique, qui aborderait le monde réel, celui qu’elle prétend décrire et comprendre, comme un vaste laboratoire à ciel ouvert.
Le livre de Cahuc et Zylberberg peut se lire comme un vaste catalogue de travaux d’évaluation d’objets divers, comme la réduction du temps de travail, la politique industrielle ou encore la finance. De ce point de vue, il fait penser aux deux ouvrages écrits par Esther Duflo qui résument et vulgarisent nombre d’expérimentations aléatoires produites par les économistes de son laboratoire, le Poverty Action Lab (J-PAL)[14]. Dans les deux cas, on peine à en dégager des enseignements clairs, tant la question de la cumulativité des connaissances ainsi produite est absente. Que tirer de ces centaines d’articles, d’autant qu’il n’est pas rare qu’ils aillent dans des sens opposés ? Dans Le négationnisme économique, il est écrit que l’intervention publique en matière d’éducation n’est pas une bonne option. Certaines études expérimentales, dont parle Duflo, tendent à montrer l’inverse[15]. Au final, on peine donc à formuler des conclusions générales, ce qui est pourtant l’objectif de Cahuc et Zylberberg dans leur ouvrage. La profusion de ces recherches, expérimentales ou non mais toujours dans une perspective évaluative, en constitue une limite heuristique majeure.
Le point de vue bien souvent adopté par ce genre d’études, microéconomique et parfois mésoéconomique, en mine la portée car il laisse de côté des déterminants importants des dynamiques économiques contemporaines. Comme le disait Michel Armatte dans un séminaire à l’EHESS il y a quelques années, il s’agit bien là de « raconter plein de petites histoires pour éviter de raconter la grande. » C’est à cette aune que peut se mesurer l’économie défendue par Cahuc et Zylberberg : un condensé de travaux partiels et partiaux, qui peinent à dessiner et à analyser la structure du capitalisme contemporain, en refusant une approche qu’on pourrait qualifier d’économie politique, pour se limiter à singer les procédures qu’ils croient à l’œuvre en médecine. Sans doute est-ce là une trace de ce que Frédéric Lordon appelait « le désir de “faire science”[16] » qui taraude depuis si longtemps les économistes…
[1] Pierre Cahuc et André Zylberberg, Le Négationnisme économique et comment s’en débarrasser, Flammarion, 2016.
[2] André Orléan, « Quand Messieurs Cahuc et Zylberberg découvrent la science », AlterEco Plus, 2016, 12/09/2016.
[3] Henri Sterdyniak, « “Négationnisme économique” : ce pamphlet est ignoble. C’est un appel direct à l’épuration », Le Plus, 2016, 11/09/2016.
[4] Comme il est écrit au début de leur ouvrage : « L’économie est devenue une science expérimentale. » Voir P. Cahuc et A. Zylberberg, Le Négationnisme économique et comment s’en débarrasser, op. cit., p. 4.
[5] Pour une courte de présentation de son travail, voir Esther Duflo, Expérience, science et lutte contre la pauvreté, Paris, Fayard, 2009. Pour une analyse critique, on peut se référer à Arthur Jatteau, Les expérimentations aléatoires en économie, Paris, La Découverte, 2013.
[6] David Card et Alan B. Krueger, « Minimum wages and employment: a case study of the fast-food industry in New Jersey and Pennsylvania », American Economic Review, 1994, vol. 84, no 4, p. 772‑793.
[7] Anne Fagot-Largeault, « Les origines de la notion d’essai contrôlé randomisé en médecine », Cahiers d’histoire et de philosophie des sciences, 1992, no 40, p. 281-300.
[8] Paul Glewwe, Michael Kremer et Sylvie Moulin, « Many children left behind? Textbooks and test scores in Kenya », American Economic Journal: Applied Economics, 2009, vol. 1, no 1, p. 112-135.
[9] Ulrich Abel et Armin Koch, « The role of randomization in clinical studies: myths and beliefs », Journal of Clinical Epidemiology, 1999, vol. 52, no 6, p. 487‑497. Pour une perspective historique, voir Grégoire Chamayou, Les corps vils : expérimenter sur les êtres humains aux XVIIIe et XIXe siècles, Paris, La Découverte, 2013.
[10] Catherine Laurent, Jacques Baudry, Marielle Berriet-Solliec, Marc Kirsch, Daniel Perraud, Bruno Tinel, Aurélie Trouvé, Nicky Allsopp, Patrick Bonnafous, Françoise Burel, Maria José Carneiro, Christophe Giraud, Pierre Labarthe, Frank Matose et Agnès Ricroch, « Pourquoi s’intéresser à la notion d’ “evidence-based policy” ? », Tiers Monde, 2009, no 200, p. 853-873.
[11] U. Abel et A. Koch, « The role of randomization in clinical studies », op. cit.
[12] P. Cahuc et A. Zylberberg, Le Négationnisme économique et comment s’en débarrasser, op. cit., p. 17.
[13] Angus Deaton, « Instruments, randomization, and learning about development », Journal of Economic Literature, 2010, vol. 48, no 2, p. 424-455.
[14] Esther Duflo, Le développement humain, Paris, Seuil, 2010 ; Esther Duflo, La politique de l’autonomie, Paris, Seuil, 2010.
[15] Pour ne donner qu’un seul exemple : Edward Miguel et Michael Kremer, « Worms: identifying impacts on education and health in the presence of treatment externalities », Econometrica, 2004, vol. 72, no 1, p. 159-217.
[16] Frédéric Lordon, « Le désir de “faire science” », Actes de la recherche en sciences sociales, 1997, vol. 119, p. 27‑35.
Nos contenus sont placés sous la licence Creative Commons (CC BY-NC-ND 3.0 FR). Toute parution peut être librement reprise et partagée à des fins non commerciales, à la condition de ne pas la modifier et de mentionner auteur·e(s) et URL d’origine activée.