This Time is Different vs Excel
Depuis la parution de ce papier, Twitter et la blogosphère économique sont en ébullition : un résultat de Reinhart et Rogoff, que la croissance des pays est pénalisée lorsque leur ratio dette/PIB passe les 90%, apparaît avoir été causé à la fois par des choix méthodologiques discutables et par une erreur dans une formule Excel.
Une large part du débat se focalise sur ce seuil à 90%, qui avait occupé beaucoup d’espace dans le débat public et constitué, à en croire bon nombre de commentateurs, une caution académique pour les politiques d’austérité. Ce n’est cependant pas à mon sens ce qu’il faut retenir de cet épisode. Leur étude contient des éléments beaucoup plus intéressants sur le processus conduisant aux crises bancaires et sur la répression financière qui s’ensuit. L’épisode lui-même est instructif quant au fonctionnement du débat public et académique, et a le mérite d’attirer l’attention sur le risque lié à l’utilisation d’un tableur pour des calculs dont la fiabilité est importante.__
This Time is Different
Il n’y a sans doute pas lieu de négliger l’importance de This Time is Different sur la seule base de cette erreur. La détermination d’un seuil d’endettement à partir duquel la dette est un obstacle à la croissance n’est pas la principale contribution de cet ouvrage. Même si c’est facile de le dire après coup, c’est probablement sa partie la plus fragile et la moins intéressante. Le grand apport de Reinhart et Rogoff est à mon avis leur analyse historique profonde des crises bancaires.
Celle-ci a permis de mettre en évidence le rôle déterminant des bulles de crédit, en particulier immobilières dans le déclenchement des crises. Surtout, et c’est ce qui a donné son titre à l’ouvrage, ils montrent très efficacement comment la constitution de ces bulles repose fondamentalement sur des anticipations biaisées, sur la croyance renouvelée que cette fois, c’est différent, et qu’une innovation donnée (Internet et la titrisation étant les deux derniers avatars) modifie en profondeur le fonctionnement de l’économie en augmentant très rapidement les perspectives de croissance.
Je pense qu’il faut également retenir de leur travail toute la partie sur la répression financière. Tout autant que les ratios dette/PIB, cette boîte à outils et son utilisation vont probablement conditionner le fonctionnement des économies européenne, américaine et japonaise pour les dix ans à venir. Il me semble que ce versant de l’ouvrage n’a pas reçu l’attention qu’il mérite.
This Time is not Different
Par ailleurs, il ne faut sans doute pas exagérer la portée réelle de ce seuil à 90%. Il a certes servi de référence dans certains débats, mais tout autre seuil proche, calculé par une méthode similaire, aurait probablement tenu lieu de caution académique. On n’a pas attendu ces travaux pour fixer un seuil dette/PIB dans le traité de Maastricht (60% du PIB, pour mémoire).
La violence de la réaction des milieux académiques s’explique sans doute moins par l’effet de politiques utilisant ce seuil de 90% (ce qui n’est d’ailleurs pas clair : les analyses de soutenabilité de la dette semblent heureusement plus complexes) que par un sentiment de trahison. Le travail de Reinhart et Rogoff a été reçu comme une véritable contribution académique, où les auteurs avaient su mettre leurs opinions de côté pour exploiter un jeu de données très riche (et particulièrement difficile à construire). Apprendre que leur résultat est lié à des biais méthodologiques et à une erreur dans une formule est alors décevant, et d’autant plus décevant que leur réaction ne semble pas être à la hauteur.
Ceci étant, il faut aussi garder une certaine mesure dans les réactions. Le fait que ce seuil était calculé sur la base de relativement peu de points, et donc fragile, était un élément connu, et documenté par les auteurs eux-mêmes. Avant même la révélation des erreurs dans le calcul, il y avait amplement de quoi nuancer la portée de ce résultat, ce que ne s’est d’ailleurs pas privé de faire un Krugman, avec de bons arguments.
Excel, facteur de risque opérationnel
Un pont qu’il me semble important de souligner est la partie liée à l’erreur dans une formule. La faute est vénielle : dans une moyenne, un des chercheurs n’a pas tiré le cadre de sélection assez bas, et ainsi laissé de côté une partie des données. Oui, cela arrive à tout le monde. Non, cela ne devrait pas arriver, pas plus dans un travail académique que dans l’industrie ou la finance.
Le problème ici réside à mon sens dans le choix de l’outil. Oui, un tableur est un outil fantastique pour faire des calculs de coin de table et avoir une idée sommaire de ce qu’il y a dans des données. Non, un tableur ne devrait pas être utilisé en production. Le vice fondamental du tableur est de rassembler dans une même interface les données, les formules et les résultats. On se retrouve ainsi facilement à éditer des données sans s’en rendre compte (un des no-no de la statistique : on ne change rien aux données sans le documenter), à remplacer une formule par une valeur, ou à éditer un résultat.
La dernière erreur est d’autant plus aisée à commettre que le plus souvent, les formules ne sont pas apparentes, masquées par leur résultat. Un copier-coller valeur, et une formule est remplacée par un résultat fixe. Une formule fautive peut rester cachée longtemps (c’est ce qui est arrivé à la Baleine de la Tamise), ou, dans le cas de Reinhart et Rogoff, ne portée que sur une partie des résultats.
Ainsi que le faisait remarquer un observateur du secteur, que celui qui n’a jamais commis ce type d’erreur leur jette la première pierre. C’est dire à quel point ces erreurs sont fréquentes, et pour la plupart passent inaperçues malgré des conséquences importantes. Omniprésent dans l’industrie et la finance, le tableur constitue probablement un des facteurs majeur de risque opérationnel – probablement plus significatif que les algorithmes de trading à haute fréquence.
Publié le mercredi, avril 17 2013, par Mathieu P. dans la catégorie : Réactions - Lien permanent
Commentaires
mercredi, avril 17 2013
16:47
Et l'outil qu'on utilise à la place, c'est quoi ?
J'ai tendance à dédier une feuille aux données sources pour limiter ce genre de problème, mais ça ne répond pas aux problèmes de formules. De toute façon, un outil en ligne de commande ou en interrogation de base de donnée a potentiellement tout autant de problème.
La réponse pour moi est plutôt dans la réplication systématique, c'est le même phénomène qui explique d'ailleurs une partie des résultats de Ioannidis en médecine, la vérification indépendante des résultats publiés n'est pas suffisamment fréquente, et c'est cela surtout qui entache la confiance qu'on peut leur donner.
Alors même que les ressources pour dupliquer, revérifier la plupart des résultats d'économies sont infiniment là car c'est pour de nombreuses études beaucoup moins couteux qu'en médecine.
— jmdespmercredi, avril 17 2013
19:40
Je peux me tromper mais, en tout cas dans la version, la question de l'impact de la dette publique sur la croissance n'est pas traitée dans "This Time is Different".
Manifestement c'est cet article http://www.nber.org/papers/w15639.p... qui est remis en cause. Or, je ne retrouve pas les tableuaux de cet article dans le livre qui a été publié avant le NBER Working Paper. Le livre ne me semble pas devoir être remis en cause.
Par ailleurs, quand on lit l'article, ses faiblesses sont évidentes qu'il y ait erreur excel ou pas. L'étude consiste en un simple calcul de moyenne. Il établit seulement une corrélation plutôt qu'une causalité de la dette publique vers la croissance alors même que la causalité inverse est mécanique. D'ailleurs, la conclusion de l'article lui même ne mentionne pas de causalité identifiée mais une simple corrélation.
Quant à justifier des politiques d'austérité avec ça, ça parait encore plus difficile. La corrélation pourrait simplement être due au fait que les états mettent souvent en place des politiques d'austérité quand la dette atteint 90%, déprimant ainsi l'activité. Si c'est le cas, la corrélation disparaîtrait simplement si les états ne menaient pas de politiques d'austérité.
— najepjeudi, avril 18 2013
16:59
Il y a effectivement une confusion entre l'article dont vous donnez le lien et l'ouvrage. À la lecture des réactions, j'ai toutefois souvent vu l'assertion que cette erreur remettait en cause l'ouvrage autant que l'article. Merci d'avoir clarifié ce point.
Il est certain que l'article est faible. Le problème vient de ce que les auteurs eux-mêmes ont utilisé ce résultat comme un repère solide lors de consultations avec des journalistes ou des hommes politiques. Ce qui explique en partie la vigueur de la réaction.
— Mathieu P.mardi, avril 23 2013
13:08
D'accord avec najep et la lecture de Mathieu P.
Du reste, ce qui m'intéresse c'est notamment la sensibilité de la presse qui se sert des choses hautement sérieuses pour trouver des arguments pour descendre la discipline économique. C'est dommage! On peut se souvenir rapidement de l'épisode papier de Blanchard.
— MacroPED