Ce qui suit repose sur mon expérience dans une banque particulière, dans un domaine particulier celui du risque de crédit. Sa validité externe s'arrête donc à ces bornes, mêmes si je pense que la dimension réglementaire que je souligne à la fin suggère que ce que j'ai observé est assez général.

À de nombreuses fins, les modèles de risque de crédit, qu'il s'agisse des modèles de score ou des modèles de stress-test, constituent une sous-catégorie particulière des modèles économiques (et parfois économétriques). Dans le premier cas, il s'agit d'estimer, sur la base de ses caractéristiques observables, la probabilité qu'un client donné fasse défaut à un horizon temporel donné. Conceptuellement, ils sont donc identiques à des modèles estimant l'impact d'une intervention de politique publique, la propension à avoir un comportement à risques, etc. Dans le second cas, il s'agit d'estimer de manière plus ou moins directe la dépendance de cette probabilité à l'environnement macroéconomique, ce qui ramène les modèles de stress-tests à la famille des modèles de prévision macro couramment utilisés.

Quelles sont les incitations d'une banque que ces modèles soient justes ? De fait, cela dépend du modèle, et de la manière dont il est utilisé. Pour illustrer, on a à un extrême le modèle utilisé uniquement pour calculer la quantité de capital que la banque doit détenir pour faire face au risque d'un prêt donné. Dans ce cas, l'incitation (privée et à court terme) de la banque est de biaiser le modèle de manière à minimiser son besoin de capital (et certains auteurs ne se privent pas de suggérer que cette pratique est répandue - je ne l'ai personnellement jamais observée). L'autre cas extrême est quand le même modèle est directement intégré aux décisions d'octroi et de prix : la note du modèle détermine si vous obtenez le prêt, et à quel taux. Dans ce cas, les erreurs sont coûteuses : un modèle trop sévère vous fait perdre de bons clients et vous coûte en capital, tandis qu'un modèle trop laxiste générera des pertes, du fait d'avoir accepté des clients trop risqués et d'avoir sous-tarifé les autres par rapport à leur niveau de risque.

De fait, les banques qui utilisent de tels modèles disposent d'équipes d'audit de modèle dont la fonction est justement d'auditer ces modèles. Cela peut aller d'un simple examen de la documentation à une réplication complète. Ces services emploient une main-d’œuvre qualifiée et en concurrence en termes de recrutement avec les services de modélisation. Et de fait, leur travail est souvent difficile. Les documentations sont souvent assez minimalistes, les codes peu lisibles, et les données, lorsqu'elles sont convenablement archivées, sont rarement traçables jusqu'à leur extraction des systèmes source (et je laisse de côté la très vaste question de la fiabilité des données source, même si tout le secteur est réputé conforme à BCBS-239, les amateurs apprécieront).

L'ampleur de ces équipes a considérablement augmenté avec la montée en puissance des exigences réglementaires des dix dernières années. Ces exigences ont en particulier souligné le besoin d'une documentation exhaustive, de la traçabilité des données et des contrôles de robustesse. Concrètement, dans le cas des États-Unis, le volume de documentation pour un modèle a explosé de cinq à 200 pages. Il faut remarquer que le régulateur est dans la même position que le chercheur qui lit un article : il ne peut se référer qu'à ce qui est dans l'article / la documentation, il n'a que difficilement (voire pas) accès au code et aux données, et de toutes manières ni le temps ni les ressources pour tout refaire (ou, je sais, la BCE conduit des exercices de revue ciblée, TRIM pour les intimes - bizarrement, ça fait pas mal flipper dans les banques : économistes, imaginez que Reviewer n°2 vous écrive pour vous dire qu'il débarque demain dans votre bureau pour faire tourner le code de votre papier depuis le départ).

De cette observation, je tire une conclusion : les régulateurs ont estimé que les incitations privées des banques à avoir de bons modèles étaient très insuffisantes, et ont ajouté une grosse couche (pas la couche de sucre glace sur votre gaufre, une couche taille calotte antarctique) d'incitations réglementaires pour avoir des modèles qui tiennent un minimum la route. On peut donc penser que dans le domaine académique, il faudra aussi qu'un acteur un petit peu extérieur (par exemple les financeurs) intervienne assez lourdement pour faire changer les pratiques. Pour l'instant, le fait est qu'il vaut mieux en termes de carrière passer deux fois six mois à faire deux articles avec du code inintelligible que passer un an à faire un article prêt pour la réplication.

Autre conclusion : demander aux chercheurs de mieux documenter leur démarche dans des articles ou des appendices ne servira pas à grand-chose : je n'ai pas l'impression que l'inflation documentaire ait vraiment amélioré la situation : les points délicats de la modélisation se trouvent noyés dans un océan d'informations.

On peut noter que certaines initiatives promeuvent l'utilisation de modèles de risque ouverts - ce qui permet de mutualiser les développements et de réduire les risques, la concurrence se jouant sur la qualité des données (là, j'en vois au fond qui rigolent) et sur l'intégration effective des modèles dans les process d'octroi, de pricing et de suivi du risque. Il va être intéressant de comparer l'évolution de ce type d'initiative d'une part, et des initiatives pour une science plus reproductible d'autre part.