Loader
Posted at 11:09h in Publication by
0 Likes

Application d’un modèle de machine learning dans le cadre IRB : l’approche PLTR pour prédire la PD et la LGD

Novembre 2026

Auteur

Alicia Gardette

Télécharger la publication

1. Introduction

Une mise à jour récente du guide réglementaire de la BCE sur les modèles internes ouvre la voie à un nouveau cadre de modélisation en matière de risque de crédit [1]. Désormais, les modèles de machine learning (ML) sont acceptés par le régulateur, sous réserve que ceux-ci soient interprétables, explicables et conformes au cadre prudentiel avec une gouvernance renforcée. Dès lors, les institutions bancaires font face à un double défi : garantir la précision de leurs mesures de risque tout en assurant une transparence de leurs modèles.

Bien que ce double défi soit historiquement vu comme un compromis dans lequel le gain en performance est réalisé au détriment de l’interprétabilité du modèle, une étude récente nuance ce paradigme [2]. En effet, selon cette étude, des modèles nativement interprétables permettent de construire des modèles hybrides capables d’allier performance, explicabilité et conformité aux exigences prudentielles.

Dans la présente étude, nous proposons d’étudier un de ces modèles nativement interprétables : la PLTR (Penalised Logistic and Tree Regression). Cette approche combine arbres de décision pour le traitement des données et régression logistique pour la modélisation de la probabilité de défaut [3]. En créant des variables explicatives par les arbres de décision, cette méthode permet d’automatiser certains traitements des variables candidates, de considérer des interactions non linéaires et, par suite, d’augmenter la performance du modèle qui est basé sur une régression afin de garantir l’explicabilité et l’interprétabilité des mesures de risque.

La méthode PLTR répondant ainsi aux exigences réglementaires en termes de performance et d’interprétabilité, l’objectif de cet article est d’analyser la sensibilité des hyper-paramètres de cette méthode afin de formuler des recommandations de paramétrage dans le contexte IRB, tant pour les modèles de PD que pour les modèles de LGD, en substituant la régression logistique par une régression linéaire pour ce dernier paramètre bâlois. Cette étude est réalisée sur 118 328 observations pour la PD et sur 10 444 observations pour la LGD, obtenues par simulation [4].

La méthodologie adoptée consiste à faire varier successivement un paramètre ou hyper paramètre afin d’étudier l’impact de ces variations sur le nombre de variables sélectionnées et sur la performance prédictive du modèle. L’objectif est d’identifier les effets spécifiques de ces paramètres sur la configuration optimale du modèle. Pour ce faire, un modèle de référence est considéré en appliquant le modèle PLTR avec des réglages initiaux. Ensuite, une étude de sensibilité de ce modèle est réalisée par rapport aux paramètres. La comparaison des performances et de l’interprétabilité des modèles à travers le nombre de variables sélectionnées permet de dégager quelques recommandations et enseignements.

La section 2 présente l’état de la littérature sur la PLTR, appliquée au risque de crédit. La section 3 propose un rappel théorique sur le modèle PLTR, avec les éléments analytiques sollicités au cours de cet article. Une quatrième section est consacrée aux études de sensibilité du paramétrage de la PLTR pour des modèles de PD et de LGD. La section 5 tire quelques enseignements des analyses de sensibilité.

2. Etat de l’art sur la PLTR

La méthode PLTR a été développée afin de répondre à un dilemme majeur dans l’industrie financière : le compromis entre la performance prédictive des modèles et les exigences strictes de transparence des régulateurs [3]. Plus particulièrement dans le domaine du risque de crédit, sa création répond à la confrontation des deux réalités suivantes.

  • Les limites de la régression logistique classique. Historiquement, la régression logistique est le modèle standard et privilégié par les banques car elle est vue comme simple, intrinsèquement interprétable et facilement auditable [3, 5]. Cependant, sans analyse et transformation préalables des variables candidates, elle échoue à capturer les relations non linéaires complexes, ce qui limite sa précision prédictive [3, 5] et milite en faveur de l’automatisation des traitements préalables des variables par une approche heuristique.
  • L’opacité des modèles de ML performants. Les algorithmes plus avancés (tels les forêts aléatoires ou le Gradient Boosting) offrent une précision supérieure pour prévoir les défauts de paiement, mais ils fonctionnent comme des « boîtes noires » [5, 6]. Leur manque de transparence les rend incompatibles avec les exigences des autorités de régulation financière, qui imposent que les scores de crédit soient explicables afin de justifier chaque décision et de garantir l’absence de biais [1, 3, 6].

Pour résoudre ce dilemme, deux visions s’opposent [2]. La première vision consiste à utiliser des modèles de ML non interprétables, puis d’appliquer des méthodes ex-post afin de proposer une interprétation des prévisions. La seconde vision prône l’usage de modèles de ML nativement interprétables. En effet, il a été prouvé, à travers le concept d’espace de Rashomon, que pour tout problème de classification ou de régression, il y a une très forte probabilité qu’il existe un modèle nativement interprétable qui performe aussi bien qu’un modèle de type « boîte noire » [7].

La méthode PLTR fait partie de ces méthodes de ML nativement interprétables [3]. Elle a émergé pour améliorer significativement les performances de la régression logistique en y intégrant les effets non linéaires découverts par les arbres de décision, tout en conservant un niveau d’interprétabilité et d’explicabilité répondant aux exigences du régulateur [3, 5]. La PLTR atteint ces deux objectifs à travers deux étapes : la première étape consiste à créer de nouveaux prédicteurs à partir d’arbres de faible profondeur afin de capter des effets non-linéaires et la seconde étape introduit ces nouveaux prédicteurs dans un modèle de régression pénalisée. Appliquée au domaine du risque de crédit, cette méthode permet d’atteindre une performance comparable à une forêt aléatoire. Cependant, sa performance est significativement supérieure à une régression logistique réalisée sans traitement préalable des variables candidates. De plus, cette méthode s’inscrit dans le cadre règlementaire bâlois du fait de son interprétabilité qui est garantie par l’utilisation, en seconde étape, d’une régression [2].

Certaines recherches ont néanmoins souligné que la limitation des arbres à une ou deux profondeurs peut parfois être insuffisante pour capturer toutes les structures non linéaires complexes des données, en comparaison avec des modèles comme les GAM [8]. Par ailleurs, la PLTR utilisant le même ensemble de données pour extraire les règles de non-linéarité et ajuster la régression, cela peut induire un biais de sur-apprentissage, dans la mesure où chaque information est utilisée deux fois [5]. Pour pallier ce problème, des variantes comme la UPLTR (Unbiased PLTR) ont été développées. Celles-ci consistent à diviser les données en sous-échantillons distincts dédiés à chaque étape du processus, garantissant ainsi un modèle plus robuste et moins biaisé [5].

3. Eléments méthodologiques autour de la PLTR

3.1 Construction des variables indicatrices

L’objectif de cette étape est de transformer les variables continues en règles binaires, sous forme d’indicatrices. Cela est réalisé en utilisant des arbres CART (Classification and Regression Trees) de faible profondeur.

Méthode CART

La méthode CART est un algorithme de moyennage local par partition de l’ensemble des observations, la partition étant basée sur des divisions binaires successives. A chaque itération, est identifiée la division conduisant à l’hétérogénéité la plus faible des deux nœuds enfants.

Discrétisation des variables

Afin de discrétiser les variables, des arbres de profondeur 1 et de profondeur 2 sont construits.

Les arbres de profondeur 1 permettent d’identifier, pour chaque variable, les seuils de rupture optimaux par rapport à la variable à expliquer. Quant aux arbres de profondeur 2, ils permettent de capturer des effets d’interactions croisées entre deux variables. Un modèle d’arbre est construit pour chaque couple de variables, permettant de tester chaque combinaison de croisement possible.

Création des variables indicatrices

Chaque feuille terminale des arbres générés précédemment est transformée en variable binaire indiquant la présence ou non de l’observation dans la feuille terminale. De plus, sont filtrés :

  • Les résultats des arbres de profondeur 2 qui n’ont pas de seconde variable. Ce cas-là revient à des arbres de profondeur 1, qui ont déjà été testés.
  • Les résultats des arbres de profondeur 2 qui ont deux fois la même variable. Ce cas-là revient à des arbres de profondeur 1, qui ont déjà été testés.
  • Les résultats des arbres de profondeur 2 qui correspondent à des branches pures. Dans ce cas-là, toutes les observations appartiennent à la même classe et l’indicatrice créé ne prend qu’une seule modalité et n’est pas discriminante.

3.2 Construction du modèle avec sélection automatique des variables

Le modèle construit est une régression sur l’ensemble des variables (i.e. les variables initiales et les indicatrices créées par les arbres CART). Pour éviter le sur-apprentissage lié au grand nombre de variables et sélectionner automatiquement les variables, le modélisateur applique une régression pénalisée de type Adaptative Lasso afin de pénaliser les variables en fonction de leur importance. Cette dernière est préalablement mesurée au moyen d’une régression Ridge. En effet, celle-ci permet de donner une mesure d’importance fiable, en réduisant l’instabilité des coefficients en pénalisant les valeurs extrêmes.

Les méthodes de régularisation

La régularisation est une méthode utilisée en régression pour prévenir le sur-apprentissage et gérer la multi colinéarité. Cela se traduit par l’ajout d’une contrainte sur les coefficients dans la fonction de coût de la régression. Deux méthodes de régularisation sont utilisées.

La première est la régularisation Lasso (L1), dont l’objectif est la sélection de variables en réduisant à zéro les coefficients des variables peu pertinentes. Plus la pénalité est grande, plus les coefficients sont proches ou égaux à zéro et moins les variables sont sélectionnées. Cette méthode permet ainsi de produire un modèle parcimonieux et plus facilement interprétable.

La seconde méthode de régularisation est la régularisation Ridge (L2), dont l’objectif est la prise en compte des valeurs extrêmes et de la multi colinéarité en réduisant la variance des coefficients et en répartissant l’importance entre variables corrélées. Les coefficients sont réduits vers zéro mais jamais nuls, toutes les variables étant ainsi conservées dans le modèle. Cette méthode permet ainsi de produire un modèle plus stable, face aux valeurs extrêmes et aux variables corrélées.

Estimation de l’importance des variables au moyen d’une régression Ridge

Une estimation Ridge est mise en œuvre. Soit β̂ = (β̂0, β̂1, β̂2, …, β̂p) les coefficients obtenus à la suite de la mise en œuvre du modèle de régression Ridge sur l’ensemble des variables, avec la pénalisation trouvée au moyen d’une validation croisée. A partir de cette estimation le poids des variables est estimé en trois étapes telles que décrites ci-après.

  1. w_j = 1 / (|β̂_j| + ε)^ν, avec ν = 1 et ε petit (10-4 pour la PD et 10-2 pour la LGD).
  2. Winsorization des wj par seuil fixe ([10-3 ; 103] pour la PD et [0,02 ; 50] pour la LGD).
  3. Mise à l’échelle par rapport au poids médian. Ainsi, le poids final de la variable j (w′j) est la valeur wj rapportée à la médiane des poids.
    1. Le poids des variables centrales, i.e. avec une importance moyenne, est proche de 1 – ce qui correspond à une pénalisation normale.
    2. Le poids des variables moins importantes est supérieur à 1. Celles-ci seront davantage pénalisées.
    3. Le poids des variables très importantes est inférieur à 1. Celles-ci seront moins pénalisées.

Estimation des coefficients au moyen d’une régression Lasso

La méthode Adaptative Lasso est mise en œuvre sur l’ensemble des variables en pénalisant les variables suivant leur importance. Avec les poids estimés précédemment, sont déterminés les coefficients qui minimisent le critère suivant par validation croisée.

CF = somme pour i de 1 à n de (y_i − β̂0 − somme pour j de 1 à p de β̂_j x_ij)² + λ × somme pour j de 1 à p de w′_j |β̂_j|

4. Etude de sensibilité du paramétrage de la PLTR

Le protocole de l’étude de sensibilité repose sur la modification d’un paramètre ou hyper paramètre, ceteris paribus, par rapport à un modèle de référence. L’étude de sensibilité est réalisée, dans un premier temps, pour un modèle de PD, dans un second temps, pour un modèle de LGD.

4.1 Modèle de probabilité de défaut

Dans un premier temps, la méthode PLTR est appliquée à des fins de modélisation de la PD, dans l’objectif d’analyser la sensibilité des paramètres aux modèles simulés.

La base de données servant à cette étude se compose de 118 328 observations générées synthétiquement. Chaque observation correspond à un client sain à un instant t compris entre 2006 et 2023, observée sur une période de 12 mois. Elle est caractérisée par les valeurs de 30 variables de différents types (sociodémographiques, comportementales, …). La variable cible est binaire et indique la survenue d’un défaut règlementaire bâlois dans un horizon de 12 mois. Le taux moyen de défaut observé dans la base est de 7,06%.

La base de données est échantillonnée en base d’apprentissage et en base de test, par validation croisée. L’échantillonnage se fait en conservant aléatoirement, tout en stratifiant suivant la variable cible, 50% des données dans la base d’apprentissage.

4.1.1 Modèle de référence

Paramétrage

Dans le modèle de référence, les paramètres sont fixés de la façon suivante.

  • La profondeur maximale de l’arbre CART est limitée à 1 ou à 2.
  • Aucun seuil minimum d’observations par feuille n’est fixé.
  • Le critère de découpe est basé sur l’indice d’impureté de Gini.

Les deux paramètres de régularisation des régressions sont déterminés par grid search, comme suit.

  • Une grille de dix valeurs allant de 10-4 à 104 est testée pour le paramètre de régularisation (α) de la régression Ridge. La valeur optimale identifiée lors de trois simulations indépendantes est de 166,8.
  • Une grille de vingt valeurs espacées entre 10-1 et 102 est testée pour le paramètre de pénalisation (λ) de la régression Lasso. La valeur de pénalisation optimale obtenue lors des deux premières simulations est de 11,29, tandis qu’elle est de 16,24 dans la troisième simulation.
Résultats

Le nombre total de variables explicatives, incluant à la fois les variables initiales et celles créées à l’étape 1 de la méthodologie PLTR, est en moyenne de 191. Après application de la régularisation par LASSO, le nombre moyen de variables sélectionnées (i.e. celles dont le coefficient est différent de zéro) est de 118.

Le modèle affiche une bonne performance sur les deux échantillons, avec une légère baisse sur l’échantillon de test sans soulever, pour autant, un souci de sur-apprentissage. Ces métriques sont présentées ci-dessous.

Echantillon AUC
Apprentissage 75,10%
Test 73,70%
Tableau 1. Performances du modèle de référence pour la PD

4.1.2 Modèles alternatifs

Sensibilité du critère de coupure

Dans un modèle CART, le critère de coupure est appliqué à chaque étape de partitionnement afin de déterminer à la fois la variable optimale et la valeur de seuil associée. Le critère par défaut repose sur l’indice de Gini, mais la mesure de l’entropie, alternative, peut également être employée.

Une première analyse concerne la sensibilité du critère d’impureté par rapport à celui de Gini. Pour une classe donnée, soit p le taux de défaut de cette classe et, par suite, (1−p) est le taux de sain. La mesure du Gini et de l’entropie sont données ci-dessous.

  • Gini = 1 − p²(1 − p)²
  • Entropy = −(p log2 p + (1 − p) log2(1 − p))

Le graphique suivant compare les deux modèles obtenus : le modèle alternatif basé sur le critère d’entropie et le modèle de référence basé sur le critère de Gini.

Diagramme en barres du nombre de variables retenues avec le critère d’entropie et avec le critère de Gini, avec les courbes d’AUC d’apprentissage et de test, quasi identiques pour les deux critères.
Figure 1. Etude de sensibilité du critère de coupure, pour un modèle de PD

Suite à la procédure de calibration, le nombre moyen de variables sélectionnées dans le modèle est de 124 en appliquant le critère d’entropie, contre 118 dans le modèle de référence qui se base sur le critère de Gini. Le modèle de référence apparaît ainsi légèrement plus interprétable que le modèle alternatif.

Les performances du modèle alternatif basé sur le critère d’entropie sont légèrement meilleures que celle du modèle de référence basé sur le critère de Gini, que ce soit sur l’échantillon d’apprentissage (respectivement 75,18% et 75,10%) ou sur l’échantillon de test (respectivement 73,74% et 73,70%).

L’écart de performance entre les deux modèles restant non significatif, le critère de coupure basé sur le Gini est préféré car il permet de diminuer le nombre de variables retenues dans le modèle. Ainsi, dans les études de sensibilité qui suivront, le critère de coupure retenu est celui de l’indice de Gini.

Sensibilité du critère d’effectif minimum

Parmi les critères de segmentation à considérer dans le modèle CART, figure la taille minimale des nœuds feuilles. Une seconde analyse de sensibilité est réalisée en ajustant exclusivement ce paramètre – dans un premier temps, à 5% de l’échantillon d’apprentissage et, dans un second temps, à 10%.

Le graphique suivant compare les deux modèles obtenus au modèle de référence dont aucun seuil minimum n’a été fixé.

Diagramme en barres du nombre de variables retenues selon l’effectif minimum par feuille (10 %, 5 % ou aucun), avec les courbes d’AUC d’apprentissage et de test, stables d’une configuration à l’autre.
Figure 2. Etude de sensibilité du critère d’effectifs minimum, pour un modèle de PD

Les résultats indiquent qu’un seuil minimal plus élevé conduit à une réduction du nombre de variables sélectionnées, ce qui simplifie l’interprétation du modèle. De plus, les performances restent comparables entre les trois configurations.

Le seuil de 5 % est retenu pour la suite car il apparaît comme le meilleur compromis entre les trois modèles en maintenant une performance équivalente sur les deux échantillons et en assurant une meilleure simplicité structurelle du modèle.

Sensibilité de l’hyper paramètre alpha

Le paramètre de régularisation α de la régression Lasso, déterminé par validation croisée sur le modèle de référence, est égal à 166,8. Afin d’évaluer l’impact de ce paramètre sur la lisibilité et la performance du modèle, une série de simulations a été réalisée en faisant varier α dans la plage de 140 à 200, par incréments de 10.

Le graphique suivant présente les principaux résultats obtenus pour chaque modèle simulé.

Diagramme en barres du nombre de variables retenues pour α allant de 140 à 200, avec les courbes d’AUC d’apprentissage et de test, quasi constantes.
Figure 3. Etude de sensibilité de l’hyper paramètre alpha, pour un modèle de PD

Les simulations montrent un nombre moyen identique, à plus ou moins une variable, de variables retenues. De plus, les performances sont constantes sur les premières simulations avant de diminuer de façon non significative (de l’ordre de 0,01%) puis de redevenir constante sur les dernières simulations.

L’étude de sensibilité de l’hyper paramètre α conclut à l’absence d’impact d’un ajustement fin de ce paramètre : il est recommandé de laisser l’algorithme choisir cet hyper paramètre par cross validation.

Sensibilité de l’hyper paramètre lambda

La pénalité λ de la régression Lasso obtenue par validation croisée sur le modèle de référence est soit 11,29, soit 16,24. Afin d’analyser l’impact de ce paramètre sur la lisibilité et la performance du modèle, une étude de sensibilité est réalisée à travers plusieurs simulations faisant varier λ de 10 à 90 par pas de 10.

Le graphique suivant présente les principaux résultats obtenus pour chaque modèle simulé.

Diagramme en barres du nombre de variables retenues, qui décroît quand λ passe de 10 à 90, avec les courbes d’AUC d’apprentissage et de test, quasi constantes.
Figure 4. Etude de sensibilité de l’hyper paramètre lambda, pour un modèle de PD

Le nombre moyen de variables retenues tend à diminuer avec l’augmentation de la valeur de λ. Toutefois, cette baisse est dégressive. La série de graphique ci-dessous montre, à travers trois courbes de tendance, qu’il n’y a pas d’effet linéaire entre la valeur de λ et le nombre de variables retenues mais qu’un effet logarithmique ou polynomial de degré 2 peut être envisagé.

Trois graphiques : approximations linéaire, logarithmique et polynomiale du nombre de variables retenues en fonction de λ, pour un modèle de PD.
Figure 5. Approximations de l’impact de l’hyper paramètre lambda sur le nombre de variables retenues, pour un modèle de PD

La performance moyenne sur l’échantillon d’apprentissage tend à diminuer avec l’augmentation de la valeur de λ. Toutefois, cette baisse est dégressive et est de moins en moins marquée. La série de graphique ci-dessous montre, à travers trois courbes de tendance, qu’un effet linéaire, logarithmique ou polynomial de degré 2 est possible entre la valeur de λ et la performance moyenne sur l’échantillon d’apprentissage. Cependant, cette conclusion est à prendre avec précaution du fait du coefficient très faible, voire presque nul, de ces effets dans les équations des courbes de tendance.

Trois graphiques : approximations linéaire, logarithmique et polynomiale de la performance sur l’échantillon d’apprentissage en fonction de λ, pour un modèle de PD.
Figure 6. Approximations de l’impact de l’hyper paramètre lambda sur la performance sur l’échantillon d’apprentissage, pour un modèle de PD

La performance moyenne sur l’échantillon de test tend à augmenter avec l’augmentation de la valeur de λ. Toutefois, cette hausse est dégressive et est de moins en moins marquée jusqu’à devenir rapidement nulle. La série de graphique ci-dessous montre, à travers trois courbes de tendance, qu’il n’y a pas d’effet linéaire, logarithmique ou polynomial entre la valeur de λ et la performance moyenne sur l’échantillon de test.

Trois graphiques : approximations linéaire, logarithmique et polynomiale de la performance sur l’échantillon de test en fonction de λ, pour un modèle de PD.
Figure 7. Approximations de l’impact de l’hyper paramètre lambda sur la performance sur l’échantillon de test, pour un modèle de PD

En synthèse, les points ci-contre apparaissent.

  • Une relation décroissante relit λ au nombre de variables retenues : plus λ est élevé, moins de variables sont retenues et, par suite, plus le modèle est interprétable.
  • Le sens de la relation entre λ et la performance du modèle n’est pas déterminable : il est décroissant sur l’échantillon d’apprentissage et croissant puis nul sur l’échantillon de test.
  • L’effet de λ sur le nombre de variables retenues et sur la performance est dégressif : plus les valeurs de λ augmentent, plus son impact est faible sur ces deux éléments.
  • Il semble difficile d’identifier la nature de l’effet entre λ et le nombre de variables retenues ou avec la performance.

Il semble ainsi préférable de fixer une valeur de λ relativement faible afin de capitaliser sur l’impact des effets avant que ces derniers ne deviennent trop faibles, voire nuls. Il semble ainsi que choisir une valeur comprise entre 20 et 50 assure un compromis entre une interprétabilité améliorée du modèle et une performance du modèle non fortement diminuée par rapport au modèle de référence dont la valeur de λ est soit 11,29, soit 16,24 – selon les simulations.

4.2 Modèle de perte en cas de défaut

Dans un second temps, la méthode PLTR est appliquée à des fins de modélisation de la LGD, dans l’objectif d’analyser la sensibilité des paramètres aux modèles simulés.

La base de données servant à cette étude se compose de 10 444 observations générées synthétiquement. Chacune d’entre elles correspond à un défaut réglementaire bâlois survenu entre 2006 et 2023 et plus de la moitié (57%) retournent en sain. Les observations sont caractérisées par les valeurs de 36 variables de différents types (financières, comportementales, …). La variable cible est continue et indique le taux de perte. Le taux moyen de perte observé est de 20,12%.

Comme pour les simulations réalisées sur le modèle de PD, la base de données est échantillonnée en base d’apprentissage et en base de test, par validation croisée. L’échantillonnage se fait en conservant aléatoirement, tout en stratifiant suivant la variable cible, 50% des données dans la base d’apprentissage.

4.2.1 Modèle de référence

Paramétrage

Dans le modèle de référence, les paramètres sont fixés de la façon suivante.

  • La profondeur maximale de l’arbre CART est limitée à 1 ou à 2.
  • Aucun seuil minimum d’observations par feuille n’est fixé.
  • Le critère de découpe est basé sur la somme des carrées des erreurs.

Les deux paramètres de régularisation des régressions sont déterminés par grid search, comme suit.

  • Une grille de dix valeurs allant de 10-1 à 103 est testée pour le paramètre de régularisation (α) de la régression Ridge. La valeur optimale, identifiée lors de trois simulations indépendantes, est de 103.
  • Une grille de vingt valeurs espacées entre 10-4 et 10-2 est testée pour le paramètre de pénalisation (λ) de la régression Lasso. La valeur de pénalisation optimale obtenue lors des trois simulations est de l’ordre de 10-3 (6,16×10-3, 4,83×10-3 et 3,79×10-3).
Résultats

Le nombre total de variables explicatives, incluant à la fois les variables initiales et celles créées à l’étape 1 de la méthodologie PLTR, est en moyenne de 580. Après application de la régularisation par LASSO, le nombre moyen de variables sélectionnées (i.e. celles dont le coefficient est différent de zéro) est de 59.

La métrique de performance utilisée tout au long de cette partie est le coefficient de détermination R². Le modèle affiche une performance moyenne sur l’échantillon de test, proche de la performance d’un modèle aléatoire (56,36%). Ces métriques sont présentées ci-dessous.

Métrique Valeur
Nombre de variables retenues 59
R² – Test 56,32%
Tableau 2. Performances du modèle de référence pour la LGD

4.2.2 Modèles alternatifs

Sensibilité du critère d’effectifs minimum

Parmi les critères de segmentation à considérer dans le modèle CART, figure la taille minimale des nœuds feuilles. Une première analyse de sensibilité est réalisée en ajustant exclusivement ce paramètre – dans un premier temps, à 5% de l’échantillon d’apprentissage et, dans un second temps, à 10%.

Le graphique suivant compare les deux modèles obtenus au modèle de référence dont aucun seuil minimum n’a été fixé.

Diagramme en barres du nombre de variables retenues selon l’effectif minimum par feuille (10 %, 5 % ou aucun), avec la courbe du R² de test, stable, pour un modèle de LGD.
Figure 8. Etude de sensibilité du critère d’effectifs minimum, pour un modèle de LGD

Les résultats indiquent qu’un seuil minimal plus élevé conduit à une augmentation du nombre de variables sélectionnées, ce qui complexifie l’interprétation du modèle. De plus, les performances sur l’échantillon de test restent comparables entre les trois configurations, avec une très légère augmentation par rapport au modèle de référence.

Un seuil de 10% permet moins de capter les effets de bord qu’un seuil à 5% – rendant le modèle moins discriminant. Ainsi, le seuil de 5 % est retenu pour la suite bien qu’il conduise à un modèle moins interprétable.

Sensibilité de l’hyper paramètre alpha

Le paramètre de régularisation α de la régression LASSO, déterminé par grid search sur le modèle de référence, est égal à 1 000. Afin d’évaluer l’impact de ce paramètre sur la lisibilité et la performance du modèle, une série de simulations a été réalisée en faisant varier α dans la plage de 500 à 3 000, par incréments de 500.

Le graphique suivant présente les principaux résultats obtenus pour chaque modèle simulé.

Diagramme en barres du nombre de variables retenues pour α allant de 500 à 3 000, plus faible pour α = 1 000, avec la courbe du R² de test, constante, pour un modèle de LGD.
Figure 9. Etude de sensibilité de l’hyper paramètre alpha, pour un modèle de LGD

Les simulations montrent un nombre moyen de variables retenues globalement stable, à l’exception de la simulation avec un hyper paramètre égal à 1 000 pour lequel le nombre moyen de variables retenues est significativement plus faible. Cette valeur de α correspond à celle du modèle de référence, choisi par l’algorithme par validation croisée.

De plus, les performances sont constantes sur l’ensemble des simulations.

L’étude de sensibilité de l’hyper paramètre α conclut à l’absence d’impact d’un ajustement fin de ce paramètre : il est recommandé de laisser l’algorithme choisir cet hyper paramètre par grid search. Cette conclusion rejoint celle réalisée sur la partie PD. Toutefois, le domaine de définition de cet hyper paramètre est significativement disjoint entre les deux modèles (entre 150 et 200 pour la PD et entre 500 et 3 000 pour la LGD).

Sensibilité de l’hyper paramètre lambda

La pénalité λ de la régression Lasso obtenue par validation croisée sur le modèle de référence est de l’ordre de 10-3. Afin d’analyser l’impact de ce paramètre sur la lisibilité et la performance du modèle, une étude de sensibilité est réalisée à travers plusieurs simulations faisant varier λ de 10-4 à 10-1 par pas constant.

Le graphique suivant présente les principaux résultats obtenus pour chaque modèle simulé.

Diagramme en barres du nombre de variables retenues, très élevé pour λ = 0,0001 puis faible pour les valeurs suivantes, avec la courbe du R² de test en légère baisse, pour un modèle de LGD.
Figure 10. Etude de sensibilité de l’hyper paramètre lambda, pour un modèle de LGD

Le nombre moyen de variables retenues tend à diminuer avec l’augmentation de la valeur de λ. Toutefois, cette baisse est dégressive jusqu’à devenir nulle. La série de graphique ci-dessous montre, à travers trois courbes de tendance, qu’il n’y a pas d’effet linéaire, logarithmique ou polynomial entre la valeur de λ et le nombre de variables retenues.

Trois graphiques : approximations linéaire, logarithmique et polynomiale du nombre de variables retenues en fonction de λ, pour un modèle de LGD.
Figure 11. Approximations de l’impact de l’hyper paramètre lambda sur le nombre de variables retenues, pour un modèle de LGD

La performance moyenne sur l’échantillon de test tend à diminuer avec l’augmentation de la valeur de λ. Cette baisse est relativement constante, à l’exception de la deuxième valeur de λ testée pour laquelle la diminution est significative. La série de graphique ci-dessous montre, à travers trois courbes de tendance, qu’un effet linéaire est possible entre la valeur de λ et la performance moyenne sur l’échantillon de test. Cependant, un effet logarithmique ou polynomial est à exclure.

Trois graphiques : approximations linéaire, logarithmique et polynomiale de la performance sur l’échantillon de test en fonction de λ, pour un modèle de LGD.
Figure 12. Approximations de l’impact de l’hyper paramètre lambda sur la performance sur l’échantillon de test, pour un modèle de LGD

En synthèse, les points suivants apparaissent :

  • Une relation en deux temps relit λ au nombre de variables retenues. Elle est d’abord décroissante de sorte que plus λ est élevé, moins de variables sont retenues et, par suite, plus le modèle est interprétable. La relation devient ensuite nulle : quelque soit la valeur de λ, le nombre de variables retenues reste constant.
  • Une relation décroissante relit λ à la performance du modèle : plus λ est élevé, moins le modèle est performant.
  • Il semble difficile d’identifier la nature du lien entre λ et le nombre de variables retenues. Cependant, un effet linéaire est exclu.
  • Un effet linéaire semble se dégager entre λ et la performance du modèle, sous réserve du comportement atypique des deux premiers points.

Il semble ainsi préférable de fixer une valeur de λ relativement faible afin de capitaliser sur l’impact des effets avant que ces derniers ne deviennent nuls pour le nombre de variables retenues et trop significatifs pour la performance du modèle. Il semble ainsi que choisir une valeur comprise entre 0,01 et 0,04 assure un compromis entre une interprétabilité améliorée du modèle et une performance du modèle non fortement diminuée par rapport au modèle de référence dont la valeur de λ est de l’ordre de 10-3.

Comme pour l’hyper paramètre α, le domaine de définition de l’hyper paramètre λ est significativement disjoint entre le modèle de PD et le modèle de LGD (respectivement entre 20 et 50, et entre 0,01 et 0,04).

5. Enseignements

Les études de sensibilité conduisent à quelques enseignements pour la modélisation de la PD et de la LGD.

Enseignement sur l’hyper paramètre lambda

Le paramétrage fin de l’hyper paramètre de la pénalité Lasso a une portée relativement modérée sur la performance du modèle. En effet, l’étude de sensibilité de ce paramètre montre que la performance du modèle varie marginalement (0,36 points pour le modèle de PD et 0,77 points pour le modèle de LGD).

Cependant, le paramétrage a un impact plus important sur l’interprétabilité du modèle dans la mesure où le nombre moyen de variables retenues dans le modèle varie significativement (41 variables de différence pour le modèle de PD et 54 pour le modèle de LGD).

Enseignement sur le domaine de définition des hyper paramètres

Le domaine de définition des hyper paramètres est totalement différent entre un modèle de PD et un modèle de LGD. Alors qu’il est de l’ordre de 101 pour le modèle de PD, il est de l’ordre de 10-2, voire 10-3, pour le modèle de LGD.

Enseignement sur la nature de l’effet des hyper paramètres sur les modèles

Il est difficile d’identifier avec certitude la nature de l’effet des hyper paramètres sur le nombre de variables retenues et sur la performance du modèle. Des effets de type linéaire, logarithmique et polynomiale ont été testés sans pouvoir mener à une conclusion univoque sur la nature de l’effet des hyper paramètres.

Dans la majorité des cas, un effet linéaire est à exclure. Concernant les autres types d’approximation, lorsqu’un effet semble graphiquement se dégager, l’analyse de l’équation met en avant des coefficients très faibles, voire presque nuls – questionnant ainsi sur le bien-fondé de l’effet détecté.

6. Conclusion

La présente étude a pour objectif d’établir des recommandations de paramétrage quant à l’utilisation de l’approche de machine learning Penalised Logistic and Tree Regression (PLTR), dans le cadre réglementaire IRB. Après avoir expliqué cette méthode, celle-ci a été successivement appliquée à la prédiction de la probabilité de défaut (PD) et à la perte en cas de défaut (LGD). Pour chacun de ces modèles, une analyse de sensibilité des paramètres et hyper paramètres a été réalisée sur le nombre de variables sélectionnées et sur la performance prédictive du modèle.Ces analyses ont mené aux recommandations de paramétrage suivantes :

  • Maintenir un effectif minimal d’observations par feuille équivalent à 5 % de la taille de l’échantillon d’apprentissage ;
  • Utiliser la régularisation Ridge en optimisant le paramètre de régularisation par validation croisée ;
  • Adapter le choix de la pénalité Lasso en fonction du compromis entre interprétabilité du modèle et performance. Pour la PD, une valeur comprise entre 20 et 50 est recommandée. Pour la LGD, une valeur comprise entre 0,01 et 0,04 est proposée.

Au-delà de ces recommandations de paramétrage, l’étude a également mis en valeur les points d’intérêt suivants :

  • Le paramétrage fin de l’hyper paramètre de la pénalité Lasso a une portée relativement modérée sur la performance du modèle mais a un effet significatif sur l’interprétabilité du modèle.
  • Le domaine de définition des hyper paramètres est totalement différent entre un modèle de PD et un modèle de LGD.
  • Il est difficile d’identifier avec certitude la nature de l’effet des hyper paramètres sur le nombre de variables retenues et sur la performance du modèle.
  • Un même hyper paramètre a un effet totalement différent sur le nombre de variables retenues et sur la performance du modèle, entre un modèle de PD et un modèle de LGD.

Ces différents enseignements sont tirés d’analyses réalisées sur un jeu de données synthétiques, créé par une approche modélisant le cash-flow de remboursement des obligations de crédit et qui détermine, dans un second temps, le défaut ou la perte. Il s’agit ici d’une approche novatrice dans la génération de données de risque de crédit. Il serait intéressant de réaliser la même étude sur un jeu de données réelles, afin de déterminer si la proximité des données créées a une influence sur le paramétrage du modèle.

De plus, une des limites de la PLTR est d’utiliser les mêmes données dans l’étape d’arbres de décision et dans l’étape de régression, pouvant créer un biais de sur-apprentissage. Afin de palier cela, deux variantes, appelées Unbiased Penalised Logistic Tree Regression (UPLTR) [5], ont été développées. Elles consistent à séparer strictement les données en deux échantillons distincts. Dans la première variante (1-fold UPLTR), un échantillon est utilisé à l’étape des arbres de décision et l’autre échantillon est utilisé pour ajuster la régression. Dans la seconde variante (2-fold UPLTR), chaque échantillon est successivement utilisé aux deux étapes : le premier échantillon est utilisé à l’étape des arbres et le second à l’étape de la régression ; puis, le second échantillon est utilisé à l’étape des arbres et le premier à l’étape de la régression. Le modèle final conservé est celui qui moyennise les coefficients obtenus aux deux régressions. Ainsi, ces deux variantes permettent d’obtenir un modèle plus robuste, en éliminant le biais de sur-apprentissage de la PLTR et tout en garantissant l’interprétabilité du modèle.

Un modèle alternatif et proche de la PLTR est le modèle d’apprentissage supervisé RuleFit. Il repose sur les deux mêmes étapes que la PLTR et la différence réside dans la première étape de création de nouvelles variables. Au lieu de se baser sur des arbres de décision, des méthodes assemblistes sont utilisées, afin de se baser sur un grand nombre d’arbres de décision. La suite du modèle RuleFit est la même que la PLTR. Sa valeur ajoutée est, ainsi, la génération d’un plus grand nombre de variables à tester dans la régression, donnant ainsi la possibilité d’obtenir un modèle plus performant.

Remerciements. Cette étude a été financée par Atheïa.

Déclaration d’intérêts. L’auteur déclare n’avoir aucun conflit d’intérêt avec le contenu de cet article.

Références

  1. European Central Bank : ECB guide to internal models (2025).
  2. Hurlin, C., & Pérignon, C. : Machine Learning et Modèles IRB : Avantages, Risques et Préconisations. Collection Opinions et Débats, Institut Louis Bachelier (2023).
  3. Dumitrescu, E., Hué, S., Hurlin, C., & Tokpavi, S. : Machine learning for credit scoring: Improving logistic regression with non-linear decision-tree effects. European Journal of Operational Research, 297(3):1178-1192 (2022).
  4. Gardette, A., & Gassner, O. : Study on Advanced Simulation of Non-Normal Customer Credit Data and Development of New Approaches for In Depth Credit Risk Analysis (2026).
  5. Suleri, Q. : Interpretable Machine Learning for Credit Scoring. Master Thesis Quantitative Finance (2023).
  6. Černevičienė, J., & Kabašinskas, A. : Explainable artificial intelligence (XAI) in finance: a systematic literature review. Artificial Intelligence Review, 57:216 (2024).
  7. Semenova, L., Rudin, C., & Parr, R. : On the existence of simpler machine learning models. In 2022 ACM Conference on Fairness, Accountability, and Transparency, FAccT ’22, page 1827-1858, New York, NY, USA. Association for Computing Machinery (2022).
  8. Flachaire, E., Hacheme, G., Hué, S., & Laurent, S. : GAM(L)A: An econometric model for interpretable Machine Learning. arXiv:2203.11691v1 (2022).

A propos de l’auteur : Alicia GARDETTE

Alicia GARDETTE est Consultante Manager Modeling chez Atheïa, cabinet de conseil en data et intelligence artificielle, où elle pilote les activités Bâle et Recherche et Innovation. Experte en modélisation du risque de crédit, elle conçoit et fait évoluer les modèles bâlois et IFRS des grandes banques.

No Comments

Sorry, the comment form is closed at this time.