Six mesures, chacune répondant à une question distincte.
| Axe |
Question posée |
Métriques |
| Fidélité colonne par colonne |
Chaque variable a-t-elle la bonne distribution ? |
Total Variation Distance, test de Kolmogorov-Smirnov pour les variables continues |
| Fidélité par paires |
Les liens entre variables sont-ils conservés ? |
Écart entre matrices de corrélation de Pearson, V de Cramér pour les variables catégorielles |
| Distribution jointe |
Le nuage synthétique couvre-t-il le nuage réel ? |
β-Recall, Coverage, Density |
| Indiscernabilité |
Un classifieur sait-il distinguer le vrai du synthétique ? |
pMSE, régression logistique et Random Forest, validation croisée 5-fold |
| Utilité pour l’apprentissage |
Un modèle entraîné sur le synthétique fonctionne-t-il sur le réel ? |
TSTR comparé au TRTR, ratio d’utilité |
| Similarité des histogrammes |
À quel point les distributions se superposent-elles ? |
Somme des erreurs absolues |
Chaque métrique a ses seuils d’interprétation. Une Total Variation Distance inférieure à 0,1 est excellente, au-delà de 0,2 elle demande correction. Un pMSE inférieur à 0,05 signifie qu’un classifieur ne fait pas mieux que le hasard, donc que les données sont indiscernables. Un ratio d’utilité supérieur à 0,95 indique que le jeu synthétique conserve la valeur prédictive du jeu réel.
Les six axes sont ensuite agrégés en un score composite, plus bas étant meilleur, qui pondère l’indiscernabilité à 30 %, la fidélité à 30 %, l’utilité ML à 20 %, la similarité des histogrammes et la distribution jointe à 10 % chacune. C’est ce score qui classe les seize modèles.
Nos limites, telles que nous les documentons. Le benchmark utilise les hyperparamètres par défaut de chaque modèle, sans optimisation fine. Les variables ordinales sont traitées comme catégorielles, ce qui perd l’information d’ordre. Les dépendances temporelles ne sont pas prises en compte. Et le cadre ne mesure pas encore le risque de ré-identification, que nous évaluons séparément lorsque le contexte l’exige.