C’est le fantasme du moment. On décrit un profil à un LLM, il répond comme le ferait cette personne. Plus de recrutement, plus de plannings, plus de no-shows, plus d’incentives. Un panel de 1 000 personnes en 20 minutes, pour le prix d’un appel API.
NVIDIA vient d’annoncer Nemotron, un modèle conçu pour générer des « personas synthétiques ». En UX, un persona est le résultat d’une recherche terrain. On observe des gens, on identifie des comportements récurrents, on construit un archétype qui aide les équipes à se projeter. Le persona Nemotron, lui, est un profil généré par un algorithme à partir de données statistiques : le mot est le même mais l’objet n’a rien à voir. La frontière se brouille, et une partie de nos interlocuteurs commence à se demander pourquoi payer une étude terrain quand une IA peut simuler les répondants.
On s’est posé la même question, et on avait de quoi y répondre.
On avait les données pour vérifier
Il se trouve qu’on a mené à l’été 2024 une étude quantitative pour Cultura, auprès d’un panel de 1 000 Français, sur leurs pratiques culturelles et leurs habitudes de consommation. On avait les profils socio-démographiques de chaque répondant et leurs réponses à une dizaine de questions : revenus, budget culturel, fréquence de lecture, satisfaction, achat d’occasion.
On avait la réalité. Si on donne exactement les mêmes profils à un LLM et qu’on lui pose les mêmes questions, est-ce que le fantasme tient la route ?
Comment on a vérifié
On a généré 3 000 répondants synthétiques en mars 2026, répartis en 3 conditions :
- En condition 1 (batch standard), on donne les profils par lots de 5 à Claude Sonnet 4.6 avec un prompt standard, et il traite ça à la chaîne.
- En condition 2 (immersif Sonnet), on demande à Sonnet 4.6 d’incarner chaque profil individuellement avant de répondre. Un par un, 1 000 fois, avec le même modèle mais une méthode différente.
- En condition 3 (immersif Opus), même approche immersive avec Claude Opus 4.7.
Générer 3 000 réponses une par une en immersif prend du temps et coûte cher, mais c’est la seule façon de savoir si le raccourci batch tient la route.
Les profils socio-démographiques (âge, genre, CSP, diplôme) sont injectés directement depuis la base réelle. Le LLM ne les invente pas, il les reçoit. C’est ensuite à lui de simuler les réponses aux questions d’attitude et de comportement.
10 variables comparées, réparties en deux catégories :
- Les variables de recrutement (semi-déterministes) concernent le revenu mensuel net, où le prompt injecte la tranche CSP/âge mais le LLM choisit la tranche exacte.
- Les variables simulées couvrent l’opinion sur le pouvoir d’achat, temps de loisirs culturels, satisfaction, budget annuel, évolution du budget, fréquence de lecture, nombre de livres lus par an, fréquence des loisirs créatifs, achat d’occasion.
Outillage
Pour chaque variable et chaque condition, on a mesuré l’écart entre distributions réelles et synthétiques :
- Sur les variables catégorielles, on a utilisé un Chi-2 d’indépendance et un V de Cramér (0 quand les distributions sont identiques, 1 quand elles n’ont rien à voir)
- Sur les variables numériques, un Mann-Whitney U et un r rank-biserial
- Pour comparer les conditions entre elles sur les mêmes 1 000 personas, un Wilcoxon signé
- Pour les trois conditions simultanément, un Friedman
- Et une correction de Bonferroni sur les 30 tests (10 variables × 3 conditions), avec un seuil à 0,00167
Ce que les chiffres disent
Vue d’ensemble
Le V de Cramér mesure l’écart entre la distribution synthétique et la distribution réelle. Plus il est bas, plus le synthétique ressemble au réel.
Plus la valeur est basse, plus le panel synthétique est proche du réel.
La variable « Livres lus par an » est mesurée par un r rank-biserial (Mann-Whitney U), pas par un V de Cramér : ses valeurs ne sont pas directement comparables aux autres barres. Pour « Livres lus par an », les valeurs sont des r (rank-biserial), pas des V de Cramér : variable numérique mesurée par Mann-Whitney U.
Voir les données
| Variable | Batch (V1) | Immersif Sonnet (V2) | Immersif Opus | Meilleure condition |
|---|---|---|---|---|
| Revenu mensuel net | V = 0,375 | V = 0,416 | V = 0,329 | Opus |
| Opinion sur le revenu | V = 0,292 | V = 0,288 | V = 0,286 | Opus |
| Temps loisirs culturels/semaine | V = 0,391 | V = 0,236 | V = 0,259 | Sonnet immersif |
| Satisfaction loisirs culturels | V = 0,407 | V = 0,002 | V = 0,138 | Sonnet immersif |
| Budget annuel biens culturels | V = 0,363 | V = 0,377 | V = 0,297 | Opus |
| Évolution budget | V = 0,469 | V = 0,463 | V = 0,484 | Sonnet immersif |
| Fréquence de lecture | V = 0,336 | V = 0,244 | V = 0,311 | Sonnet immersif |
| Livres lus par an | r = 0,088 | r = 0,097 | r = 0,025 | Opus |
| Fréquence loisirs créatifs | V = 0,526 | V = 0,266 | V = 0,395 | Sonnet immersif |
| Achat occasion | V = 0,350 | V = 0,012 | V = 0,121 | Sonnet immersif |
Distance moyenne au réel
En excluant la variable de recrutement (revenu), voici la performance globale sur les 9 variables simulées :
Plus la valeur est basse, plus le panel synthétique est proche du réel.
Effet moyen calculé sur les 9 variables simulées (la variable de recrutement « revenu » est exclue).
Voir les données
| Condition | Effet moyen | Effet médian | Effet max | Variables « gagnées » |
|---|---|---|---|---|
| Sonnet immersif (V2) | 0,221 | 0,244 | 0,463 | 6/9 |
| Opus immersif | 0,257 | 0,286 | 0,484 | 3/9 |
| Batch standard (V1) | 0,358 | 0,363 | 0,526 | 0/9 |
Le batch standard ne gagne sur aucune variable. Le prompting immersif réduit l’écart au réel d’un tiers (de 0,358 à 0,221 en moyenne).
Ce que ça donne concrètement
Les chiffres de taille d’effet ne parlent pas à tout le monde. Si vous avez déjà exploité des résultats de questionnaire, les écarts ci-dessous devraient vous parler davantage. On les montre en écart au réel, la distribution d’origine du client restant confidentielle.
Exemple 1 : Évolution du budget culturel (le pire cas)
On a demandé aux répondants si leur budget culturel avait changé par rapport à l’année précédente.
Zéro = identique au réel ; une barre vers le haut sur-représente la réponse, vers le bas la sous-représente.
Voir les données
| Réponse | Batch (V1) | Sonnet immersif (V2) | Opus |
|---|---|---|---|
| Moins | −17 | −17 | −18 |
| Le même | +39 | +39 | +40 |
| Plus | −10 | −9 | −10 |
| Ne sait pas | −12 | −13 | −12 |
V de Cramér : 0,463 à 0,484 selon les conditions. Toutes significatives (p < 10⁻⁹⁰). Le LLM refuse de simuler un changement de comportement futur. Il écrase tout vers « le même », et ne dit jamais « je ne sais pas ».
Exemple 2 : Achat d’occasion (le meilleur cas en immersif)
On a demandé si les répondants achètent des biens culturels d’occasion.
Zéro = identique au réel ; une barre vers le haut sur-représente la réponse, vers le bas la sous-représente.
Voir les données
| Réponse | Batch (V1) | Sonnet immersif (V2) | Opus |
|---|---|---|---|
| Oui | +32 | +1 | +12 |
| Non | −32 | −1 | −12 |
En batch, le LLM sur-représente l’achat d’occasion de 32 points. En immersif Sonnet : l’écart tombe à 1,3 point, non significatif (Chi-2 = 0,29, p = 0,59, V = 0,012). Le prompting immersif efface le biais de désirabilité sociale sur cette variable.
Exemple 3 : Fréquence des loisirs créatifs (le cas le plus contrasté)
Zéro = identique au réel ; une barre vers le haut sur-représente la réponse, vers le bas la sous-représente.
Voir les données
| Réponse | Batch (V1) | Sonnet immersif (V2) | Opus |
|---|---|---|---|
| Jamais | −32 | 0 | −24 |
| Rarement | +18 | +10 | +17 |
| 2-3 fois/semaine | +21 | +4 | +9 |
En batch, le LLM transforme un panel majoritairement non-pratiquant en panel actif, les non-pratiquants y fondant de plus de 30 points. Le Sonnet immersif, lui, reproduit le taux de non-pratiquants à 0,3 point près. C’est la variable où l’écart entre les conditions est le plus large (V passe de 0,526 à 0,266).
Significativité statistique
Sur 30 tests (10 variables x 3 conditions), 27 sont significatifs après correction de Bonferroni (p < 0,00167). Les 3 non significatifs :
| Variable | Condition | Chi-2 | p | V de Cramér |
|---|---|---|---|---|
| Satisfaction loisirs | Sonnet immersif | 0,01 | 0,93 | 0,002 |
| Livres lus/an | Opus | U = 473 335 | 0,35 | r = 0,025 |
| Achat occasion | Sonnet immersif | 0,29 | 0,59 | 0,012 |
Ce sont les 3 seules variables où le synthétique est statistiquement indistinguable du réel. 3 sur 30. Le reste est significativement différent.
Les 3 conditions ne font pas la même chose
Le test de Friedman compare les 3 conditions simultanément, sur les mêmes 1 000 personas. Résultat : sur 9 variables sur 10, les 3 conditions produisent des distributions significativement différentes entre elles (p < 10⁻¹² à p < 10⁻⁹⁷). La seule exception : l’évolution du budget (p = 0,067), où les 3 conditions échouent de la même manière.
| Variable | Batch | Sonnet immersif | Opus |
|---|---|---|---|
| Revenu mensuel | 0,375 | 0,416 | 0,329 |
| Opinion revenu | 0,292 | 0,288 | 0,286 |
| Temps loisirs | 0,391 | 0,236 | 0,259 |
| Satisfaction loisirs | 0,407 | 0,002 n.s. | 0,138 |
| Budget culturel | 0,363 | 0,377 | 0,297 |
| Évolution budget | 0,469 | 0,463 | 0,484 |
| Fréq. lecture | 0,336 | 0,244 | 0,311 |
| Livres lus/an | 0,088 | 0,097 | 0,025 n.s. |
| Loisirs créatifs | 0,526 | 0,266 | 0,395 |
| Achat occasion | 0,350 | 0,012 n.s. | 0,121 |
« Livres lus/an » est mesurée par un r rank-biserial (Mann-Whitney U), pas un V de Cramér. Les cellules « n.s. » ne sont pas statistiquement distinguables du réel.
Ça veut dire que le choix de la méthode de prompting a un impact mesurable et reproductible. Ce n’est pas du bruit.
5 manières de se tromper
Tous confirmés à n = 1 000, significatifs après correction de Bonferroni.
-
Le LLM ne simule pas le changement (V = 0,46 à 0,48). Sur l’évolution du budget, les conditions concentrent presque toutes les réponses sur « le même », environ 39 points au-dessus du réel. C’est le biais le plus fort et le plus résistant : aucune condition ne le corrige.
-
Les tranches hautes (revenus > 4 000 EUR, > 20h de loisirs/semaine) et basses (< 1 000 EUR, vie « très difficile ») sont systématiquement sous-représentées (V = 0,29 à 0,42). Le LLM ramène tout vers la moyenne.
-
Le LLM sur-représente les comportements socialement valorisés comme l’achat d’occasion ou l’engagement culturel (V = 0,01 à 0,35 selon la condition). Le prompting immersif réduit ce biais significativement mais ne l’élimine pas sur toutes les variables.
-
Les LLM produisent des personas qui lisent plus, pratiquent plus, et se disent plus insatisfaites de ne pas pouvoir pratiquer davantage (V = 0,24 à 0,53). Comme si les personas synthétiques étaient la version idéalisée des gens réels.
-
« Je ne sais pas » pèse une part notable des réponses réelles sur le budget et son évolution, quasi zéro dans le synthétique. Le LLM a toujours un avis. Quand un vrai répondant dit « je ne sais pas », il nous apprend quelque chose ; quand le LLM ne le fait jamais, il nous cache quelque chose.
D’où vient le biais ? On est remonté à la source.
On observe que les LLM sur-estiment systématiquement l’engagement culturel des répondants. Mais est-ce que c’est le LLM qui projette un engagement qu’on ne lui demande pas, ou est-ce que c’est le dataset de personas qui est déjà biaisé ?
Pour le savoir, on a fait scorer les 1 000 personas Nemotron par Gemini 2.5 Pro : pour chaque persona, un score de 0 à 10 mesurant la densité de pratiques culturelles réelles décrites dans son profil. Pas les goûts, pas les intentions. Les pratiques : « joue du piano 3 fois par semaine », « fréquente le musée des Beaux-Arts de Tours tous les dimanches ».
Le dataset Nemotron est biaisé à la source
Voir les données
| Niveau d'engagement | Score | Personas Nemotron | Population française réelle (INSEE) |
|---|---|---|---|
| Faible | 0-2 | 5,0 % | 30-40 % |
| Modéré | 3-4 | 24,1 % | — |
| Significatif | 5-6 | 37,2 % | — |
| Intense | 7+ | 33,7 % | — |
5% de personas culturellement inactives, contre 30 à 40% dans la population française réelle. Le dataset Nemotron ne contient quasiment aucune persona qui ne fait rien. Tout le monde lit et pratique, c’est un panel idéalisé plutôt que représentatif.
Le LLM suit fidèlement le biais du dataset
On mesure la corrélation entre le score culturel de la persona et les réponses du LLM (Spearman) :
Voir les données
| Variable | Sonnet immersif (rho) | Opus (rho) |
|---|---|---|
| Rapport à la culture | 0,49 | 0,72 |
| Fréquence de lecture | 0,33 | 0,44 |
| Loisirs créatifs | 0,38 | 0,37 |
| Livres lus/an | 0,42 | 0,50 |
| Achat d'occasion | 0,34 | 0,43 |
Toutes les corrélations sont modérées à fortes. Le LLM ne projette pas un engagement culturel de son cru. Il lit la persona, il la suit. Si la persona décrit quelqu’un qui « fréquente les expositions d’art contemporain et assiste aux ateliers de gravure », le LLM répond « la culture est importante pour moi », et il a raison de le faire.
Le problème, c’est que Nemotron ne génère presque jamais de persona qui « n’a pas de centres d’intérêt artistiques » ou qui « regarde la télé le soir et ça lui suffit ». Résultat : le LLM n’a pas l’occasion de répondre « je ne m’intéresse pas à la culture ».
93% dataset, 7% LLM
On a cross-validé ce diagnostic avec deux modèles évaluateurs indépendants (Gemini 2.5 Pro et Claude Sonnet 4.6). Accord inter-rater : kappa de Cohen = 0,77 (accord substantiel), corrélation Spearman = 0,79. Les deux convergent sur le même constat.
La contribution estimée est de 93% Nemotron et 7% LLM.
Biais déjà présent dans les personas générées par le dataset · Part imputable au modèle qui simule les réponses
Voir les données
| Source du biais | Contribution estimée |
|---|---|
| Dataset Nemotron | 93% |
| LLM | 7% |
| Validation croisée par deux modèles évaluateurs indépendants (Gemini 2.5 Pro et Claude Sonnet 4.6) : accord inter-rater kappa de Cohen = 0,77 (accord substantiel), corrélation Spearman = 0,79. | |
Ça change la lecture du problème. Le fantasme du panel synthétique ne bute pas seulement sur les limites du LLM. Il bute sur les limites du dataset qui sert à fabriquer les personas. NVIDIA appelle ça des « personas synthétiques », mais ce sont des personas sans gens ordinaires.
Ce qu’on en pense
L’idée circule depuis quelques années dans la communauté recherche, sous le nom de « silicon samples ». La plupart des études publiées portent sur des populations anglophones et comparent des réponses synthétiques à des sondages d’opinion. Ce qu’on a voulu faire ici, c’est vérifier sur des données françaises réelles, sur un questionnaire qu’on a nous-mêmes conçu, et sur un sujet où les biais de désirabilité sociale sont particulièrement actifs.
Le fantasme du panel synthétique repose sur une hypothèse implicite, qu’un LLM entraîné sur des milliards de textes « sait » comment les gens répondent à des questionnaires. C’est en partie vrai, mais ce qu’il sait, c’est comment les gens sont censés répondre, pas comment ils répondent vraiment.
Un LLM ne doute pas, ne change pas d’avis et ne ment pas sur ses revenus. Il ne coche pas « je ne sais pas » parce qu’il a la flemme ou parce que la question le met mal à l’aise. Il ne sur-déclare pas ses heures de loisirs parce qu’il confond son idéal avec sa réalité.
Les panels synthétiques ne sont pas inutiles. Sur 3 variables sur 10, le synthétique est indistinguable du réel. Le prompting immersif réduit l’écart au réel d’un tiers. C’est de la connaissance exploitable, et on peut s’en servir pour pré-tester un questionnaire ou explorer des segmentations avant d’aller vérifier sur le terrain.
Mais si vous les utilisez comme substitut au terrain, vous confondez ce que les gens devraient répondre avec ce qu’ils répondent. Et cette confusion, en recherche utilisateur, c’est exactement le problème qu’on essaie de résoudre.
