Arrêtez de demander au LLM si c'est bien. Demandez-lui ce qui cloche.

Source: Dev.to

Introduction : La boucle de l’enfer

Il y a quelques mois, pour un talk technique, j’ai demandé à Claude une revue : “Qu’en penses-tu ?”

• V1 : “Excellent ! Solide.”
• V2 (après retouches) : “Génial ! Mais ça a plus de sens d’inverser A et B, et rajoutes un sujet manquant sur C.”
• V3 (après modifs) : “Parfait ! Pour améliorer la fluidité, il faudrait inverser B et A. Et C me paraît inutile.”

J’ai compris ce soir‑là que l’IA préférait me répondre positivement plutôt que de me dire ce qui clochait. Ce comportement de “Yes Man” n’est pas un bug, c’est un défaut de conception documenté.

Le problème : le biais de complaisance des LLM

La sycophancy (complaisance) : un défaut documenté

Les grands modèles de langage (ChatGPT, Claude, Gemini, etc.) montrent systématiquement de la complaisance : ils ont tendance à valider les opinions de l’utilisateur plutôt que de les contredire, même lorsque ces opinions sont incorrectes [1].

Le coupable : le réentraînement (RLHF)

Le réentraînement des modèles (Reinforcement Learning from Human Feedback) favorise les réponses qui plaisent aux évaluateurs humains plutôt que la vérité objective. Paradoxalement, plus un modèle est grand et entraîné, plus il devient complaisant [2].

Résultat : le modèle est optimisé pour votre satisfaction immédiate, pas pour la vérité.

Les conséquences concrètes critiques

Des études récentes montrent que les LLM changent leurs réponses lorsqu’elles sont contestées, même quand leur réponse initiale était correcte. Une simple remise en question (ex. : “T’es sûr ?”) peut pousser le LLM à modifier sa réponse sous pression sociale, validant l’utilisateur au détriment de la vérité [3].

La solution : les personas négatifs

Le changement de formulation transforme radicalement les retours :

Astuce : précisez au modèle que le document n’est pas le vôtre (ex. : “J’ai reçu ce brouillon d’un collègue…”) ; cela désactive le filtre de politesse qui cherche à ne pas vous vexer.

Pourquoi ça marche ?

Contrainte de l’adversaire

En imposant un rôle critique, vous créez une tension dans le prompt : l’IA doit choisir entre respecter votre consigne (être critique) et suivre son biais de complaisance (être positive). Le prompt adversarial augmente la probabilité de réponses critiques sans éliminer complètement le biais.

Simuler l’adversité avant qu’elle arrive

Les personas négatifs sont un stress‑test documentaire. Ils simulent les objections réelles dans un environnement contrôlé. Cette approche s’inspire de méthodes éprouvées :

• Red teaming en cybersécurité : des équipes attaquent leurs propres systèmes pour trouver les vulnérabilités.
• Stress tests bancaires : les banques testent leurs portefeuilles avec des scénarios catastrophes (régulation Bâle III).
• Murder boards militaires/corporate : des panels dont le job est de détruire votre argumentaire avant la vraie présentation.

Remplacement d’un lecteur externe

Si un LLM lit votre doc et ne comprend pas vos propos, un lecteur pressé risque de ne pas le comprendre non plus. Ce test devient alors un indicateur de complexité, identifiant le langage spécifique à votre domaine qu’il ne maîtrise pas (et qu’un lecteur externe ne maîtriserait pas non plus).

Limites et bonnes pratiques

1. Faux positifs : la règle des « 2 + personas »

Le LLM peut inventer des problèmes pour satisfaire la consigne.

Règle : si 2 + personas pointent le même problème → c’est probablement réel. Sinon, vérifiez.

2. Manque de contexte

Avec un contexte vide, le LLM ignore l’historique interne de votre entreprise. Utilisez sa « naïveté » comme un atout : c’est un test d’accessibilité pour un lecteur externe.

3. Diversifier les angles de vue

Pour un résultat optimal, mélangez les retours : combinez des critiques sur la forme (écriture, cohésion) et sur le fond (logique, pertinence stratégique).

Next step : Passez à l’offensive

Tant que vous chercherez la validation dans vos prompts, vous obtiendrez de la complaisance. Pour transformer vos documents, vous devez changer vos prompts.

Votre boîte à outils pour commencer

J’ai compilé et testé une série de Personas Négatifs prêts à l’emploi. Ce catalogue évolutif contient des prompts pour :

• Simuler un CFO obsédé par le ROI.
• Incarner un Concurrent agressif.
• Jouer le rôle d’un Lecteur pressé qui décroche au moindre flou.

👉 Accéder au Catalogue de Prompts Négatifs

Mode d’emploi express (15 min chrono)

1. Choisissez 2 personas opposés (ex. : un CFO pour les chiffres + un Concurrent pour la stratégie).
2. Ouvrez une conversation vierge pour chaque persona (pour éviter la contamination du contexte).
3. Copiez‑collez le prompt + votre texte.
4. Compilez uniquement les critiques qui reviennent 2 fois. Le reste, c’est du bruit.

La preuve par l’exemple : le crash‑test de cet article

J’ai appliqué cette méthode à l’article que vous lisez, en partant d’un premier brouillon bavard (consultable ici : l’article original avant critique) et en le faisant passer à la moulinette de 3 prompts itératifs.

1. Prompt « Valeur » (pour élaguer)

Identifie dans ce document :
- Les paragraphes qui n'apportent pas de valeur (pure rhétorique)
- Les sections qui manquent de substance
- Le ratio contenu utile / remplissage
Les zones où l'on pourrait être plus concis
Fournis un % de contenu "utile" vs "remplissage" pour chaque section.

2. Prompt « Cohérence » (pour structurer)

Analyse ce document en vérifiant :
- La cohérence logique du début à la fin
- Les éventuelles contradictions entre sections
- Les ruptures dans le fil narratif
- Les redondances inutiles

3. Prompt « Qualité perçue » (pour crédibiliser)

Tu es un lecteur qui sature des articles putaclic et des machins générés par IA.
Évalue :
- La rigueur de l'argumentation (1‑10)
- La qualité des sources et références (1‑10)
- Le professionnalisme du ton (1‑10)
- La précision des données (1‑10)
Qu'est‑ce qui te fait penser "article de qualité" vs "article bof"

4. Prompt « Journaliste expérimenté » (pour finaliser)

Tu es un journaliste expérimenté.
La personne est un amateur qui apprécie un style simple, direct, concret, qui parle un peu de lui et avec un peu d'humour.
Reprends une analyse en profondeur de l'article en résultat et donnes‑en un avis.

Résultats avant/après

• Ratio % utile : passé de 60 % à 96 %.
• Qualité perçue : note passée de 4/10 (argumentaire mou) à 9/10 (logique implacable).

Le plus parlant ? L’introduction.
Le brouillon s’étalait sur 12 lignes de narration personnelle. La version finale tient en 6 lignes qui posent le problème sans détails superflus.

Avis final du journaliste : C’est un article solide, utile et agréable à lire. Il ne cherche pas à impressionner par la complexité, mais à convaincre par l’efficacité.

Le mot de la fin

Ne me croyez pas sur parole, essayez. Prenez votre dernier brouillon et testez divers prompts (même au hasard). Vous verrez rapidement la différence.