Quand un détecteur d’IA accuse Jules Verne d’avoir utilisé ChatGPT

Il y a quelques jours, je me suis amusé à soumettre plusieurs de mes textes à des détecteurs d’intelligence artificielle, certains textes datant de 2026, d’autres de… 2014. A cette époque, ChatGPT, Claude et Mistral n’existaient pas. Pas de GPT personnalisé dopé à mon style, pas de brouillon généré en quelques secondes et encore moins de bouton « améliorer ce texte ». Juste moi, mon clavier, mes idées, mes jeux de mots et, soyons honnête, quelques fautes d’orthographe aussi.

Pourtant le verdict de l’un des détecteurs est tombé : seulement 71% de probabilité que l’un de mes textes de 2014 ait été écrit par un humain. Dit autrement, 29% de chance que mon article ait été écrit par une IA. Trois hypothèses étaient alors possibles :

• Soit j’avais inventé ChatGPT avec 12 ans d’avance sans penser à déposer le brevet (peu probable)

• Soit ces détecteurs ne fonctionnent pas (sans doute)

• Soit ces détecteurs ne savent pas réellement ce qu’ils doivent mesurer, ou se basent sur des indices peu pertinents comme le tiret cadratin que personne n’utilisait avant l’avènement de l’IAG (fort probable)

Dans le doute, j’ai décidé de pousser le vice un peu plus loin.

Jules Verne, prompt engineer malgré lui

Peut-être que le problème venait de ma manière d’écrire. Une structure relativement claire, une progression logique, une thèse et une antithèse comme appris au lycée, quelques formules et jeux de mots bien placés pouvaient peut-être donner à mes textes de 2014 un air d’AI Generated avant l’heure.

J’ai donc choisi de soumettre un extrait de « Vingt mille lieues sous les mers », roman de Jules Verne publié en 1869. Même si ce roman était en avance sur son temps, le Capitaine Némo et son Nautilus n’ont pas été écrit à l’aide d’un PC et encore moins dopés à l’IA. Lors du premier test, portant sur un extrait composé de 2 paragraphes, un détecteur a attribué au texte un score de 67%. Son interprétation concluait donc qu’il semblait probablement être le travail d’un rédacteur humain, sans en être totalement certain (résultat ci-après).

J’ai alors donné au détecteur un extrait plus long, soit 4 paragraphes. Et là, le score est tombé à 21%. (résultat ci-après). Le détecteur affirme donc que le texte a été généré par IA, probablement à partir d’un prompt relativement avancé. A ce stade, ce n’est même plus un faux positif… ! Si Jules Verne l’apprenait, il se retournerai dans sa tombe.

Même si l’expérience peut faire rire, elle révèle un problème plus sérieux et peut-être trop sous-estimé. Le détecteur observe le résultat final à l’aide de règles statistiques, mais ne retrace en rien le processus créatif de l’auteur

Le serpent qui se mord le prompt

Le paradoxe est d’ailleurs assez logique. Les IAG ont appris à écrire en absorbant une quantité astronomique de contenus humains : livres, articles, études scientifiques, pages web, commentaires, analyses, tournures, structures de phrases, etc… bref, elles ont appris à partir de nous. Puis nous avons conçu des outils chargés de comparer nos textes à ce que ces mêmes IA génèrent. A force, l’élève finit donc par ressembler au maître… avant qu’un logiciel ne vienne expliquer au maître qu’il copie probablement son élève. A peu de choses près, c’est le serpent qui se mord le prompt.

C’est comme si un détecteur de parfum accusait une vraie rose d’être une imitation, simplement parce que l’imitation a été fabriquée en copiant l’odeur de milliers de vraies roses.

La clarté du sujet, une construction de phrase cohérente, un vocabulaire riche et une conclusion bien amenée peuvent soudain être interprétés comme les symptômes d’une IAG. Faudrait-il alors introduire volontairement quelques fautes d’orthographe, casser les transitions et se contenter d’une idée floue pour prouver que nous sommes humains ?

Ce serait tout de même assez cocasse : après avoir utilisé des logiciels pour améliorer notre écriture, tel le correcteur orthographique de Word, nous devrions désormais écrire moins bien pour ne pas être confondus avec eux.

Le texte final ne raconte pas sa fabrication

Un détecteur examine un texte terminé mais ne voit pas comment il a été écrit ni le processus créatif par lequel il est passé.

Depuis près de deux ans, j’utilise l’IA au quotidien. Elle m’aide à challenger des sujets de talks, identifier des signaux faibles, faire de la veille, analyser des corpus documentaires, générer des comptes rendus, etc…

Pour rédiger un article, mon processus ressemble généralement à cela :

• Etape 1 : une importante phase d’idéation de plusieurs heures étalées sur plusieurs jours pour faire de la recherche, agréger des sources via des articles de presse, mon fil Linkedin, newsletters, etc… le tout généralement fait en asynchrone ou en temps masqué le soir sur le canapé

• Etape 2 : un premier cadrage face à l’IA en posant le contexte, l’idée maîtresse, mon point de vue, les contraintes et en injectant les meilleures sources précédemment identifiées

• Etape 3 : plusieurs échanges avec l’un de mes GPT spécialisés pour produire un brouillon pas trop mauvais

• Etape 4 : démarre enfin le gros du travail, une longue phase de rédaction

Je déplace, efface, complète, reformule, retire les phrases trop lisses, ajoute mon expérience terrain, une image, l’un de mes jeux de mots, un titre un poil accrocheur, etc… Bref, je travaille le texte jusqu’à ce qu’il ressemble moins à un résultat généré qu’à ma vision ou mon avis sur le sujet. Dans mon cas, la valeur résiduelle du brouillon initial représente 15 à 25 % de l’article final. Peut-être est-ce encore trop...

Mais le détecteur ne sait rien de tout cela. Il ne voit pas les sources lues, les paragraphes supprimés, les idées abandonnées ou la phrase réécrite dix fois avant de trouver celle qui fera mouche. Il ne sait pas non plus qui a vérifié une information, choisi l’angle ou décidé d’assumer la signature de l’article lui-même.

J’ai travaillé plus de dix ans dans l’industrie du luxe. Chaque pièce y était façonnée à l’aide d’outils et revêtait malgré tout un caractère presque unique. Une fois terminée, le client pouvait ainsi admirer sa courbe, sa couleur ou son brillant. Mais il ne voyait pas le savoir-faire de l’artisan, ni le toucher matière lui permettant de dire qu’il fallait chauffer un peu moins pour éviter la formation d’une cloque ou modifier la pression exercée pour obtenir le meilleur brillant qui soit lors du polissage à la peau de chamois. En résumé, le client voit la pièce exposée dans la vitrine, mais pas la main qui l’a façonnée.

Pour l’écriture, c’est à peu de choses près la même chose. L’IA peut accélérer l’ébauche, dégrossir la matière, ouvrir des pistes et proposer une première forme. Mais quelqu’un doit encore choisir ce qui mérite d’être conservé, couper ce qui sonne creux et polir l’ensemble jusqu’à obtenir la bonne couleur, le bon brillant. Sauf, bien sûr, à se satisfaire d’une pâle imitation générée en 30 secondes…ce que l’on appelle aujourd’hui l’AI Slop.

Quand une école renonce à jouer au détective

La Kelley School of Business de l’Université de l’Indiana a d’ailleurs fait un choix assez radical : elle n’autorise aucun outil de détection d’IA. Non pas parce que l’école ferme les yeux sur l’usage de l’IA, mais parce que ces outils peuvent produire des faux positifs et comporter des biais.

Autrement dit, plutôt que de jouer à « qui a copié ChatGPT ? » sur la base d’un pourcentage, l’école préfère déplacer le contrôle vers ce qui peut réellement être observé : le processus de travail, le respect des consignes données, la capacité de l’étudiant à expliquer ses choix, à justifier son raisonnement et à défendre le fruit de son travail. La vraie question n’est donc plus seulement de savoir si l’IA a été utilisée, mais plutôt la place qu’elle a prise, ce que l’étudiant est encore capable d’expliquer et de démontrer.

Détecter vs tracer

L’Union Européenne semble avoir compris une partie du problème. Le récent code de bonnes pratiques sur la transparence des contenus générés par IA ne repose pas uniquement sur l’idée de lancer un texte dans une moulinette et d’attendre qu’un cadran affiche un pourcentage. Plutôt que de tenter de deviner l’origine après coup, sa logique repose sur le fait de conserver des traces au moment de la génération…donc de tracer.

Pour les fournisseurs de systèmes d’IA, le code prévoit notamment des métadonnées signées comme pour les photos, des filigranes imperceptibles à l’œil nu voir une signature électronique. L’objectif est que les contenus générés ou modifiés puissent être identifiés à partir d’une marque ajoutée à la source et pas seulement à partir d’un soupçon statistique.

La nuance est fondamentale car un détecteur classique « lit » Jules Verne et tente de deviner qui l’a écrit alors qu’un système de provenance cherche plutôt un tampon apposé lors de l'impression du roman.

Le code admet cependant que la solution technique n’est pas magique. Même si pour une image générée par IA il est plutôt aisé d’insérer un filigrane, un texte, lui ne peut pas.

La « touche » humaine

Une autre partie du code me paraît encore plus intéressante pour ceux qui, comme moi, utilisent l’IA afin d’écrire une ébauche.

A partir du 2 août prochain, certains textes générés ou manipulés par IA et publiés pour informer le public sur des sujets d’intérêt public devront faire l’objet d’une information claire. Mais l’IA Act prévoit une exception lorsque le contenu a subi une relecture humaine et que son auteur en assume la responsabilité éditoriale.

Le curseur bouge donc de « présence ou absence d’IA » vers « contenu contrôlé et validé par l’humain ».

A-t-on relu le texte ou seulement corrigé trois virgules ? Les faits ont-ils été vérifiés ? L’angle a-t-il été choisi par quelqu’un ? Une personne est-elle capable d’expliquer les choix éditoriaux, de défendre le raisonnement et, surtout, d’en assumer les coquilles ?

Le code ne décrit d’ailleurs pas la transparence comme une case à cocher. Il demande des processus de contrôle internes, une sensibilisation des personnes concernées (créateur de contenu, copywriter, community manager, etc…), d’identification de la responsabilité éditoriale, etc…

La signature plutôt que le score

Je comprends évidemment le besoin de transparence. Mon fil LinkedIn déborde de publications générées en quelques secondes, copiées-collées sans relecture et construites selon la même recette : une accroche standardisée, quelques phrases saccadées qui s’enchaînent, deux ou trois enseignements, puis une question finale aussi spontanée qu’un formulaire de satisfaction.

Mais tous les textes assistés par IA ne se valent pas. Entre un contenu produit en un clic et un article nourri de recherches, challengé, réécrit, enrichi d’expériences puis assumé par son auteur, il existe un monde. Pourtant, un détecteur peut attribuer un score aux deux et se tromper…pour les deux.

Voilà pourquoi la bonne réponse ne consiste pas à ajouter artificiellement des défauts pour « faire humain », ni même faire une phrase bancale et encore moins retirer tous les tirets cadratins.

Ce qui fait la différence se trouve ailleurs (un peu comme la vérité pour ceux qui ont la ref). Elle se retrouve dans la qualité des sources analysées (officielles vs AI Slop), le choix d’un point de vue en phrase avec son auteur, l’expérience terrain, les convictions et bien évidemment la responsabilité de l’auteur quand il publie.

Quoiqu'il en soit, les détecteurs continueront à produire des pourcentages avec une assurance inversement proportionnelle à leur fiabilité. Le véritable enjeu sera donc de montrer que, même avec l’IA, nous n’avons pas renoncé à réfléchir, à choisir et à assumer ce que nous publions.

Sources :

Commission européenne : Code de bonnes pratiques sur la transparence des contenus générés par IA : https://digital-strategy.ec.europa.eu/en/policies/code-practice-ai-generated-content

Commission européenne : Lignes directrices sur les obligations de transparence applicables aux fournisseurs et aux déployeurs de systèmes d’IA : https://digital-strategy.ec.europa.eu/en/library/guidelines-transparency-obligations-providers-and-deployers-ai-systems

AI Office : Icônes européennes destinées à signaler les contenus générés ou modifiés par IA : https://digital-strategy.ec.europa.eu/en/policies/eu-icons-labelling-ai-generated-content

Kelley School of Business : Kelley AI Playbook : https://kelley.iu.edu/Kelley_AI_Playbook.pdf

Jules Verne : Vingt mille lieues sous les mers : https://fr.wikisource.org/wiki/Vingt_mille_lieues_sous_les_mers/Texte_entier