Choisir un détecteur d'IA : les critères qui comptent et la question des faux positifs

Les détecteurs de texte généré par IA se sont multipliés à mesure que les générateurs se banalisaient. Enseignants, responsables éditoriaux, recruteurs, donneurs d'ordre : beaucoup de gens se retrouvent à devoir trancher une question qui n'a pas de réponse simple — ce texte a-t-il été écrit par une machine ? Le réflexe est de chercher l'outil qui répondra à leur place.

C'est là que se joue l'essentiel. Ces outils ne mesurent pas l'origine d'un texte comme un thermomètre mesure une température. Ils estiment une ressemblance statistique avec ce que produisent habituellement les modèles de langage. Cette estimation peut être utile, mais elle se trompe, et la façon dont un outil gère ses propres erreurs en dit plus long sur sa qualité que n'importe quel argument commercial. Cet article ne classe aucun produit : il propose une grille pour les évaluer soi-même.

Ce que l'outil renvoie, et ce qu'il en explique

Premier critère, et probablement le plus discriminant : la nature du résultat affiché. Trois formes existent.

• Le verdict binaire : « écrit par une IA » ou « écrit par un humain ». C'est la forme la plus lisible, et la plus dangereuse. Elle transforme une estimation floue en affirmation tranchée, alors que rien dans le fonctionnement de l'outil ne justifie ce niveau de certitude. Un utilisateur pressé lira une conclusion là où il n'y a qu'une inclination.
• Le score : un pourcentage, une note, une jauge colorée. Plus honnête que le binaire, mais souvent mal interprété. Un score n'est presque jamais une probabilité au sens statistique du terme, et il n'existe pas de convention commune entre outils. Deux services peuvent afficher des chiffres très différents pour le même texte sans que l'un soit forcément défaillant.
• La probabilité assortie d'un intervalle ou d'une zone d'incertitude : plus rare, plus austère à lire, et généralement le signe d'un outil qui assume ses limites.

Le critère pratique tient en une question : l'outil vous laisse-t-il la place de douter, ou décide-t-il à votre place ? Un service qui ne renvoie jamais « indéterminé » est un service qui a évacué une partie du réel pour rester confortable à utiliser.

Reste à savoir si l'outil explique quelque chose. Un résultat brut ne vaut pas grand-chose si on ne peut pas en faire quoi que ce soit. Regardez si le service accompagne son verdict d'éléments interprétables : passages surlignés, découpage phrase par phrase, indication des zones qui pèsent le plus dans le résultat, explication du type de signal utilisé.

L'intérêt n'est pas d'obtenir une démonstration — ces outils ne raisonnent pas et ne peuvent pas produire de preuve. L'intérêt est de donner prise à l'examen humain. Si un rapport surligne trois paragraphes et que vous constatez qu'il s'agit précisément des passages où l'auteur citait une définition officielle, vous avez appris quelque chose sur la fiabilité du signalement. Avec un simple pourcentage global, vous n'avez rien.

Méfiez-vous en revanche des interfaces qui produisent une explication très verbeuse, rédigée dans un style assuré, décrivant le « style de l'auteur » ou son « intention ». Ce commentaire est lui-même généré, et il donne une apparence d'expertise à une estimation qui reste statistique.

Le français est-il vraiment pris en charge ?

La plupart de ces services ont été conçus, entraînés et calibrés sur de l'anglais. Le français y est souvent ajouté après coup, parfois sans réglage spécifique. Les conséquences sont concrètes et rarement documentées.

Le français écrit soutenu a des caractéristiques qui peuvent orienter un détecteur dans le mauvais sens : phrases plus longues, subordination fréquente, connecteurs logiques explicites, tournures impersonnelles, vocabulaire administratif très codifié. Un courrier rédigé dans un français scolaire irréprochable, appliquant les conventions apprises à l'école, présente exactement le genre de régularité qu'un outil calibré sur l'anglais courant peut lire comme un indice de génération automatique.

Avant d'adopter un service, cherchez s'il annonce explicitement une prise en charge du français, et si cette prise en charge est présentée comme un entraînement dédié ou comme une simple compatibilité. En l'absence d'information, considérez que l'outil vous parle d'anglais. Testez-le également sur des textes français dont vous connaissez l'origine avec certitude — vos propres écrits anciens, des documents antérieurs à la diffusion des générateurs. C'est le seul moyen d'avoir une idée de son comportement sur vos contenus réels.

Quelle longueur de texte l'outil exige-t-il ?

Critère souvent négligé et pourtant décisif. Tous ces systèmes reposent sur des régularités statistiques, et une régularité ne s'observe pas sur trois phrases. Sur un texte court, le résultat devient instable : un même paragraphe soumis avec ou sans sa première phrase peut basculer d'un côté à l'autre.

Un outil sérieux affiche un seuil minimal et refuse d'analyser en dessous, ou signale clairement que le résultat est peu fiable. Un outil qui accepte tout, y compris un titre ou une légende, et renvoie un verdict tranché sur quarante mots, vous dit quelque chose sur la rigueur de sa conception.

Cela vaut aussi pour l'autre bout de la chaîne. Sur un long document, l'analyse globale peut masquer d'énormes disparités. Un mémoire de cent pages ne se résume pas à un pourcentage unique, et un service qui ne propose aucune granularité par section vous laisse avec un chiffre inexploitable.

Que devient le texte que vous envoyez ?

Envoyer un texte à un détecteur, c'est le transmettre à un tiers. Ce point est régulièrement oublié parce que l'usage ressemble à une simple recherche, alors qu'il s'agit d'un transfert de document.

Les cas concrets sont sensibles. Un enseignant qui soumet le mémoire d'un étudiant transmet un travail non publié dont l'étudiant est l'auteur. Un chef de projet qui soumet le rapport d'un prestataire transmet un livrable couvert par un contrat. Une agence qui teste le texte d'un client transmet un document qui ne lui appartient pas, parfois sous confidentialité, parfois contenant des informations non publiques sur une entreprise.

Les questions à poser au service sont banales mais rarement posées :

• Le texte est-il conservé après l'analyse, et pendant combien de temps ?
• Est-il utilisé pour améliorer le service, c'est-à-dire réinjecté dans un entraînement ?
• Où sont hébergées les données, et quel régime juridique s'applique ?
• Existe-t-il une suppression sur demande, et est-elle réellement accessible ?

Un service qui répond clairement à ces quatre questions dans ses conditions d'utilisation mérite déjà une certaine confiance. Un service qui reste évasif vous laisse assumer seul un risque que vous faites porter à quelqu'un d'autre.

Les faux positifs : le vrai critère de jugement

Un détecteur peut se tromper de deux façons. Il peut laisser passer un texte généré, et il peut désigner comme généré un texte écrit par une personne. Ces deux erreurs n'ont pas du tout les mêmes conséquences.

Rater un texte généré est un manque à gagner : la situation reste ce qu'elle était avant l'analyse. Accuser à tort quelqu'un d'avoir triché, en revanche, produit un dommage direct — une note annulée, un contrat rompu, une relation professionnelle abîmée, une réputation entamée. La charge de la preuve se retourne alors contre une personne qui, par construction, ne peut pas prouver un négatif : on ne démontre pas facilement qu'on a écrit soi-même.

Certains profils sont plus exposés que d'autres, sans avoir rien fait de particulier. Les personnes qui écrivent dans une langue qui n'est pas la leur produisent souvent des structures plus simples et plus régulières. Les rédacteurs très formatés par un cadre professionnel — juridique, médical, administratif, technique — emploient un vocabulaire contraint et des tournures répétées. Les auteurs appliqués, qui relisent, uniformisent et éliminent les aspérités, lissent précisément ce qui, dans un texte, passe pour humain. Un outil qui ignore cette réalité fera peser ses erreurs sur des gens déjà en position défavorable.

D'où le critère central : un outil qui n'affiche jamais de doute est un mauvais outil. Cherchez ce qu'il dit de ses propres limites. Existe-t-il une page qui reconnaît les faux positifs et décrit les situations où l'outil se trompe ? Le résultat est-il accompagné d'un avertissement sur son usage ? Le service déconseille-t-il explicitement de l'utiliser comme unique élément dans une procédure disciplinaire ou contractuelle ?

Un éditeur qui écrit noir sur blanc « ce résultat ne constitue pas une preuve » vous donne un renseignement de qualité sur son sérieux. À l'inverse, un discours commercial promettant une identification sûre décrit un produit qui ne peut pas exister, et cette promesse est en elle-même un motif suffisant d'écarter l'outil.

Un usage raisonnable

La grille se ramène à peu de chose : un résultat nuancé plutôt que binaire, des éléments interprétables plutôt qu'un chiffre seul, une prise en charge réelle du français, un seuil de longueur assumé, une politique de données lisible, et une reconnaissance explicite de la marge d'erreur.

Reste la question de ce qu'on en fait. Un détecteur a sa place comme point de départ, jamais comme conclusion. Il peut attirer l'attention sur un document parmi cent, et déclencher un examen humain — relire le texte, le comparer aux productions antérieures de la même personne, discuter du contenu avec elle, vérifier les sources citées. Ce sont ces vérifications qui ont une valeur, pas le score qui les a déclenchées.

Les organisations qui s'en sortent le mieux sont celles qui ont écrit à l'avance ce qu'elles feraient d'un signalement, et qui ont posé une règle claire : aucune décision ne repose sur le seul résultat d'un outil. Cela évite d'avoir à improviser une procédure au moment précis où un cas concret, avec une personne en face, arrive sur le bureau.