Méthode & benchmarks
Des chiffres qui savent où ils s’arrêtent.
Par ShakuPublié le Mis à jour le
Comment Kaneme mesure une voix, comment nous testons le moteur et où il refuse de répondre.
Résultats publiés
Ta voix, ou celle de l’IA
0,92
AUC contre une IA générique (Q1)
Toi, ou un autre humain
0,82
AUC contre un autre humain (Q2)
- Langue validée
- français, anglais
- Moteur servi
- Nemi FR 1.1 (modèle voice-fr-base, calibration emb-frq-1.1)
AUC : 1 = séparation parfaite, 0,5 = pile ou face. Le protocole de chaque note est au chapitre 2.
Sommaire de la méthode
- 01Ce qu’on mesureDeux questions, rangées par importance.
- 02Les résultatsBanc interne, bancs publics, et ce qu’un score vaut.
- 03Comment on testeDu corpus à la publication, en cinq temps.
- 04Où ça casseLes trois limites qui changent une réponse.
- 05À toi de jugerLe tampon, sur tes propres textes.
- 06Détails expérimentauxGenres, test gratuit, calibration, langues.
Cinq chapitres, dans l’ordre où une preuve se lit : la question, la réponse, le protocole, les limites, puis le test à jouer. Les tableaux complets restent dans les détails expérimentaux.
01
Ce qu’on mesure
« Est-ce toi plutôt qu’un autre humain ? » et « est-ce toi plutôt qu’une machine ? » n’ont pas la même réponse. Un 80 vaut 99 % pour la seconde. On ne les confond jamais.
Ta voix, ou celle de l’IA ?
Comparée à des imitations IA des auteurs du banc, réalisées à partir de leurs textes de référence. C’est notre mesure principale, et la barre est haute : la machine avait déjà de quoi te copier.
Toi, ou un autre humain ?
Nettement plus dur : deux personnes du même milieu qui écrivent sur les mêmes sujets se ressemblent. C’est le chiffre qui dit la vérité sur les cas difficiles, donc celui qu’on publie aussi.
Le relevé d’automatismes. Il relève le rythme, le vocabulaire, les tournures et les mots bannis d’un brouillon, sans mesure de paternité.
Le test gratuit (Q0). Sans ta référence, il répond à une question plus faible. Ses notes et ses failles sont dans les détails.
Définition
Mesure de voix
La mesure de voix évalue la proximité d’un texte avec une voix de référence construite à partir des textes de son auteur. Sans corpus, Kaneme ne l’affiche pas.
Une mesure élevée dit que le texte ressemble à ta référence dans les dimensions couvertes. Elle ne dit pas qui a tenu le clavier, quel modèle a été utilisé, ni si le texte peut être opposé à un tiers.
Ce qu’elle mesure
- la proximité du rythme, de la syntaxe et de la ponctuation avec ta référence
- la cohérence du lexique, des mots-signature et des formulations évitées
- la distance entre le style du texte évalué et celui de tes vrais textes
- la fidélité globale dans le genre et la longueur que le moteur sait couvrir
Ce qu’elle ne mesure pas
- ta voix sans corpus de référence
- l’origine certaine ou l’outil qui a produit le texte
- une probabilité universelle « humain contre IA »
- une preuve juridique de paternité ou une promesse d’indétectabilité
Questions sur la mesure de voix
Que mesure exactement la mesure de voix ?+
La mesure de voix évalue la proximité d’un texte avec une voix de référence construite à partir des textes de son auteur. Sans corpus, Kaneme ne l’affiche pas.
Pourquoi faut-il fournir mes propres textes ?+
Parce qu’une fidélité n’existe qu’en comparaison avec une référence. Kaneme construit cette référence à partir de textes dont tu attestes être l’auteur, puis compare le texte évalué à leurs régularités de style.
Est-ce un détecteur d’IA ?+
Non. Un détecteur d’IA tente d’inférer l’origine d’un texte sans connaître son auteur. La mesure de voix répond à une question plus étroite : ce texte ressemble-t-il à la voix de référence enregistrée ? Elle ne prouve ni une origine humaine, ni l’absence d’IA.
Peut-on mesurer une voix sans ses propres textes ?+
Non. Sans corpus, il n’y a rien à comparer : lire un texte seul peut en nommer les tournures génériques, mais ce n’est pas une mesure de voix. Celle-ci exige ta voix de référence.
Une mesure élevée suffit-elle à établir que le texte est de moi ?+
Non. Elle indique une proximité avec ta référence dans le domaine couvert par la mesure. Le tampon ajoute des contrastes dédiés et peut s’abstenir ; aucun de ces résultats n’est une preuve juridique de paternité.
02
Les résultats
Mesurés sur des textes réels, avec des auteurs mis de côté avant les réglages. On rejoue tout et on republie à chaque version du moteur — y compris quand ça baisse.
Banc interne
distinguer ta voix de celle de l’IA
0,92
Comparée à des imitations IA des auteurs du banc, réalisées à partir de leurs textes de référence. Traduction de l’échelle : 1,0 = parfait, 0,5 = pile ou face. C’est notre mesure la plus forte — et la barre est haute, puisque la machine avait déjà de quoi te copier.
te distinguer d’un autre humain
0,82
Nettement plus dur : deux personnes du même milieu qui écrivent sur les mêmes sujets se ressemblent. C’est le chiffre qui dit la vérité sur les cas difficiles, donc celui qu’on publie aussi.
ce que vaut vraiment un score de 80
99 %
Pas une façon de parler : un 80 a été confronté à la réalité, couple par couple. Face à une IA lancée sur ta voix, la bonne réponse tombe 99 fois sur 100.
Mesuré sur 54 auteurs francophones réels, imposteurs pris dans le même registre d’écriture que la cible. Sur un échantillon de contrôle frais, jamais utilisé pour régler l’outil, la couche sémantique monte à 0,947 ; sur notre corpus le plus difficile — des auteurs de la même communauté qui écrivent sur les mêmes sujets — elle descend à 0,82. On publie les deux : c’est la seconde qui dit la vérité sur les cas durs.
Bancs publics · PAN (CLEF) et AuthBench
Se noter sur son propre corpus, tout le monde le peut. Le moteur passe aussi, tel quel, des compétitions publiques d’attribution d’auteur : des textes qu’on n’a ni écrits ni choisis. C’est un plancher, pas notre note.
On ne choisit pas nos examens — et on publie même les moins flatteurs. Le jour où ta voix vit dans ton genre, c’est la note in-genre (0,82 à 0,95) qui s’applique, pas ce plancher.
03
Comment on teste
Cinq temps, toujours dans cet ordre. Un résultat qui saute une étape n’est pas publié.
1Corpus
54 auteurs francophones et leurs vrais textes. Ceux qui règlent l’outil ne sont jamais ceux qui le jugent.
2Réserve
Des auteurs jamais vus à l’entraînement, lus une seule fois, à la fin.
3Calibration
Chaque note est confrontée à la réalité, couple par couple, contre l’IA et contre un humain séparément.
4Test
AUC, faux positifs et attaques, mesurés hors échantillon, genre par genre.
5Publication
Les chiffres suivent le moteur servi, dans le même déploiement, y compris quand ils baissent.
Ce que la mesure de voix compare, et ce qu’elle ne mesure pas, est posé dans sa définition. La calibration fine est dans les détails expérimentaux.
04
Où ça casse
Kaneme n’est pas un détecteur d’IA universel : il mesure si un texte sonne comme une voix de référence. Voici où cette mesure s’arrête.
Pourquoi ces refus décident ce que le produit sait faire : le manifeste.
Limite 1 : Hors de portée, il s’abstient
Hors de ton registre d’écriture, le moteur refuse de trancher plutôt que de bluffer un pourcentage.
Limite 2 : Le genre d’écriture compte
Hors du registre où l’on t’a déjà lu, ce chiffre n’est pas garanti : il a été mesuré genre par genre, jamais à travers les genres.
Limite 3 : La langue aussi
Kaneme mesure le français et l’anglais, et le dit. Chaque langue a son propre moteur : son corpus d’entraînement, sa calibration et ses auteurs hors-échantillon, jamais empruntés à l’autre. Hors de ces deux langues, ou quand ta voix et ton texte ne sont pas écrits dans la même, le moteur refuse de dire qui a écrit un texte, plutôt que de rendre une probabilité qu’aucune mesure ne soutient — et il le refuse même là où il sait très bien lire.
05
Le meilleur banc, c’est ta voix.
Les chiffres de cette page décrivent des corpus que tu ne connais pas. Pour juger sur pièce, donne trois de tes textes, puis un autre à mesurer : le tampon dit s’il porte ta voix, ou s’abstient quand il ne peut pas trancher.
Pour aller plus loinVoir les détails expérimentaux : calibration, genres, test gratuit, langues et limites fines
Un chiffre qui dit ce qu’il vaut
Afficher un nombre est facile. Le rendre honnête demande de le confronter à la réalité, couple par couple.
Un score, ce n’est pas une probabilité
N’importe quel outil peut afficher « 93 ». La vraie question, c’est : parmi tous les textes notés 93, combien étaient vraiment de l’auteur ? Si la réponse est 60, le 93 ment. On a fait le calcul.
On a confronté chaque note à la réalité
Sur 2 108 couples de textes réels, on a comparé ce que le score annonçait à ce qui était vrai. L’écart moyen entre les deux est tombé à 0,6 point sur 100. C’est ce qu’on appelle un score calibré.
Plus le banc public se rapproche de notre terrain, l’écrit court et social, plus le moteur remonte. Et la langue n’y suffit pas : notre plus mauvais banc est français, c’est son registre — de la fiction longue — qui nous éloigne.
Le test gratuit, sans compte
« Ce texte a-t-il une voix ? »
Deux mesures, parce qu’un texte sans voix peut être deux choses. Contre de l’IA générique, ce barème sépare à 0,673. Contre un texte humain peu marqué, à 0,432 — sous le hasard.
Cette lecture-là est la plus faible que nous servions, et nous préférons l’écrire que la laisser deviner. La question qu’elle pose n’est pas « une machine a-t-elle écrit ce texte ? » — c’est « ce texte a-t-il une voix, quelle qu’elle soit ? ». Contre de l’IA générique elle sépare à 0,673, à peine mieux que le hasard, et 80 % des textes d’IA générique atteignent quand même la bande haute. La raison est visible dans la mesure : 58 % des textes humains du banc sortent à 100 sur 100 — tout est écrasé en haut de l’échelle. Sur l’oral transcrit, elle descend à 0,502 contre l’IA générique, c’est-à-dire exactement le hasard. Ce qu’elle ne fait jamais, en revanche : accuser un humain. Sur les 302 textes humains du banc, aucun n’a été rangé en « robotique ». Mais il faut lire ce « jamais » pour ce qu’il vaut : sur les 696 textes du banc, humains et machines confondus, aucun n’atteint cette tranche. Ce n’est pas que la note épargne les humains, c’est que le bas de son échelle ne sert jamais. Prends-la pour ce qu’elle est — un repérage de tics d’écriture — et pas pour un détecteur d’IA : nous ne répondons pas à cette question-là.
Le même banc se lit de deux façons, et l’écart entre les deux dit ce que ce nombre mesure vraiment. Sur « voix plutôt qu’IA générique ? » — la nôtre — il sépare à 0,673. Sur « une machine l’a-t-elle écrit ? » — celle des détecteurs — il sépare à 0,629, moins bien. Ce qui départage les deux, ce sont 82 textes de machine écrits DANS la voix d’un auteur réel : un détecteur doit les ranger avec l’IA, nous devons les ranger avec les voix. Ils sortent à 100 de médiane, comme les humains, contre 94 pour l’IA sans voix. C’est le bon côté — mais il faut lire la ligne suivante avant de s’en réjouir : 62 % de ces imitations sont au plafond, donc une partie de cet accord n’est que de l’écrasement.
Et sans aucune machine dans la comparaison
Restait une question que ni l’une ni l’autre de ces deux lectures ne pose : elles opposent toutes les deux des humains à des machines, donc un texte humain plat y compte comme une voix. Nous l’avons donc mesurée sans aucune machine, sur les humains seuls — 603 textes que leur propre auteur signe nettement contre 603 textes que rien ne rattache au leur, chacun mis en concurrence avec 223 auteurs. Sur cette question-là, celle que le test affiche, ce barème sépare à 0,432 [0,400 – 0,464]. L’intervalle ne contient pas 0,500, et c’est lui qui tranche : le barème ne se contente pas de rater la voix, il note MIEUX les textes que rien ne rattache à leur auteur. Et ce n’est pas qu’il s’abstient — il départage 67 % de ces paires : il tranche, et il tranche à l’envers. Voilà pourquoi le test gratuit ne rend plus de verdict dans sa tranche la plus peuplée : ce n’est pas de la prudence, c’est le seul comportement que cette mesure autorise.
Cet axe-là est gratuit et travaille à l’aveugle : aucun de tes textes, aucun point de comparaison. C’est la question la plus dure du domaine, et personne ne la résout — nous préférons publier nos 0,432 plutôt que de laisser croire l’inverse. La même question posée AVEC tes textes — est-ce toi, ou un autre humain ? — c’est 0,82. Ce n’est pas un autre moteur : c’est la même question avec de quoi y répondre.
Le détail ci-dessous est l’AUTRE lecture, genre par genre : humains contre IA générique du même registre, de 0,502 à 0,805. Les 82 imitations n’y figurent pas — elles sont écrites d’après un brief, sans registre, et leur en inventer un fausserait chaque ligne.
| Genre | Note Q0 | Mesurée sur | Ce qu’elle laisse passer |
|---|---|---|---|
| oral transcrit | 0,502 | 4 auteurs · 44 textes humains · 52 textes d’IA | 92 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| newsletter | 0,544 | 9 auteurs · 108 textes humains · 52 textes d’IA | 85 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| LinkedIn B2B | 0,746 | 4 auteurs · 48 textes humains · 52 textes d’IA | 73 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| académique | 0,764 | 4 auteurs · 21 textes humains · 52 textes d’IA | 71 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| réseau social | 0,781 | 6 auteurs · 64 textes humains · 52 textes d’IA | 75 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| marketing | 0,805 | 4 auteurs · 17 textes humains · 52 textes d’IA | 85 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
Ce taux est une moyenne sur 6 fournisseurs de modèles, et il ne faut pas le lire comme une propriété de « l’IA » : selon la maison qui a écrit le texte, la part qui atteint la bande haute va de 46 % (google) à 94 % (inconnue). Notre première mesure ne portait que sur un seul modèle, et annonçait 94 % : elle décrivait ce modèle-là, pas la catégorie.
| Modèle | Note Q0 | Passe en bande haute | Cohorte |
|---|---|---|---|
| deepseekdeepseek/deepseek-chat-v3.1 | 0,589 | 44/48 · 92 % | 48 textes · médiane 97 |
| inconnuemodèle non enregistré (génération du 2026-07-24) | 0,600 | 68/72 · 94 % | 72 textes · médiane 96 |
| openaiopenai/gpt-5.4-mini | 0,612 | 42/48 · 88 % | 48 textes · médiane 95 |
| mistralaimistralai/mistral-medium-3-5 | 0,658 | 43/48 · 90 % | 48 textes · médiane 95 |
| meta-llamameta-llama/llama-4-maverick | 0,776 | 31/48 · 65 % | 48 textes · médiane 89 |
| googlegoogle/gemini-3.5-flash | 0,801 | 22/48 · 46 % | 48 textes · médiane 84 |
Et quand on l’attaque exprès, il ne tient pas : sur 102 textes de machine retravaillés pour passer, 92 % atteignent la bande haute. La plus efficace des trois attaques — réécrire le texte dans le style d’un auteur — y arrive à tous les coups. Ce nombre n’est pas une défense, et nous ne le présentons pas comme telle.
Ce que chaque note affirme — et pourquoi trois sur quatre ne disent rien
Cette note est graduée sur 100, mais elle ne s’en sert pas : 89 % des 696 textes de notre banc sortent dans la même tranche, « Peu d’automatismes », et une tranche n’est jamais atteinte par quoi que ce soit. Une échelle qui ne range ailleurs qu’un texte sur 9 n’est pas une échelle, et nous préférons l’écrire plutôt que de vous laisser lire un 92 comme une note sur 100.
La colonne de droite compte, pour chaque tranche, combien de textes portant une voix y tombent pour un texte d’IA générique. Proche de 1, la tranche n’apprend rien : nous n’affichons alors plus de libellé du tout, seulement le nombre de marques de rédaction relevées — un décompte que tu peux rouvrir dans ton texte et refaire à la main.
| Note affichée | Textes avec voix | Textes d’IA | Ce qu’elle apprend |
|---|---|---|---|
| Peu d’automatismes | 369/384 · 96 % | 250/312 · 80 % | Presque rien : 1,20 texte avec voix pour 1 texte d’IA. Nous n’affichons plus de libellé ici. |
| Quelques automatismes | 15/384 · 4 % | 60/312 · 19 % | Elle tranche : un texte y est 4,9 fois plus probablement écrit par une machine. |
| Beaucoup d’automatismes | 0/384 · 0 % | 2/312 · 1 % | Elle tranche : aucun texte portant une voix n’y tombe. ⚠️ Mais seuls 2 textes d’IA y sont passés — trop peu pour en faire une garantie. |
| Automatismes partout | 0/384 · 0 % | 0/312 · 0 % | Rien : aucun texte du banc n’y est jamais tombé. Cette tranche du barème ne sert jamais. |
Mesuré en français et anglais, et seulement là
Kaneme mesure le français et l’anglais, et le dit. Chaque langue a son propre moteur : son corpus d’entraînement, sa calibration et ses auteurs hors-échantillon, jamais empruntés à l’autre. Hors de ces deux langues, ou quand ta voix et ton texte ne sont pas écrits dans la même, le moteur refuse de dire qui a écrit un texte, plutôt que de rendre une probabilité qu’aucune mesure ne soutient — et il le refuse même là où il sait très bien lire.
Une langue n’est pas « supportée » ou non : elle est mesurée, projetée, ou hors périmètre. Les trois ne donnent pas la même réponse.
français
Corpus d’entraînement, calibration, panel d’imposteurs et bancs publics : tout est en français. C’est la langue où le moteur accepte de dire qui a écrit un texte.
anglais
Un moteur à part entière, Nemi EN 1, entraîné, calibré et doté de son panel d’imposteurs en anglais, puis passé à un examen scellé sur 45 personnes anglophones jamais vues, moteur gelé : aucun texte d’IA générique n’a été pris pour son auteur (0 sur 221). Le moteur y dit si un texte porte ta voix (Q1). Q2 — toi ou un autre humain — y a passé son propre examen scellé le 13 octobre 2026, sur 55 autres personnes anglophones jamais vues : au seuil retenu, aucun des 288 autres humains n’a été accepté. Sous ce seuil, il rend une lecture indicative, comme en français.
Toutes les autres langues sont hors périmètre : le moteur les lit, les nomme, et s’abstient. Une langue n’entre dans cette liste qu’après avoir été mesurée — jamais parce qu’elle a été demandée.
Toutes les limites, en détail
Une preuve n’a de valeur que si elle est honnête sur ses limites.
Ce n’est pas un détecteur d’IA universel
On ne devine pas si un texte sort d’une IA dans l’absolu — personne ne sait faire ça honnêtement, et de toute façon ce n’est pas la question. On mesure s’il sonne comme TA voix plutôt que comme celle que l’IA produit par défaut. Il nous faut donc tes textes. C’est une limite, et c’est aussi pour ça que ça marche.
Hors de portée, on s’abstient
Hors de ton registre d’écriture, le moteur refuse de trancher plutôt que de bluffer un pourcentage.
Notre point faible, nommé
Hors du registre où l’on t’a déjà lu, ce chiffre n’est pas garanti : il a été mesuré genre par genre, jamais à travers les genres.
Face à un tricheur outillé, notre 96 % vaut 88 %
On a pris des textes machine et on les a retravaillés exprès pour passer : « humanisés », réécrits vers la cible. Le moteur tient la direction, mais son haut d’échelle sur-promet — on annonce 96 %, la réalité est 88 %. On le mesure, donc on le dit. C’est un indice fort, jamais une preuve opposable.
Même un texte court peut montrer une ressemblance. Sans établir qui l’a écrit.
Mesuré sur le moteur servi : à 70 mots, aucune imitation de la voix par une IA n’a atteint la bande la plus haute (0 sur 64 dans notre banc) : un score très haut garde son sens sur un texte court. La mesure y perd aussi de sa force : elle place le texte de l’auteur au-dessus d’une imitation 82 fois sur 100 à 70 mots, contre 89 sur 190 mots environ. Un score bas sur un texte court, lui, ne veut rien dire du tout — c’est une absence de preuve, pas une preuve d’absence. On ne te dira donc jamais « ce n’est pas toi » sur trois lignes.
Verdict et certificat : deux affichages
Le verdict public peut afficher un pourcentage calibré, avec sa question, son niveau de confiance et ses limites. Les certificats publics présentent une bande et la provenance plutôt qu’un score fin. Aucun de ces affichages ne prouve à lui seul qui a écrit le texte.
Quand on ne peut pas mesurer, on se tait
Trop court, corpus trop mince, couche de mesure indisponible : on affiche « on ne peut pas trancher » plutôt qu’un chiffre approximatif. C’est l’inverse exact des détecteurs qui crachent un pourcentage confiant sur trois mots.
Assez parlé de mesure. Fais jouer le tampon.
Commence par 100 mots dans ton passeport, ajoute des textes dont tu es sûr, puis colle celui dont tu doutes. Le verdict compare des voix, pas une intuition sur l’origine d’un texte.