La méthode, à découvert
Comment on mesure ta voix. La preuve, pas la promesse.
Par ShakuPublié le Mis à jour le
La plupart des outils te disent « ça te ressemble ». Nous, on met un chiffre dessus — et voici exactement comment il est calculé, avec nos vrais résultats. Rien à cacher.
Mesure
Fidélité d’un texte et verdict d’auteur : deux opérations, jamais confondues.
Fiabilité
Résultats hors échantillon, recalculés à chaque version du moteur.
Limite
Hors de son domaine, Kaneme s’abstient. Il ne détecte pas l’IA universellement.
Sommaire de la méthode
- 01L’essentielCe qui est mesuré et les deux questions séparées.
- 02FiabilitéLes résultats publiés et ce qu’un score veut dire.
- 03ProtocoleCorpus, contrôle et métriques.
- 04Détails expérimentauxGenres, langues et banc public — à ouvrir au besoin.
- 05Limites et preuveCe que Kaneme refuse d’affirmer, puis le verdict d’auteur.
Lis le résumé, puis va directement à la preuve qui t’intéresse. Les tableaux de détail restent disponibles, sans imposer leur lecture à chaque visiteur.
Deux mesures, une preuve
La fidélité répond à « ça me ressemble ». Le verdict d’auteur répond à « c’est bien moi, pas une copie ».
Le score de fidélité
« Ce texte sonne-t-il comme TA voix ? » On regarde le rythme, le vocabulaire, tes tournures-signature et les mots que tu bannis. Un chiffre sur 100, avant que tu publies.
Le verdict d’auteur
« Est-ce vraiment toi, ou une bonne imitation ? » On compare ta signature de style à celle d’imposteurs — humains sur le même sujet, ou IA qui essaient de t’imiter. C’est là que se joue la preuve.
Nos chiffres, en clair
Mesurés sur des textes réels, avec des auteurs mis de côté avant les réglages. On rejoue tout et on republie à chaque version du moteur — y compris quand ça baisse.
distinguer ta voix de celle de l’IA
0,992
Calibration face aux imitations IA des auteurs du banc, réalisées à partir de leurs textes de référence. Traduction de l’échelle : 1,0 = parfait, 0,5 = pile ou face. C’est notre mesure la plus forte — et la barre est haute, puisque la machine avait déjà de quoi te copier.
te distinguer d’un autre humain
0,887
Nettement plus dur : deux personnes du même milieu qui écrivent sur les mêmes sujets se ressemblent. C’est le chiffre qui dit la vérité sur les cas difficiles, donc celui qu’on publie aussi.
ce que vaut vraiment un score de 80
99 %
Pas une façon de parler : un 80 a été confronté à la réalité, couple par couple. Face à une IA lancée sur ta voix, la bonne réponse tombe 99 fois sur 100. Face à un autre humain, la même note ne vaut que 70 % — et on l’écrit.
Médianes hors-échantillon sur 6 genres d’écriture que le moteur n’avait jamais vus pendant son entraînement — sur 31 auteurs francophones neufs, mis de côté avant l’entraînement, pas sur le corpus qui a servi à le régler. Ces deux notes sont des médianes sur six genres neufs, mesurées après coup sur des auteurs jamais vus. C’est un examen plus dur que de mesurer chaque genre séparément : on demande au moteur de tenir là où il n’a jamais été entraîné. Sur ces mêmes auteurs, la version précédente notait 0,850 en Q2 — celui-ci sépare mieux sur 4 genres sur 6, et moins bien sur 2 : l’oral transcrit (0,714 → 0,563) et la newsletter (0,889 → 0,883). Une moyenne qui monte n’est pas un progrès partout, et on ne publie pas la moyenne sans les deux genres qu’elle recouvre.
Des données qu’on n’a pas choisies
Testé aussi sur des compétitions publiques, pas que sur notre corpus
Se noter sur son propre corpus, tout le monde le peut. Alors on a passé le moteur, tel quel, sur des compétitions publiques d’attribution d’auteur — PAN (CLEF) et AuthBench — des textes qu’on n’a ni écrits ni choisis.
C’est un plancher, pas notre note : ces bancs sont hors de notre genre (fanfiction, forums), là où l’on ne mesure que la discrimination brute entre auteurs. Le signal qui compte est ailleurs — plus le banc se rapproche de notre terrain, l’écrit court et social, plus le moteur remonte. Et la langue n’y suffit pas : notre plus mauvais banc est français, c’est son registre — de la fiction longue — qui nous éloigne.
On ne choisit pas nos examens, et on publie même le plus mauvais. Ces cinq bancs ont été rejoués le 1ᵉʳ août avec le moteur servi aujourd’hui, sur exactement les mêmes problèmes qu’en juillet : seul l’encodeur a changé. Ce plancher ne remplace pas la note in-genre — le jour où ta voix vit dans ton genre, c’est elle qui s’applique, pas celui-ci.
Un chiffre qui dit ce qu’il vaut
Afficher un nombre est facile. Le rendre honnête demande de le confronter à la réalité, couple par couple. C’est ce qu’on a fait.
Un score, ce n’est pas une probabilité
N’importe quel outil peut afficher « 93 ». La vraie question, c’est : parmi tous les textes notés 93, combien étaient vraiment de l’auteur ? Si la réponse est 60, le 93 ment. On a fait le calcul.
On a confronté chaque note à la réalité
Sur 2 108 couples de textes réels, on a comparé ce que le score annonçait à ce qui était vrai. L’écart moyen entre les deux est tombé à 0,6 point sur 100. C’est ce qu’on appelle un score calibré.
Deux questions, deux chiffres
« Est-ce toi plutôt qu’un autre humain ? » et « est-ce toi plutôt qu’une machine ? » n’ont pas la même réponse. Un même 80 vaut 70 % pour la première, 99 % pour la seconde. On ne les confond jamais.
Ce que ce barème compte exactement, terme par terme, est écrit sur la page du Voice Match Score.
Le protocole
Trois règles qu’on s’impose pour que le chiffre veuille dire quelque chose.
Un corpus réel, pas des exemples fabriqués
54 auteurs francophones, chacun avec ses vrais textes. On sépare ceux qui servent à régler l’outil de ceux qui servent à le juger — sans jamais mélanger les deux.
Un échantillon de contrôle qu’on ne regarde qu’une fois
Une réserve d’auteurs frais, jamais utilisée pendant les réglages. On la lit une seule fois, à la fin, pour connaître la vraie note hors-échantillon. Pas de triche possible avec soi-même.
Les métriques d’une vraie compétition
On mesure comme les compétitions académiques d’attribution d’auteur : AUC, taux de faux positifs, robustesse aux attaques. À chaque version du moteur, on rejoue tout et on republie les chiffres.
Pour aller plus loinOuvrir les détails expérimentaux : genres, test gratuit et calibration fine
Six genres. Une note qui va de 0,563 à 0,933.
Le chiffre que nous annonçons pour Q2 est une médiane sur six genres d’écriture. Une médiane est un résumé, et un résumé se lit comme une garantie — alors voici les six lignes qu’elle recouvre. Cherche la tienne : c’est elle qui te concerne, pas la médiane.
| Genre | Note Q2 | Mesurée sur | Au seuil où l’on répond |
|---|---|---|---|
| newsletter | 0,8830,74 – 1,00 | 9 auteurs · 198 paires | aucun autre auteur n’a franchi 80 ; sur 144 essais, ça borne le risque à 3 % |
| réseau social | 0,9050,74 – 1,00 | 6 auteurs · 92 paires | aucun autre auteur n’a franchi 80 ; sur 60 essais, ça borne le risque à 6 % |
| académique | 0,9330,75 – 1,00 | 4 auteurs · 34 paires | aucun autre auteur n’a franchi 80 ; sur 24 essais, ça borne le risque à 14 % |
| LinkedIn B2B | 0,8910,67 – 1,00 | 4 auteurs · 48 paires | aucun autre auteur n’a franchi 80 ; sur 24 essais, ça borne le risque à 14 % |
| oral transcrit | 0,5630,22 – 0,90 | 4 auteurs · 46 paires | aucun autre auteur n’a franchi 80 ; sur 24 essais, ça borne le risque à 14 % |
| marketing | 0,7970,51 – 1,00 | 4 auteurs · 32 paires | 8 % des textes d’un autre auteur franchissent quand même 80 |
Les fourchettes sont larges parce que les cohortes sont petites : 4 auteurs sur le plus mince de ces genres. Nous les calculons en comptant les AUTEURS, pas les paires de textes — deux textes du même auteur ne sont pas deux observations indépendantes, et faire semblant du contraire donnerait des fourchettes deux à trois fois plus étroites que ce que nous savons vraiment. La colonne de droite, elle, ne dit pas ce que le moteur POURRAIT faire mais ce qu’il fait : la part des textes écrits par quelqu’un d’autre qui passent quand même le seuil auquel nous répondons « ça sonne comme toi ».
Ce qu’une note de 0,992 ne dit pas.
Une note de 0,992 ne veut pas dire « jamais d’erreur » — elle veut dire une capacité de classement médiane sur ces genres, pas un taux de réussite individuel. Sur 4 genres sur 6, le 10e centile des références dépasse le 90e centile des imitations IA. Sur 2 — l’écrit académique (0,954) et le post LinkedIn B2B (0,963) — cette séparation des zones centrales n’est pas établie. Ces quantiles ne décrivent pas tous les extrêmes.
Le test gratuit, sans compte
« Ce texte a-t-il une voix ? »
Deux mesures, parce qu’un texte sans voix peut être deux choses. Contre de l’IA générique, ce barème sépare à 0,673. Contre un texte humain peu marqué, à 0,432 — sous le hasard.
Cette lecture-là est la plus faible que nous servions, et nous préférons l’écrire que la laisser deviner. La question qu’elle pose n’est pas « une machine a-t-elle écrit ce texte ? » — c’est « ce texte a-t-il une voix, quelle qu’elle soit ? ». Contre de l’IA générique elle sépare à 0,673, à peine mieux que le hasard, et 80 % des textes d’IA générique atteignent quand même la bande haute. La raison est visible dans la mesure : 58 % des textes humains du banc sortent à 100 sur 100 — tout est écrasé en haut de l’échelle. Sur l’oral transcrit, elle descend à 0,502 contre l’IA générique, c’est-à-dire exactement le hasard. Ce qu’elle ne fait jamais, en revanche : accuser un humain. Sur les 302 textes humains du banc, aucun n’a été rangé en « robotique ». Mais il faut lire ce « jamais » pour ce qu’il vaut : sur les 696 textes du banc, humains et machines confondus, aucun n’atteint cette tranche. Ce n’est pas que la note épargne les humains, c’est que le bas de son échelle ne sert jamais. Prends-la pour ce qu’elle est — un repérage de tics d’écriture — et pas pour un détecteur d’IA : nous ne répondons pas à cette question-là.
Le même banc se lit de deux façons, et l’écart entre les deux dit ce que ce nombre mesure vraiment. Sur « voix plutôt qu’IA générique ? » — la nôtre — il sépare à 0,673. Sur « une machine l’a-t-elle écrit ? » — celle des détecteurs — il sépare à 0,629, moins bien. Ce qui départage les deux, ce sont 82 textes de machine écrits DANS la voix d’un auteur réel : un détecteur doit les ranger avec l’IA, nous devons les ranger avec les voix. Ils sortent à 100 de médiane, comme les humains, contre 94 pour l’IA sans voix. C’est le bon côté — mais il faut lire la ligne suivante avant de s’en réjouir : 62 % de ces imitations sont au plafond, donc une partie de cet accord n’est que de l’écrasement.
Et sans aucune machine dans la comparaison
Restait une question que ni l’une ni l’autre de ces deux lectures ne pose : elles opposent toutes les deux des humains à des machines, donc un texte humain plat y compte comme une voix. Nous l’avons donc mesurée sans aucune machine, sur les humains seuls — 603 textes que leur propre auteur signe nettement contre 603 textes que rien ne rattache au leur, chacun mis en concurrence avec 223 auteurs. Sur cette question-là, celle que le test affiche, ce barème sépare à 0,432 [0,400 – 0,464]. L’intervalle ne contient pas 0,500, et c’est lui qui tranche : le barème ne se contente pas de rater la voix, il note MIEUX les textes que rien ne rattache à leur auteur. Et ce n’est pas qu’il s’abstient — il départage 67 % de ces paires : il tranche, et il tranche à l’envers. Voilà pourquoi le test gratuit ne rend plus de verdict dans sa tranche la plus peuplée : ce n’est pas de la prudence, c’est le seul comportement que cette mesure autorise.
Cet axe-là est gratuit et travaille à l’aveugle : aucun de tes textes, aucun point de comparaison. C’est la question la plus dure du domaine, et personne ne la résout — nous préférons publier nos 0,432 plutôt que de laisser croire l’inverse. La même question posée AVEC tes textes — est-ce toi, ou un autre humain ? — c’est 0,887. Ce n’est pas un autre moteur : c’est la même question avec de quoi y répondre.
Le détail ci-dessous est l’AUTRE lecture, genre par genre : humains contre IA générique du même registre, de 0,502 à 0,805. Les 82 imitations n’y figurent pas — elles sont écrites d’après un brief, sans registre, et leur en inventer un fausserait chaque ligne.
| Genre | Note Q0 | Mesurée sur | Ce qu’elle laisse passer |
|---|---|---|---|
| oral transcrit | 0,502 | 4 auteurs · 44 textes humains · 52 textes d’IA | 92 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| newsletter | 0,544 | 9 auteurs · 108 textes humains · 52 textes d’IA | 85 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| LinkedIn B2B | 0,746 | 4 auteurs · 48 textes humains · 52 textes d’IA | 73 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| académique | 0,764 | 4 auteurs · 21 textes humains · 52 textes d’IA | 71 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| réseau social | 0,781 | 6 auteurs · 64 textes humains · 52 textes d’IA | 75 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| marketing | 0,805 | 4 auteurs · 17 textes humains · 52 textes d’IA | 85 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
Ce taux est une moyenne sur 6 fournisseurs de modèles, et il ne faut pas le lire comme une propriété de « l’IA » : selon la maison qui a écrit le texte, la part qui atteint la bande haute va de 46 % (google) à 94 % (inconnue). Notre première mesure ne portait que sur un seul modèle, et annonçait 94 % : elle décrivait ce modèle-là, pas la catégorie.
| Modèle | Note Q0 | Passe en bande haute | Cohorte |
|---|---|---|---|
| deepseekdeepseek/deepseek-chat-v3.1 | 0,589 | 44/48 · 92 % | 48 textes · médiane 97 |
| inconnuemodèle non enregistré (génération du 2026-07-24) | 0,600 | 68/72 · 94 % | 72 textes · médiane 96 |
| openaiopenai/gpt-5.4-mini | 0,612 | 42/48 · 88 % | 48 textes · médiane 95 |
| mistralaimistralai/mistral-medium-3-5 | 0,658 | 43/48 · 90 % | 48 textes · médiane 95 |
| meta-llamameta-llama/llama-4-maverick | 0,776 | 31/48 · 65 % | 48 textes · médiane 89 |
| googlegoogle/gemini-3.5-flash | 0,801 | 22/48 · 46 % | 48 textes · médiane 84 |
Et quand on l’attaque exprès, il ne tient pas : sur 102 textes de machine retravaillés pour passer, 92 % atteignent la bande haute. La plus efficace des trois attaques — réécrire le texte dans le style d’un auteur — y arrive à tous les coups. Ce nombre n’est pas une défense, et nous ne le présentons pas comme telle.
Ce que chaque note affirme — et pourquoi trois sur quatre ne disent rien
Cette note est graduée sur 100, mais elle ne s’en sert pas : 89 % des 696 textes de notre banc sortent dans la même tranche, « Peu d’automatismes », et une tranche n’est jamais atteinte par quoi que ce soit. Une échelle qui ne range ailleurs qu’un texte sur 9 n’est pas une échelle, et nous préférons l’écrire plutôt que de vous laisser lire un 92 comme une note sur 100.
La colonne de droite compte, pour chaque tranche, combien de textes portant une voix y tombent pour un texte d’IA générique. Proche de 1, la tranche n’apprend rien : nous n’affichons alors plus de libellé du tout, seulement le nombre de marques de machine relevées — un décompte que tu peux rouvrir dans ton texte et refaire à la main.
| Note affichée | Textes avec voix | Textes d’IA | Ce qu’elle apprend |
|---|---|---|---|
| Peu d’automatismes | 369/384 · 96 % | 250/312 · 80 % | Presque rien : 1,20 texte avec voix pour 1 texte d’IA. Nous n’affichons plus de libellé ici. |
| Quelques automatismes | 15/384 · 4 % | 60/312 · 19 % | Elle tranche : un texte y est 4,9 fois plus probablement écrit par une machine. |
| Beaucoup d’automatismes | 0/384 · 0 % | 2/312 · 1 % | Elle tranche : aucun texte portant une voix n’y tombe. ⚠️ Mais seuls 2 textes d’IA y sont passés — trop peu pour en faire une garantie. |
| Automatismes partout | 0/384 · 0 % | 0/312 · 0 % | Rien : aucun texte du banc n’y est jamais tombé. Cette tranche du barème ne sert jamais. |
Mesuré en français. Projeté en anglais.
Kaneme mesure le français, et le dit. Le corpus d’entraînement, la calibration et les auteurs hors-échantillon qui produisent nos chiffres sont tous francophones. Hors de cette langue, le moteur refuse de dire qui a écrit un texte, plutôt que de rendre une probabilité qu’aucune mesure ne soutient — et il le refuse même là où il sait très bien lire.
Une langue n’est pas « supportée » ou non : elle est mesurée, projetée, ou hors périmètre. Les trois ne donnent pas la même réponse.
français
Corpus d’entraînement, calibration, panel d’imposteurs et bancs publics : tout est en français. C’est la langue où le moteur accepte de dire qui a écrit un texte.
anglais
Le moteur la couvre par transfert, sans qu’elle ait jamais été calibrée. Le 1ᵉʳ août 2026, sur des bancs publics d’attribution d’auteur, le moteur servi y obtient 0,709 sur AuthBench-exorde et 0,782 sur blog_authorship — contre 0,901 sur le banc d’écrit social français de la même campagne. Assez pour savoir qu’elle n’est pas hors de portée, pas assez pour trancher : sur un texte dans cette langue, le verdict d’auteur s’abstient exactement comme sur une langue inconnue. Le score de style, lui, y vaut : ses marqueurs d’automatisme sont outillés langue par langue.
Toutes les autres langues sont hors périmètre : le moteur les lit, les nomme, et s’abstient. Une langue n’entre dans cette liste qu’après avoir été mesurée — jamais parce qu’elle a été demandée.
Ce qu’on ne fait pas
Une preuve n’a de valeur que si elle est honnête sur ses limites.
Ce n’est pas un détecteur d’IA universel
On ne devine pas si un texte sort d’une IA dans l’absolu — personne ne sait faire ça honnêtement, et de toute façon ce n’est pas la question. On mesure s’il sonne comme TA voix plutôt que comme celle que l’IA produit par défaut. Il nous faut donc tes textes. C’est une limite, et c’est aussi pour ça que ça marche.
Hors de portée, on s’abstient
Face à un autre humain, le moteur est délibérément avare : il ne dit « c’est toi » que rarement — mais quand il le dit, c’est vrai. On a préféré une confiance basse et honnête à une confiance haute et fausse.
Notre point faible, nommé
Nos deux trous, nommés séparément — parce qu'ils ne sont pas dans le même genre. Côté pouvoir de séparation : sur l’oral transcrit, la note tombe à 0,563, à peine mieux que le hasard. Côté seuil où l'on répond « c'est toi » : sur le marketing, 8 % des textes écrits par quelqu'un d'AUTRE le franchissent quand même. Les deux sortent de cohortes de 4 auteurs : lis ces notes comme des ordres de grandeur, pas comme des décimales. On les publie quand même — c'est le seul moment où un chiffre de qualité veut dire quelque chose.
Face à un tricheur outillé : le test gratuit ne tient pas, le verdict reste à remesurer
Le test gratuit, lui, a été rejoué : sur 102 textes de machine retravaillés exprès pour passer, 92 % atteignent sa bande haute — il ne résiste pas, et c’est écrit plus haut. Le verdict d’auteur, en revanche, dépend de l’espace d’embedding, et son stress-test n’a pas été rejoué depuis la bascule : nous ne pouvons donc pas te donner CE chiffre-là, et nous ne recopierons pas celui de l’ancien espace. Ce qui reste vrai dans les deux cas : c’est un indice, jamais une preuve opposable.
Un texte court peut prouver que c’est toi. Pas le contraire.
Mesuré : un score haut est fiable même sur 70 mots. Un score bas sur un texte court, lui, ne veut rien dire du tout — c’est une absence de preuve, pas une preuve d’absence. On ne te dira donc jamais « ce n’est pas toi » sur trois lignes.
En public, jamais le chiffre exact
Sur les pages ouvertes, on n’affiche qu’une bande (« sonne comme toi », « ambigu »…), jamais le score fin. Comme ça, personne ne peut bricoler un texte pour « gagner » un point. Le chiffre précis, tu le vois dans l’atelier, sur ta propre voix.
Quand on ne peut pas mesurer, on se tait
Trop court, corpus trop mince, couche de mesure indisponible : on affiche « on ne peut pas trancher » plutôt qu’un chiffre approximatif. C’est l’inverse exact des détecteurs qui crachent un pourcentage confiant sur trois mots.
Ces refus ne sont pas des précautions : ils décident ce que le produit sait faire. Le raisonnement complet est écrit dans le manifeste.
Le certificat de voix
La preuve, dehors — sans rien livrer
Quand ta voix est mûre, tu peux émettre un certificat public et partageable : sa maturité, son niveau de calibrage, les brins d’ADN que tu as mobilisés. Le contenu de ta voix, lui, reste privé — on ne montre que la preuve qu’elle existe, distincte et cultivée.
- Un score de maturité daté, vérifiable par n’importe qui via le lien
- Le génome : les brins d’ADN mobilisés, sans dévoiler ce qu’ils contiennent
- Aucune donnée sensible exposée — ta matière première reste à toi
Ce qu’un certificat prouve — et les trois choses qu’il ne prouve pas — est détaillé sur la page du certificat.
Assez parlé de mesure. Fais jouer le verdict d’auteur.
Pars de trois textes dont tu es sûr, puis ajoute celui dont tu doutes. Le verdict compare des voix, pas une intuition sur l’origine d’un texte.