La méthode, à découvert
Comment on mesure ta voix. La preuve, pas la promesse.
Par ShakuPublié le Mis à jour le
La plupart des outils te disent « ça te ressemble ». Nous, on met un chiffre dessus — et voici exactement comment il est calculé, avec nos vrais résultats. Rien à cacher.
Mesure
Fidélité d’un texte et verdict d’auteur : deux opérations, jamais confondues.
Fiabilité
Résultats hors échantillon, recalculés à chaque version du moteur.
Limite
Hors de son domaine, Kaneme s’abstient. Il ne détecte pas l’IA universellement.
Sommaire de la méthode
- 01L’essentielCe qui est mesuré et les deux questions séparées.
- 02FiabilitéLes résultats publiés et ce qu’un score veut dire.
- 03ProtocoleCorpus, contrôle et métriques.
- 04Détails expérimentauxGenres, langues et banc public — à ouvrir au besoin.
- 05Limites et preuveCe que Kaneme refuse d’affirmer, puis le verdict d’auteur.
Lis le résumé, puis va directement à la preuve qui t’intéresse. Les tableaux de détail restent disponibles, sans imposer leur lecture à chaque visiteur.
Deux mesures, une preuve
La fidélité répond à « ça me ressemble ». Le verdict d’auteur répond à « c’est bien moi, pas une copie ».
Le score de fidélité
« Ce texte sonne-t-il comme TA voix ? » On regarde le rythme, le vocabulaire, tes tournures-signature et les mots que tu bannis. Un chiffre sur 100, avant que tu publies.
Le verdict d’auteur
« Est-ce vraiment toi, ou une bonne imitation ? » On compare ta signature de style à celle d’imposteurs — humains sur le même sujet, ou IA qui essaient de t’imiter. C’est là que se joue la preuve.
Nos chiffres, en clair
Mesurés sur des textes réels, avec des auteurs mis de côté avant les réglages. On rejoue tout et on republie à chaque version du moteur — y compris quand ça baisse.
distinguer ta voix de celle de l’IA
0,92
Calibration face aux imitations IA des auteurs du banc, réalisées à partir de leurs textes de référence. Traduction de l’échelle : 1,0 = parfait, 0,5 = pile ou face. C’est notre mesure la plus forte — et la barre est haute, puisque la machine avait déjà de quoi te copier.
te distinguer d’un autre humain
0,82
Nettement plus dur : deux personnes du même milieu qui écrivent sur les mêmes sujets se ressemblent. C’est le chiffre qui dit la vérité sur les cas difficiles, donc celui qu’on publie aussi.
ce que vaut vraiment un score de 80
99 %
Pas une façon de parler : un 80 a été confronté à la réalité, couple par couple. Face à une IA lancée sur ta voix, la bonne réponse tombe 99 fois sur 100. Face à un autre humain, la même note ne vaut que 96 % — et on l’écrit.
Mesuré sur 54 auteurs francophones réels, imposteurs pris dans le même registre d’écriture que la cible. Sur un échantillon de contrôle frais, jamais utilisé pour régler l’outil, la couche sémantique monte à 0,947 ; sur notre corpus le plus difficile — des auteurs de la même communauté qui écrivent sur les mêmes sujets — elle descend à 0,82. On publie les deux : c’est la seconde qui dit la vérité sur les cas durs.
Des données qu’on n’a pas choisies
Testé aussi sur des compétitions publiques, pas que sur notre corpus
Se noter sur son propre corpus, tout le monde le peut. Alors on a passé le moteur, tel quel, sur des compétitions publiques d’attribution d’auteur — PAN (CLEF) et AuthBench — des textes qu’on n’a ni écrits ni choisis.
C’est un plancher, pas notre note : ces bancs sont hors de notre genre (fanfiction, forums), là où l’on ne mesure que la discrimination brute entre auteurs. Le signal qui compte est ailleurs — plus le banc se rapproche de notre terrain, l’écrit court et social, plus le moteur remonte. Et la langue n’y suffit pas : notre plus mauvais banc est français, c’est son registre — de la fiction longue — qui nous éloigne.
On ne choisit pas nos examens — et on publie même les moins flatteurs. Le jour où ta voix vit dans ton genre, c’est la note in-genre (0,82 à 0,95) qui s’applique, pas ce plancher.
Un chiffre qui dit ce qu’il vaut
Afficher un nombre est facile. Le rendre honnête demande de le confronter à la réalité, couple par couple. C’est ce qu’on a fait.
Un score, ce n’est pas une probabilité
N’importe quel outil peut afficher « 93 ». La vraie question, c’est : parmi tous les textes notés 93, combien étaient vraiment de l’auteur ? Si la réponse est 60, le 93 ment. On a fait le calcul.
On a confronté chaque note à la réalité
Sur 2 108 couples de textes réels, on a comparé ce que le score annonçait à ce qui était vrai. L’écart moyen entre les deux est tombé à 0,6 point sur 100. C’est ce qu’on appelle un score calibré.
Deux questions, deux chiffres
« Est-ce toi plutôt qu’un autre humain ? » et « est-ce toi plutôt qu’une machine ? » n’ont pas la même réponse. Un même 80 vaut 96 % pour la première, 99 % pour la seconde. On ne les confond jamais.
Ce que ce barème compte exactement, terme par terme, est écrit sur la page du Voice Match Score.
Le protocole
Trois règles qu’on s’impose pour que le chiffre veuille dire quelque chose.
Un corpus réel, pas des exemples fabriqués
54 auteurs francophones, chacun avec ses vrais textes. On sépare ceux qui servent à régler l’outil de ceux qui servent à le juger — sans jamais mélanger les deux.
Un échantillon de contrôle qu’on ne regarde qu’une fois
Une réserve d’auteurs frais, jamais utilisée pendant les réglages. On la lit une seule fois, à la fin, pour connaître la vraie note hors-échantillon. Pas de triche possible avec soi-même.
Les métriques d’une vraie compétition
On mesure comme les compétitions académiques d’attribution d’auteur : AUC, taux de faux positifs, robustesse aux attaques. À chaque version du moteur, on rejoue tout et on republie les chiffres.
Pour aller plus loinOuvrir les détails expérimentaux : genres, test gratuit et calibration fine
Le test gratuit, sans compte
« Ce texte a-t-il une voix ? »
Deux mesures, parce qu’un texte sans voix peut être deux choses. Contre de l’IA générique, ce barème sépare à 0,673. Contre un texte humain peu marqué, à 0,432 — sous le hasard.
Cette lecture-là est la plus faible que nous servions, et nous préférons l’écrire que la laisser deviner. La question qu’elle pose n’est pas « une machine a-t-elle écrit ce texte ? » — c’est « ce texte a-t-il une voix, quelle qu’elle soit ? ». Contre de l’IA générique elle sépare à 0,673, à peine mieux que le hasard, et 80 % des textes d’IA générique atteignent quand même la bande haute. La raison est visible dans la mesure : 58 % des textes humains du banc sortent à 100 sur 100 — tout est écrasé en haut de l’échelle. Sur l’oral transcrit, elle descend à 0,502 contre l’IA générique, c’est-à-dire exactement le hasard. Ce qu’elle ne fait jamais, en revanche : accuser un humain. Sur les 302 textes humains du banc, aucun n’a été rangé en « robotique ». Mais il faut lire ce « jamais » pour ce qu’il vaut : sur les 696 textes du banc, humains et machines confondus, aucun n’atteint cette tranche. Ce n’est pas que la note épargne les humains, c’est que le bas de son échelle ne sert jamais. Prends-la pour ce qu’elle est — un repérage de tics d’écriture — et pas pour un détecteur d’IA : nous ne répondons pas à cette question-là.
Le même banc se lit de deux façons, et l’écart entre les deux dit ce que ce nombre mesure vraiment. Sur « voix plutôt qu’IA générique ? » — la nôtre — il sépare à 0,673. Sur « une machine l’a-t-elle écrit ? » — celle des détecteurs — il sépare à 0,629, moins bien. Ce qui départage les deux, ce sont 82 textes de machine écrits DANS la voix d’un auteur réel : un détecteur doit les ranger avec l’IA, nous devons les ranger avec les voix. Ils sortent à 100 de médiane, comme les humains, contre 94 pour l’IA sans voix. C’est le bon côté — mais il faut lire la ligne suivante avant de s’en réjouir : 62 % de ces imitations sont au plafond, donc une partie de cet accord n’est que de l’écrasement.
Et sans aucune machine dans la comparaison
Restait une question que ni l’une ni l’autre de ces deux lectures ne pose : elles opposent toutes les deux des humains à des machines, donc un texte humain plat y compte comme une voix. Nous l’avons donc mesurée sans aucune machine, sur les humains seuls — 603 textes que leur propre auteur signe nettement contre 603 textes que rien ne rattache au leur, chacun mis en concurrence avec 223 auteurs. Sur cette question-là, celle que le test affiche, ce barème sépare à 0,432 [0,400 – 0,464]. L’intervalle ne contient pas 0,500, et c’est lui qui tranche : le barème ne se contente pas de rater la voix, il note MIEUX les textes que rien ne rattache à leur auteur. Et ce n’est pas qu’il s’abstient — il départage 67 % de ces paires : il tranche, et il tranche à l’envers. Voilà pourquoi le test gratuit ne rend plus de verdict dans sa tranche la plus peuplée : ce n’est pas de la prudence, c’est le seul comportement que cette mesure autorise.
Cet axe-là est gratuit et travaille à l’aveugle : aucun de tes textes, aucun point de comparaison. C’est la question la plus dure du domaine, et personne ne la résout — nous préférons publier nos 0,432 plutôt que de laisser croire l’inverse. La même question posée AVEC tes textes — est-ce toi, ou un autre humain ? — c’est 0,82. Ce n’est pas un autre moteur : c’est la même question avec de quoi y répondre.
Le détail ci-dessous est l’AUTRE lecture, genre par genre : humains contre IA générique du même registre, de 0,502 à 0,805. Les 82 imitations n’y figurent pas — elles sont écrites d’après un brief, sans registre, et leur en inventer un fausserait chaque ligne.
| Genre | Note Q0 | Mesurée sur | Ce qu’elle laisse passer |
|---|---|---|---|
| oral transcrit | 0,502 | 4 auteurs · 44 textes humains · 52 textes d’IA | 92 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| newsletter | 0,544 | 9 auteurs · 108 textes humains · 52 textes d’IA | 85 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| LinkedIn B2B | 0,746 | 4 auteurs · 48 textes humains · 52 textes d’IA | 73 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| académique | 0,764 | 4 auteurs · 21 textes humains · 52 textes d’IA | 71 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| réseau social | 0,781 | 6 auteurs · 64 textes humains · 52 textes d’IA | 75 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
| marketing | 0,805 | 4 auteurs · 17 textes humains · 52 textes d’IA | 85 % des textes d’IA atteignent la bande haute ; aucun texte humain rangé en « robotique » |
Ce taux est une moyenne sur 6 fournisseurs de modèles, et il ne faut pas le lire comme une propriété de « l’IA » : selon la maison qui a écrit le texte, la part qui atteint la bande haute va de 46 % (google) à 94 % (inconnue). Notre première mesure ne portait que sur un seul modèle, et annonçait 94 % : elle décrivait ce modèle-là, pas la catégorie.
| Modèle | Note Q0 | Passe en bande haute | Cohorte |
|---|---|---|---|
| deepseekdeepseek/deepseek-chat-v3.1 | 0,589 | 44/48 · 92 % | 48 textes · médiane 97 |
| inconnuemodèle non enregistré (génération du 2026-07-24) | 0,600 | 68/72 · 94 % | 72 textes · médiane 96 |
| openaiopenai/gpt-5.4-mini | 0,612 | 42/48 · 88 % | 48 textes · médiane 95 |
| mistralaimistralai/mistral-medium-3-5 | 0,658 | 43/48 · 90 % | 48 textes · médiane 95 |
| meta-llamameta-llama/llama-4-maverick | 0,776 | 31/48 · 65 % | 48 textes · médiane 89 |
| googlegoogle/gemini-3.5-flash | 0,801 | 22/48 · 46 % | 48 textes · médiane 84 |
Et quand on l’attaque exprès, il ne tient pas : sur 102 textes de machine retravaillés pour passer, 92 % atteignent la bande haute. La plus efficace des trois attaques — réécrire le texte dans le style d’un auteur — y arrive à tous les coups. Ce nombre n’est pas une défense, et nous ne le présentons pas comme telle.
Ce que chaque note affirme — et pourquoi trois sur quatre ne disent rien
Cette note est graduée sur 100, mais elle ne s’en sert pas : 89 % des 696 textes de notre banc sortent dans la même tranche, « Peu d’automatismes », et une tranche n’est jamais atteinte par quoi que ce soit. Une échelle qui ne range ailleurs qu’un texte sur 9 n’est pas une échelle, et nous préférons l’écrire plutôt que de vous laisser lire un 92 comme une note sur 100.
La colonne de droite compte, pour chaque tranche, combien de textes portant une voix y tombent pour un texte d’IA générique. Proche de 1, la tranche n’apprend rien : nous n’affichons alors plus de libellé du tout, seulement le nombre de marques de machine relevées — un décompte que tu peux rouvrir dans ton texte et refaire à la main.
| Note affichée | Textes avec voix | Textes d’IA | Ce qu’elle apprend |
|---|---|---|---|
| Peu d’automatismes | 369/384 · 96 % | 250/312 · 80 % | Presque rien : 1,20 texte avec voix pour 1 texte d’IA. Nous n’affichons plus de libellé ici. |
| Quelques automatismes | 15/384 · 4 % | 60/312 · 19 % | Elle tranche : un texte y est 4,9 fois plus probablement écrit par une machine. |
| Beaucoup d’automatismes | 0/384 · 0 % | 2/312 · 1 % | Elle tranche : aucun texte portant une voix n’y tombe. ⚠️ Mais seuls 2 textes d’IA y sont passés — trop peu pour en faire une garantie. |
| Automatismes partout | 0/384 · 0 % | 0/312 · 0 % | Rien : aucun texte du banc n’y est jamais tombé. Cette tranche du barème ne sert jamais. |
Mesuré en français. Projeté en anglais.
Kaneme mesure le français, et le dit. Le corpus d’entraînement, la calibration et les auteurs hors-échantillon qui produisent nos chiffres sont tous francophones. Hors de cette langue, le moteur refuse de dire qui a écrit un texte, plutôt que de rendre une probabilité qu’aucune mesure ne soutient — et il le refuse même là où il sait très bien lire.
Une langue n’est pas « supportée » ou non : elle est mesurée, projetée, ou hors périmètre. Les trois ne donnent pas la même réponse.
français
Corpus d’entraînement, calibration, panel d’imposteurs et bancs publics : tout est en français. C’est la langue où le moteur accepte de dire qui a écrit un texte.
anglais
Le moteur la couvre par transfert, sans qu’elle ait jamais été calibrée. La dernière campagne sur cette langue a été faite dans un autre espace de mesure que celui servi aujourd’hui : nous ne republions pas ses chiffres tant qu’elle n’a pas été rejouée. Assez pour savoir qu’elle n’est pas hors de portée, pas assez pour trancher : sur un texte dans cette langue, le verdict d’auteur s’abstient exactement comme sur une langue inconnue. Le score de style, lui, y vaut : ses marqueurs d’automatisme sont outillés langue par langue.
Toutes les autres langues sont hors périmètre : le moteur les lit, les nomme, et s’abstient. Une langue n’entre dans cette liste qu’après avoir été mesurée — jamais parce qu’elle a été demandée.
Ce qu’on ne fait pas
Une preuve n’a de valeur que si elle est honnête sur ses limites.
Ce n’est pas un détecteur d’IA universel
On ne devine pas si un texte sort d’une IA dans l’absolu — personne ne sait faire ça honnêtement, et de toute façon ce n’est pas la question. On mesure s’il sonne comme TA voix plutôt que comme celle que l’IA produit par défaut. Il nous faut donc tes textes. C’est une limite, et c’est aussi pour ça que ça marche.
Hors de portée, on s’abstient
Hors de ton registre d’écriture, le moteur refuse de trancher plutôt que de bluffer un pourcentage.
Notre point faible, nommé
Hors du registre où l’on t’a déjà lu, ce chiffre n’est pas garanti : il a été mesuré genre par genre, jamais à travers les genres.
Face à un tricheur outillé, notre 96 % vaut 88 %
On a pris des textes machine et on les a retravaillés exprès pour passer : « humanisés », réécrits vers la cible. Le moteur tient la direction, mais son haut d’échelle sur-promet — on annonce 96 %, la réalité est 88 %. On le mesure, donc on le dit. C’est un indice fort, jamais une preuve opposable.
Un texte court peut prouver que c’est toi. Pas le contraire.
Mesuré : un score haut est fiable même sur 70 mots. Un score bas sur un texte court, lui, ne veut rien dire du tout — c’est une absence de preuve, pas une preuve d’absence. On ne te dira donc jamais « ce n’est pas toi » sur trois lignes.
En public, jamais le chiffre exact
Sur les pages ouvertes, on n’affiche qu’une bande (« sonne comme toi », « ambigu »…), jamais le score fin. Comme ça, personne ne peut bricoler un texte pour « gagner » un point. Le chiffre précis, tu le vois dans l’atelier, sur ta propre voix.
Quand on ne peut pas mesurer, on se tait
Trop court, corpus trop mince, couche de mesure indisponible : on affiche « on ne peut pas trancher » plutôt qu’un chiffre approximatif. C’est l’inverse exact des détecteurs qui crachent un pourcentage confiant sur trois mots.
Ces refus ne sont pas des précautions : ils décident ce que le produit sait faire. Le raisonnement complet est écrit dans le manifeste.
Le certificat de voix
La preuve, dehors — sans rien livrer
Quand ta voix est mûre, tu peux émettre un certificat public et partageable : sa maturité, son niveau de calibrage, les brins d’ADN que tu as mobilisés. Le contenu de ta voix, lui, reste privé — on ne montre que la preuve qu’elle existe, distincte et cultivée.
- Un score de maturité daté, vérifiable par n’importe qui via le lien
- Le génome : les brins d’ADN mobilisés, sans dévoiler ce qu’ils contiennent
- Aucune donnée sensible exposée — ta matière première reste à toi
Ce qu’un certificat prouve — et les trois choses qu’il ne prouve pas — est détaillé sur la page du certificat.
Assez parlé de mesure. Fais jouer le verdict d’auteur.
Pars de trois textes dont tu es sûr, puis ajoute celui dont tu doutes. Le verdict compare des voix, pas une intuition sur l’origine d’un texte.