• Les ouvrages de Luc Julia
• Un florilège d’affirmations contre l’IA
• Quelle base pour un avis si tranché ?
• L’argument massue des “36% d’erreurs” commis par l’IA
• Un graphique qui pose question
• Conclusion : vers la “Co-intelligence”
• A propos

Difficile d’échapper au sujet de l’IA pendant les conversations entre amis, et pendant les déjeuners entre collègues. Et bien souvent, le nom de Luc Julia est cité à un moment ou un autre. “Il a participé à Siri, l’assistant vocal”, ça rappelle toujours quelque chose à quelqu’un. Je ne sais pas pour vous, mais pour moi l’invocation de Luc Julia est toujours en soutien d’un argument du type (attention la liste est longue) :

• mais l’IA se trompe souvent
• mais l’IA ne raisonne pas
• mais l’IA hallucine
• mais l’IA c’est rien de nouveau en fait
• mais l’IA ne comprend pas ce qu’elle écrit
• mais l’IA ne produit que du contenu pas original
• mais l’IA ne fait que répéter ce qu’elle a appris

J’avoue que chacun de ces énoncés me fait tiquer. Ma pratique de l’IA, et ce que je lis par ailleurs, m’amènent en effet à un point de vue radicalement différent.

Comme beaucoup je suppose, j’utilise l’IA pour retravailler des textes, faire des recherches, me donner des avis et recommandations, me faire des tutos, synthétiser des documents, … je l’utilise également en permanence quand je programme, ce qui me fait gagner en temps et en compétences. Je fais aussi une veille sur l’IA pour la création et je vois les bonds de géant qui sont faits en génération d’images, de vidéo, de modèles 3D, de sons et musiques. Mais également le développement d’agents IA et de protocoles pour les coordonner, et d’outils pour organiser ces nouvelles façons de travailler.

Tout n’est pas rose et l’IA pose des problèmes gigantesques, j’en vois au moins quatre : le coût énergétique et environnemental, le pillage de la propriété intellectuelle, la paresse intellectuelle que l’IA encourage souvent, et enfin la possibilité difficile à cerner mais ouvertement discutée d’un non alignement de l’IA vis à vis de l’espèce humaine (aka le scénario Terminator).

Je considère donc que l’IA depuis ChatGPT (l’IA générative accessible au grand public) est une révolution technologique qui aura un impact comparable en magnitude à celle du digital. Le point de vue très critique de Luc Julia sur les capacités de l’IA, tel que rapporté en conversations, m’interpelle donc. Peut-être repose-t-il sur des informations solides, ou sur une analyse fine que je n’avais pas encore rencontrée - et qui viendrait justement bousculer mes certitudes ?

Pour en avoir le coeur net, je suis allé acheter et lire les 3 livres de Luc Julia.

Les ouvrages de Luc Julia

• “L’Intelligence artificielle n’existe pas”, First Editions (2019)

  Accroche de couverture : “Le cocréateur de Siri déconstruit le mythe de l’IA !”

• “On va droit dans le mur ?”, First Editions / le cherche midi (2022)

  Sous-titre : “Pour sauver la planète, il faut un projet de société et une ambition de civilisation”

• “IA génératives pas créatives”, le cherche midi (2025)

  Sous-titre : l’intelligence artificielle n’existe (toujours) pas - par le cocréateur de Siri.

Je laisse de côté le deuxième ouvrage dont le sujet central est celui de l’action destructrice des sociétés humaines sur l’environnement. L’IA y est évoquée très brièvement : extrêmement consommateur d’énergie, GPT-3 d’OpenAI est pris en exemple d’“outrance” et de “ridicule” (p.208-209).

Le premier ouvrage, paru en 2019 donc 3 ans avant l’irruption de ChatGPT, est une autobiographie de l’auteur et un plaidoyer contre les effets d’hyperboles sur l’IA. À commencer par le terme “IA”, que Luc Julia critique comme incorrect, et qu’il redéfinit à sa manière. Le “I” devrait vouloir dire “information” (comme dans le “I” de CIA : Central Intelligence Agency). Et le “A” devrait vouloir dire “augmentée” plutôt que “artificielle”, car l’IA est un amplificateur de l’humain, pas son concurrent synthétique.

Et pour cette raison, l’IA… n’existerait pas.

En 2019, ce type de discours critique et sceptique peut être intéressant. Les capacités de l’IA étaient impressionnantes (Google Translate, pour prendre un exemple) mais tellement loin d’approcher les capacités de l’intelligence humaine qu’un rappel de ses limites pouvait aider le grand public à y voir plus clair.

Mais qu’en est-il en 2025 avec son nouvel ouvrage, publié plus de 2 ans après la sortie de ChatGPT et de son adoption ultra rapide ? Et bien… l’IA n’existe toujours pas pour Luc Julia.

Un florilège d’affirmations contre l’IA

J’ai lu le livre, puis je l’ai relu systématiquement pour relever les affirmations critiques vis-à-vis de l’IA. Florilège :

• “ces IA [de génération d’images] ne créent rien” (p. 44)
• “ces IA racontent n’importe quoi et c’est normal. […] c’est une sorte de moyenne de ce qu’elle trouve sur Internet” (p.52)
• L’IA manque de pertinence (p.53)
• “Avoir faux une fois sur 3, c’est grave ?” (pp.53)
• “incapacité à raisonner” (p. 54)
• “l’IA est tombée dans le panneau” (p. 62)
• “quand le grand public prendra conscience de l’impact énergétique des IA, il s’abstiendra d’en utiliser” (p. 85)
• “l’AGI [intelligence artificielle genérale] n’est pas pour demain (ni pour après-demain, d’ailleurs)” (p. 87)
• “L’IA ne pourra jamais innover” (p. 99).
• “L’IA créative est un oxymore” (p. 100)
• “réaliser des tâches complexes ≠ être intelligent” (p. 104)
• “l’IA ne raisonne pas, ne réfléchit pas” (p. 105)
• “l’IA n’est pas devenue plus intelligente, c’est même l’inverse” (p. 110)
• “Comme l’algorithme attend un certain type de réponse mais qu’il ne le trouve pas dans sa base de données, alors il fait du remplissage avec n’importe quoi” (p. 111)
• “il n’y a pas d’inexplicabilité quand on parle d’IA” (p. 122)
• “il n’arrivera jamais qu’une IA décide de se rebeller et d’attaquer l’homme de son plein gré” (p. 133)
• “il est plus sûr d’aller vérifier une information sur Google qu’au travers d’une IA générative” (p. 141)
• “Seuls 5% des emplois seront réellement menacés [par l’IA]. C’est assez peu quand on y pense.” (p. 149)
• “il est de plus en plus évident que les LLM (grands modèles de langue) ne sont pas viables à long terme” (p. 180)
• “si on regarde sous le capot, on constate qu’elles [les IA] ne se sont pas améliorées du tout.” (p. 182)
• “Ce qui doit arriver arrivera : le rêve de l’AGI […] sera une nouvelle fois abandonné et les IA génériques disparaîtront progressivement” (p. 241)
• “Ces IA ne sont qu’une évolution mathématique parmi d’autres” (p. 250)

Je vois comme un pattern, pas vous ?

L’IA, depuis l’irruption de ChatGPT dans nos vies, modifie profondément nos vies personnelles et professionnelles. Des nouveautés significatives apparaissent chaque mois. Le potentiel de ces technologies est immense et se révèle déjà dans une myriade d’expérimentations, d’études, de lancements de produits et services, d’initiatives créatrices.

Mais à la lecture de ce livre, le lecteur est laissé sans nuances : l’IA n’est pas si puissante que ça, ni très fiable, son potentiel est incertain voire nul, elle a eu de gros ratés, et c’est sans doute finalement une vaste esbrouffe.

L’auteur a quelques rares mots pour les changements positifs que l’IA peut apporter (p. 49 sur l’IA qui stimule la créativité des designers, p. 249 sur l’IA qui stimule la créativité humaine), mais ce sont des mentions rapides et sans approfondissement. Et le manque de nuances tourne enfin à la confusion : l’intelligence artificielle n’existe pas d’après le sous-titre de l’ouvrage, mais on apprend dans l’avant-propos que c’est l’AGI [intelligence artificielle générale] qui n’existerait pas. D’accord, mais alors … l’IA générative existe, on est d’accord ? On n’en est plus sûr quand on lit la litanie de critiques qui font ce livre de 250 pages. Quelle confusion !

Quelle base pour un avis si tranché ?

Sur quels usages et expériences personnelles et professionnelles de l’IA générative Luc Julia se base-t-il pour poser ce constat si critique ? Quatre exemples tirés de son expérience sont partagés dans ce livre de 250 pages :

1. “Prenons un exemple pour démontrer que ces IA ne créent rien. […] Dans le prompt, je saisis ‘Dessine-moi des vaches vertes sur la tour Eiffel’. […] “ (p.44)
2. “Il y a un petit jeu que j’adore faire avec ces IA, c’est leur faire raconter n’importe quoi sur des sujets que je maîtrise. […] je m’amuse souvent à générer ma biographie sur ChatGPT, Gemini ou autre.” (p. 52).
3. “Je me suis amusé à demander ce qu’est l’éthique à ChatGPT et voici sa réponse […]” (p. 156)
4. “Par exemple l’autre jour je me suis amusé à créer un deepfake de mon directeur actuel, Luca de Meo (PDG de Renault) […] (p. 224)

C’est tout. Le secret professionnel interdit peut-être à l’auteur de partager des expériences plus poussées, mais ces 4 exemples suggèrent un usage qui ne semble guère dépasser le stade de l’anecdote.

Mais alors si ce n’est pas par le témoignage d’expériences personnelles ou professionnelles avec l’IA générative, sur quelles sources documentaires s’appuie l’ouvrage ?

Il s’agit de toucher le grand public, donc on aurait pu s’attendre à un mélange d’études scientifiques mesurant les performances de l’IA générative, et évaluant rigoureusement ses premiers impacts sur la société : le tout distillé et expliqué de façon didactique. Au lieu de ça, l’ouvrage s’appuie sur 26 références qui sont pour la plupart des articles de presse en ligne. Le drone qui se serait retourné contre son pilote, une déclaration de Sam Altman, Coca-Cola qui annonce une nouvelle recette conçue par l’IA…

On peut certes trouver ces articles et brèves très intéressants, mais ils ne remplissent pas la même fonction que des études publiées dans des revues scientifiques que l’on appelle “à comité de lecture”, c’est-à-dire des recherches approfondies qui s’engagent à suivre une démarche méthodologique rigoureuse, vérifiée par des chercheurs avant publication.

L’argument massue des “36% d’erreurs” commis par l’IA

Il y a néanmoins un article scientifique mentionné (p. 53) qui est important, car il établit que l’IA se tromperait 36% du temps. Luc Julia commente ironiquement : “Si un collègue de travail dit 36% de bêtises, en temps normal, on ne le garde pas dans l’entreprise” (pp. 53-54).

Plusieurs problèmes avec cet article et son interprétation :

• Il est difficile à trouver : l’article n’est pas référencé dans le livre, le titre et les auteurs ne sont pas cités, et l’affiliation à l’Université de Hong Kong (seul indice fourni, avec la date de publication) s’avère incorrecte. Après recherches (merci Gemini), il s’agit de cette publication.
• le taux d’erreur de 36% n’est mentionné dans aucun des résultats de l’étude. Il est probable que ce chiffre soit une moyenne reconstituée à partir des résultats de ChatGPT à plusieurs tests (cette moyenne est 35,7%), ce qui est une approche discutable : ces jeux de données tests ne mesurent pas les mêmes aptitudes, et pourquoi ne pas avoir pondéré la moyenne par la taille des échantillons de chaque test, par exemple ?
• l’article cité ne teste pas ChatGPT sur “une liste de millions de faits avérés”, comme l’affirme Luc Julia : le test est conduit sur 8 datasets de taille variable (entre 78 et 1200 entrées chacun), totalisant 2,207 exemples. C’est un échantillon de taille faible voire très faible, d’après les standards de recherche. Les auteurs de l’étude devaient manquer de temps ou de moyen pour faire des tests sur des échantillons plus grands, car début 2023 l’accès à l’API de ChatGPT était long et très coûteux.
• les exemples contenus dans les tests ne sont pas des faits avérés. Ce sont par exemple des paires de phrases utilisées pour des tests logiques ou de cohérence. Par exemple, on peut trouver dans un test la paire de phrase du type : A: “Qui a peint la Mona Lisa ?” B: “Léonard de Vinci a vécu en France”. Le test consiste à voir si ChatGPT peut deviner si la phrase B est une réponse directe à la question A (ici, non). Il ne s’agit pas du tout de tester ChatGPT sur sa “véracité”.
• l’article cité a un angle très spécifique (comme souvent en recherche). Il mesure un sous-phénomène très particulier : qu’est-ce que ce qui se passe quand on modifie intentionnellement des textes en y introduisant des fautes d’orthographe et autres imperfections syntaxiques : l’IA va-t-elle encore répondre correctement, est-elle “robuste” ? Par exemple : si on ajoute des fautes de frappe et que la question devient “Qui a peiiint la, Mono Lisa ?”, ChatGPT va-t-il encore deviner que “Léonard de Vinci a vécu en France” n’est pas une réponse directe à la question ? C’est sur ce genre de test très spécifique que ChatGPT se trompe une fois sur trois. C’est intéressant mais on est très très loin du test de “véracité” présenté par Luc Julia…
• enfin, l’article cité teste ChatGPT… dans sa version de début 2023, donc juste après sa sortie : le modèle était alors GPT 3.5, qui est bien moins puissant que ses versions ultérieures. Quand on écrit un livre courant 2024, pourquoi choisir un article qui évalue GPT 3.5 plutôt qu’un article qui évalue ChatGPT (ou Gemini, Claude, Llama, Mistral…) dans leurs versions plus récentes ? GPT 4 est sorti en mars 2023 après tout, et GPT-4o en mai 2024. Ca laisse du temps pour s’y intéresser !

Cet article et l’interprétation erronée qu’en fait Luc Julia sont ensuite résumés dans la formule “l’IA se trompe 1 fois sur 3”, abondamment reprise dans ses nombreuses interventions publiques. Mes enfants me disent l’avoir entendu dans une intro à l’IA au collège, je l’entends en conversation au déjeuner… je ne serais pas surpris que vous l’ayez entendu sous une forme ou une autre.

Edit : un internaute que je remercie m’a indiqué que Luc Julia était intervenu devant le Sénat. Et en effet, il cite ce fameux chiffre de 36% d’erreur devant la Commission des affaires économiques du Sénat le 18 juin 2025 avec la même référence erronée à l’article de l’ “Université de Hong Kong” de 2023 et ses “1 million” de faits avérés. L’extrait vidéo 📽️ ci-dessous :

Il y a quelques semaines, j’ai acheté le magazine Challenges car sa couverture était sur l’IA dans l’éducation, un sujet qui m’intéresse. Et sans surprise une page est consacrée à l’avis de Luc Julia sur la question, avec une reprise des pages de son livre sur le sujet :

“Pour que les enseignants avec lesquels je discute comprennent qu’ils sont les gardiens du temple, je leur dis : ‘Avec vos élèves, demandez à ChatGPT de générer la biographie de Victor Hugo et amusez-vous à corriger ensemble les erreurs qui s’y trouvent.’ Puisque ChatGPT se trompe en moyenne une fois sur trois [je souligne], la réponse de l’IA portera bien deux ou trois erreurs. C’est là que le rôle de l’enseignant prend tout son sens : il est le sachant, celui qui peut démêler le vrai du faux et stimuler la pensée critique des élèves.” (p. 233-34, repris dans le Challenges du 5 Juin 2025).

Les enseignants : des pointeurs d’erreurs factuelles commises par les IA génératives, voilà un horizon que je trouve pour ma part d’une indigence tragique. Il y a des dizaines de modalités enrichissantes d’interaction entre profs, élèves et IA à imaginer et elles sont ignorées par ce constat mal informé sur les limites de l’IA.

Un graphique qui pose question

Le seul graphique du livre présente une stagnation et une diminution du nombre de visites sur le site de ChatGPT.

Problème : le graphique s’arrête en août 2023. C’est ancien pour un livre publié en Mai 2025. Voici le graphique complet :

La première barre rouge à gauche représente la limite du graphique partagé dans le livre. La deuxième barre rouge représente les données à fin 2024, à la veille de la publication du livre.

L’image est bien différente. Après une stagnation estivale en 2023, les visites ont doublé l’année suivante. Pourquoi avoir tronqué le graph à l’été 2023 ?

Conclusion : vers la “Co-intelligence”

Ce qui voulait être un article bref est devenu un texte bien trop long. Il faudrait pourtant le doubler de longueur pour développer la vision alternative que je partage sur l’IA. Heureusement, elle est déjà très clairement exprimée dans un excellent ouvrage de référence que je recommande absolument : ‘Co-intelligence : Vivre et travailler avec l’IA’, la traduction française (2025) du livre d’Ethan Mollick paru en 2024.

lien pour le trouver dans votre librairie indépendante préférée, ou bien sur Amazon.fr

Cet ouvrage est une merveille de nuances, de synthèse d’études, et d’expériences riches, avec un sens critique et une vision hors pair.

L’ironie ? Sa préface est écrite par… Luc Julia ! :-)

A propos

Je suis Clément Levallois, universitaire et développeur indépendant de nocode functions 🔎, une application d’analyse de texte et de réseaux. Cette app est open source.

• Email: analysis@exploreyourdata.com 📧
• Bluesky: @seinecle 📱
• Blog: Plus d’articles 👓.