🏳️‍🌈♿️👩‍🎨🌱 En février, je remets 3% de mes ventes à des organismes qui favorisent la diversité, les arts et l'environnement 🏳️‍🌈♿️👩‍🎨🌱

Magic Scroll Icon

Le grimoire informatique

Magic Scroll Icon

Le mensonge derrière l'IA qui décuple la productivité

Il y a très peu de bonne recherche académique sur les outils d'IA génératif. La raison est simple: le domaine est trop jeune pour avoir intégré des outils qui décuple la productivité.

Un doctorat prend en moyenne 3 ans à compléter. C'est un durée normale pour un projet de recherche bien fait. Règle générale, la recherche, c'est identifier un problème de recherche, poser une hypothèse, designer un plan d'expérience, mener l'expérience, se casser la gueule plein de fois, recommencer, et éventuellement, tu peux confirmer ou non ton résultat, établir une théorie (explication) et essayer de la reproduire dans d'autres contextes.

Par contre, la "recherche" faite en intelligence artificielle semble toujours marcher du premier coup ! Pourquoi ? Parce qu'ils font tout à l'envers. Les chercheurs inventent un résultat, puis construisent l'histoire qui mènent à ce résultat, jusqu'à enfin identifier un problème à résoudre.

C'est ce qu'on appelle le technosolutionnisme. C'est d'un point de vue logique et sémantique, l'antonyme de la science. Cette méthode est celle adoptée par la Big Tech et par ses disciples, les tech bros.

Les tech bros ont eux mêmes leurs disciples, les influenceurs techno. Et quoi de mieux que pour décrire ces personnages qu'un meme provenant de LinkedIn !

Les influenceurs sont généralement des gens avec aucune compétence ou études dans le domaine qu'ils ont adoptés. Leur expertise est souvent située au sommet de la montagne de l'ignorance, aussi appelé l'effet Dunning-Kruger (source).

L'article qui a tout éclairci (ou pas)

Un des articles qui a le plus fait parler (Dell'Acqua et al. 2023)(PDF) au sujet des gains de productivités de l'intelligence artificielle générative est en fait un article qui confirme plutôt le contraire, quand on prend effectivement le temps de le lire. Or, la lecture, c'est plate et long, donc on extrait les statistiques qui choquent le plus de l'article, on les mets hors contexte, et on appelle ça de la vulgarisation scientifique.

Décuple la productivité

Ce qui donne cette affirmation qu'on a vu beaucoup trop souvent dans la dernière année:

L'intelligence artificielle décuple la productivité.

J'oubliais le petit emoji de tête qui explose 🤯. Donc voilà !

L'intelligence artificielle décuple la productivité 🤯.

Premièrement, décupler signifie multiplier par 10, sauf au sens figuré. En science, on n'utilise pas le sens figuré, encore moins lorsqu'on parle de productivité, ou tout autre mesure économétrique, où les nombres sont très importants.

Le sens figuré et les figures de style hyperboliques sont typiques des influenceurs. Quand on est ignorant, on est plus facilement impressionné ! C'est le principe même de la magie. Une fois qu'on connait les trucs, c'est plutôt ennuyant. L'IA c'est pareil, c'est pas de la magie, c'est juste des maths.

Working paper

Revenons à notre article. Qui en passant n'est pas un article, mais un "working paper", qui décrit une expérience et non pas une théorie ! C'est un bout de chemin dans la démarche scientifique, mais pas un tour de roue au complet. Une chance, parce que c'est plutôt ridicule, on dirait un projet étudiant de secondaire 2 avec un trop gros budget.

Prenons aussi le temps de regarder qui rédige l'article. Des profs de ... marketing ! Pas des spécialistes de l'IA, pas des statisticiens, mais bien des gens de marketing. Pourquoi ? Les gens de marketing aiment beaucoup les choses qui sonnent bien au profit de la rigueur, parce que c'est comme ça que le cerveau humain fonctionne.

Ils carburent aux biais cognitifs et c'est une grande partie de leur enseignements. Étudier le marketing c'est fondamental pour ne pas se faire avoir dans la vie, ou pour aider les autres à se faire avoir. À chacun ses valeurs, comme on dit. Les gens de marketing sont souvent très créatifs, mais je ne leur ferais pas faire un audit de loi 25, encore moins une étude statistique sur l'intelligence artificielle, ceci dit !

The Big Con

Qui d'autre signe cet article ? Trois consultants de la célèbre firme Boston Consulting Group. Une des Big3, ces usines à rhétorique (en anglais: bullshit) notoires qui influencent les grandes entreprises et les gouvernements à mettre de côté leur éthique pour maximiser les profits de leurs entreprises (oui, tu as bien lu gouvernement et maximiser les profits dans la même phrase. Il faut être un peu naïf pour croire que les grandes machines étatiques ne sont elles-même pas devenues des entreprises qui luttent pour leur croissance et leur survie).

La population étudiée est le groupe très diversifié de diplômés de la Ivy League qui travaillent chez Boston Consulting Group ! Un échantillon parfait pour représenter la diversité des travailleuses et travailleurs de par le monde.

On apprend donc que dans le contexte bien précis du travail contextualisé "AI friendly" d'écrire de la bullshit (a set of 18 realistic consulting tasks within the frontier of AI capabilities) pour influencer les grandes entreprises, ChatGPT "décuple" la productivité de 12,2%, et non 1000% (they completed 12.2% more tasks on average, and completed task 25.1% more quickly). Les deux pourcentages réunis ne font aucun sens, mais on va leur pardonner, ils sont profs de marketing, pas de statistiques !

Qualité !

Considérant que ChatGPT écrit 600 jetons par minute (450 mots), on a ici une mesure directe de la qualité du copier-coller qu'on peut obtenir en payant 10000$ de l'heure chez Boston Consulting Group.

On apprend aussi que la qualité de la rhétorique générée a augmenté de 40%, selon ces mêmes consultants (comme les bonnes pratiques de peer-review l'obligent). Pour une échelle de qualité du caca, il faut demander à Andréanne Martin, parce que l'article n'en propose pas, malheureusement. En fait oui, mais sérieusement, on dirait que ça aussi été généré par ChatGPT (comme une bonne partie de l'article, d'ailleurs).

Dès que la tâche sort de ce contexte, appelé la Jagged Technological Frontier, un terme inventé par ces consultants qui veut dire sweet fuckall (Jagged est un mot qui signifie "incertain, approximatif", et Technological Frontier, ça sonne Star Trek, c'est parfait !), les centaures et les cyborgs (je n'invente rien ici, c'est les titres donnés aux consultants de l'expérience) sont beaucoup moins coproptimisateurs (ça c'est moi qui l'invente).

On apprend que leur productivité pour les autres tâches demandées (qui ressemblent à du vrai travail, versus générer des niaiseries) diminue de 19% en utilisant ChatGPT (For a task selected to be outside the frontier, however, consultants using AI were 19 percentage points less likely to produce correct solutions compared to those without AI.)

Notons ici qu'ils savaient où se trouvait la frontière de la bullshit avant même de concevoir l'expérience. On leur doit ça, au moins, leur modèle d'affaires est bien défini.

On peut donc calculer la proportion minimale de temps investie à créer des niaiseries par les consultants de BCG pour que ChatGPT soit rentable. Il suffit de résoudre l'équation suivante:

1.12p-0.81(1-p)=1

C'est samedi, ça fait que Wolfram Alpha est mon ami (maths de 6e année primaire 🤣):

Magnifique ! Pour que ChatGPT soit rentable chez BCG, les consultants doivent passer près de 94% de leur temps (soit environ 66 heures) à écrire des niaiseries.

Revenons à nos influenceurs

Il va de soi que cet article pourtant très populaire n'a pas été considéré comme du travail sérieux dans le monde académique (sauf en Marketing, mais j'hésite encore à dire si c'est un vrai domaine académique après avoir lu ça)

Par contre, l'explosion d'experts en intelligence artificielle née entre Noel 2022 et le jour de l'an 2023 (un intervalle de 6 jours, beaucoup plus court que la durée d'une recherche doctorale, rappelons-le) est bien réelle. Et c'est là que je réalise d'où vient le 100 x dans le meme ci-haut 🤯 ! 100 x plus rapide qu'un PhD de devenir influenceur en intelligence artificielle. ChatGPT décuple la productivité pas juste une fois, mais deux fois ! Sans oublier leur temps de mise en marché incroyable de 18 jours.

Devenir GrinchGPT c'est plus long, mais moi, contrairement à 99% d'entre eux, j'ai deux diplômes universitaire où j'ai appris à créer des systèmes dits d'intelligence artificielle et je sais comment créer des réseaux de neurones et des modèles de langage from scratch. Je n'ai juste pas les 10 milliards de dollars en crédits Azure de Papa Satya pour leur faire prendre vie, ni l'envie d'escalader la montagne de l'ignorance pour y planter mon drapeau. J'ai encore beaucoup trop de choses à découvrir à mon rythme.

Aucune IA n'a été nécessaire pour la rédaction de cet article.

Abonne-toi au flux RSS pour ne rien manquer.

Étiquettes