Quand t’étais p’tit-e, ça t’arrivait de défaire tes jouets pour aller voir comment ça marche ? Et de ne jamais être capable de les reconstruire ?

Les modèles d’apprentissage automatique comme GPT-3, leur plus gros problème, c’est qu’on ne peut pas vraiment aller voir ce qu’il se passe dedans pendant qu’on les utilise. Et même si on pouvait, ça prendrait des connaissances que très peu d’entre nous ont (à part peut-être les prochains robots). La version geek du neurochirurgien n’est pas à nos portes en tout cas.

Heureusement, ça adonne que ton ami geek pas neurochirurgien (ça, c’est moi 🤓) bien, il sait comment les bâtir, ces algorithmes-là ! Fait que, je me suis dit que tu serais probablement bien excité.e de voir ça, la construction d’un algorithme qui génère du texte.

Je te propose d’en construire ensemble vendredi prochain. Il ne sera pas aussi sophistiqué que celui d’OpenAI avec ses 170 milliards de paramètres. On va rester modeste, avec 5 millions de paramètres !

Ce qu’on va voir naître, c’est un bébé qui commence à peine à parler. Les mots qu’on n’est pas trop sûr, les hésitations, les débuts de phrases sans début ni fin. C’est clair qu’en une heure, on n’écrira pas une conférence TED Talk ! Mais, comme tu sais, petit train va loin, ou comme on dit en science des données, petit entrainement va loin ! 🤣

Parlant d’entraînement, ça ressemble un peu à Wordle. Je ne sais pas si tu as déjà joué à ça. C’est comme le jeu Mastermind, mais tu dois trouver un mot à la place des couleurs. C’est de l’essai et erreur, et quand tu as trouvé une lettre, ça te dit si elle est à la bonne place ou non.

L’entraînement des modèles de langue, ça marche pas mal comme ça. C’est ce qui s’appelle l’apprentissage par renforcement.

Vendredi prochain, le 20 janvier, on va créer un algorithme qui génère du vrai texte, qui ressemble à des mots et des phrases. Je vais t’expliquer un peu de théorie sur les réseaux de neurones, on va faire une démo ensemble et on va surtout rire pas mal en cours de route.

Et à la fin, tu vas savoir quelques-uns des secrets de la nouvelle génération d’outils à nos portes (pour le mieux ou pour le pire !).

Tu n’as pas besoin de savoir programmer pour venir. Mais, je te cacherai pas, mon objectif, c’est de te donner le goût d’apprendre à programmer. Parce que c’est une compétence selon moi essentielle pour ne pas juste subir les modes et vivre en itinérance digitale, d’un SaaS à un autre !

Et c’est un travail créatif, selon moi, bien plus que ça en a l’air. Si tu me suis, c’est probablement parce que tu me trouves un peu flyé pour un gars qui écrit du code, non ?

Voir le vidéo du webinaire

​