L'IA générative Open Source: Open-washing ?

Note : Ce contenu faisait auparavant partie du site web ouimaisjellm.ca. Il a été importé ici pour archivage.

J’ai assisté aujourd’hui à un panel sur l’IA générative “Open-Source”. Je dois admettre que certains projets s’approchent de la philosophie en question. Mais comme défendeur du logiciel libre, disons que je suis plus exigeant que de “fournir les poids”. C’est la même maudite affaire que fournir le “binaire” pour un logiciel privatif. Oui, on peut le “hacker” avec un désassembleur, mais on n’a toujours pas le code source. Surtout, ça demande des compétences et des ressources qui sont très rares.

🌘 La reproductibilité

Une notion fondamentale, avant de prétendre parler d’ouverture, c’est au moins d’avoir la reproductibilité. Je fais ici le pont entre la définition de la science, et celle de la science ouverte. Tout objet scientifique est reproductible. Sinon, on appelle ça du bricolage.

Pour un modèle d’apprentissage automatique, la reproductibilité doit comprendre trois éléments:

• Les données d’entraînement
• Le code d’entraînement du modèle
• Les hyperparamètres, incluant l’amorce du générateur de nombres aléatoires

On pourrait aussi ajouter qu’il faut connaître les tolérances dans les mesures et les variances dans les sources de données.

🌘 Les quatre libertés, version IA

Pour qu’un modèle soit “libre”, on devrait, selon moi, respecter les 4 caractéristiques suivantes, qui sont essentiellement celles d’un logiciel libre, adaptées pour un modèle, qui en soi n’est pas un logiciel, mais un artéfact de données.

• On peut faire ce qu’on veut avec le modèle, sans restriction sur l’usage commercial
• On peut étudier les éléments qui ont servi à créer le modèle
• On peut améliorer le modèle en modifiant les éléments qui ont servi à créer le modèle
• On peut partager librement notre nouveau modèle.

🌘 Défaire quelques mensonges

Ça implique ici de déconstruire quelques “mensonges” sur les prétendus modèles “Open Source”

• Pour “compiler” un modèle avec les données, ça prend des ressources informatiques considérables. C’est vrai que durant plusieurs années, ça aussi été le cas avec les logiciels libres. Mais les ressources technologiques requises pour créer des modèles à partir de données sont d’un tout autre ordre de grandeur. On parle, au minimum, de centaines de millions de dollars.
• Le “fine-tuning” est un technique qui modifie le “binaire” du modèle. On est davantage dans la logique du “crack” ou de la “patch” que de l’amélioration du code source permise par les logiciels libres.
• En ce moment, il n’existe aucune technologie permettant d’étudier le fonctionnement d’un modèle contenant des milliards de paramètres.
• Plusieurs modèles ont des limites à l’utilisation commerciales, notamment en utilisant des licences incompatibles avec celles de l’Open Source Initiative ou de la Free Software Foundation. Ce n’est pas parce qu’on peut “visiter” un modèle qu’on a le pouvoir d’agir dessus.

L’apparent consensus sur l’ouverture des poids qui a été présentée dans le panel auquel j’ai assisté me fait douter des intentions pour la suite. Est-ce que c’est juste devenu une forme de bombage de torse de pouvoir faire des modèles “ouverts” ?

🌘 Les sujets ignorés

Un autre enjeu qui entoure les modèles de langage, en particulier, c’est le matériel. En ce moment, tout le matériel informatique, ou presque, qui permet d’exécuter ces modèles, est protégé par des brevets.

L’entreprise NVIDIA fabrique la plupart des processeurs pouvant interpréter des modèles d’IA générative. C’est vrai qu’on a maintenant quelques options additionnelles, avec les processeurs ARM de la série M d’Apple, les processeurs Snapdragon de Qualcomm, les processeurs graphiques Mali de AllWinner et les processeurs Ryzen AI de AMD, mais aucune de ces options n’est vraiment parallélisable en ce moment sans passer par un réseau Ethernet, alors que NVIDIA ont développé le NVLink qui permet d’assembler plusieurs processeurs ensemble.

Ce que je souhaite, c’est garder les principes qu’on a développé dans les 40 dernières années sur le logiciel libre, le matériel ouvert et la culture de la science ouverte dans le domaine de l’intelligence artificielle.

Qu’en penses-tu ? J’aimerais avoir tes questions sur ce sujet !

Pour le prochain Ask-Me-Anything ! Tu as le lien en haut de la page !