Le vrai problème de la France et de l'Europe
Au programme : IA, IA générative et quelques reflexions personnelles
J’ai rarement eu un mois de juin aussi fatiguant.
On voulait lancer un nouveau produit avec une équipe fondée il y a quelques semaines, et c’est fait, je t’en parle à la fin :)
D’abord, je voulais te donner quelques infos pertinentes sur ce qui se passe en IA, pour que tu puisses rester au courant même sous les cocotiers 🌴
L’Europe n’est pas en retard en IA à cause de la régulation, c’est pire que ça
Il y a quelques semaines, je pensais que l’Europe était en retard sur l’IA à cause des régulations.
Au final, j’ai identifié 2 causes plus graves encore.
Dans le monde de l'IA : hardware is all you need.
Contrairement à ce que l'on pourrait croire, les limites au développement de l'IA ne viendront pas du côté software.
Les algos sont en place, ils fonctionnent, ils scalent bien.
Et les données sont disponibles, en assez grande quantité.
Par contre, pour passer dans une autre dimension, on devra concevoir des puces, concevoir des GPU plus smart et faire pleins d'autres choses qu'on ne sait/veut pas faire.
Et je parle uniquement de l'entraînement de modèles, pas de la partie robotique.
La récente valorisation boursière de Nvidia est une preuve que le marché du hardware IA va exploser (1 trillion 💰).
🇨🇳 D'un point de vue géopolitique, l'Asie domine le game avec Taïwan notamment
🇺🇸 Les États-Unis ont l'argent, mais n'ont pas tous les talents nécessaires
🇪🇺 L'Europe est hors sujet
Alors pourquoi le monde est si nul en hardware ?
Parce que le hardware est hard 😅
Ça demande des compétences, de la rigueur et en plus c'est historiquement moins bien payé que data scientist en banque d'affaires.
Résultat : il y a un trou de 1 millions de talents à combler à l'échelle mondiale. Même à Taïwan ils recrutent.
🚀 Conclusion, si t'es étudiant ou que tu veux te reconvertir dans l'IA et la data, fais du hardware. Surtout si t’es en Europe.
Il y a un gros manque de sensibilisation de la population
Pour une fois, l’adoption d’une technologie aussi important va se faire avec une logique bottom-up plutôt que top-down.
Habituellement, ceux sont les entreprises et les gouvernements qui décident d’intégrer des technologies.
L’IA, et l’IA générative en particulier, est un tsunami qu’il est impossible de combattre, même Google n’y arrivera pas.
Il faut apprendre à le surfer 🏄🏽
Et sur ce sujet, les européens sont à la traîne. On est plutôt des followers que des early-adopters, et cette fois c’est dangereux.
Pour des technologies comme les smartphones, l’adoption s’est faites lentement chacun à trouver son rythme, et on était sur une échelle de l’ordre de l’année.
Avec l’IA on est sur une échelle mensuelle voire hebdomadaire. Et les gens qui ne s’y mettent pas maintenant risquent d’être vite dépassés.
Le RLHF comme nouveau standard ?
Le RLHF va être la mode de cette décennie, au même titre que les Transformers.
Pour rappel (pour ceux qui ne lisent pas mes posts 👀) :
Le RLHF est une méthode d'apprentissage par renforcement dans laquelle c'est un opérateur humain qui donne un feedback à l'agent.
Elle est utilisée dans les contextes où la définition d'une fonction à optimiser est difficile. Exemples :
💬 En langage naturel, il est difficile d'évaluer la qualité d'une phrase.
⚽️ Au foot, si on veut un modèle pour détecter une faute il faut définir cette notion, or c'est subjectif et un agent aura besoin de feedback humains.
🖼 Pour le text2image aussi, on peut forcer le modèle à aller dans une certaine direction en lui donnant du feedback.
Par contre, ce type d'approches soulève d'autres problèmes.
J'entends pas mal de gens prétendre que le RLHF peut aider à mitiger les biais des modèles.
Peut-être, mais seulement si les opérateurs humains qui donnent les feedbacks sont assez diversifiés et fiables, le principe du garbage-in/grabage-out s'applique toujours.
Sur l'aspect pratique, pour l'implémentation de cette approche, il y a de plus en plus de librairies qui se créent et la technique va se démocratiser.
Par ailleurs, un autre mode d'apprentissage va apparaître, c'est le FTHF (je pense avoir inventer le mot, mais le concept existe déjà).
Le Fine-Tuning by Human Feedback.
Par exemple si on veut un ChatGPT plus en adéquation avec la culture Norvégienne, on ré-entrainera le modèle en demandant des feedbacks de personnes toutes Norvégiennes.
Ma reflexion du jour
Les entrepreneurs écoutez !
Tous les entrepreneurs ne sont pas Bernard Arnault, et toutes les entreprises ne sont pas LVMH.
A l'heure où les modèles d'IA génératives deviennent de plus en plus performants, on parle beaucoup de la disparition des emplois.
Mais le phénomène qui est plus grave encore c'est le remplacement d'entreprises complètes.
Les entrepreneurs devront être plus résilients que jamais, ça sera peut-être même le premier critère que les investisseurs prendront en compte.
Paradoxalement, les métiers de l'artisanat, sont les plus résilients et le resteront. C'est ce qui explique les résultats exceptionnelles d'entreprises comme LVMH ou Kering.
La bonne nouvelle c'est qu'on peut être artisan de divers façons. Soit artisan sur le produit comme LVMH, soit artisan sur la relation client et l'expérience utilisateurs.
Et c'est en grande partie le 2ème point qui va différencier les entreprises résiliantes des autres.
Pour aller plus loin
Si tu veux en savoir plus sur ces différents sujets, tu peux :
me suivre sur Linkedin
lire La revue IA
prendre ton Passeport IA, c’est la formation qu’on a lancé avec une dream team (un Youtubeur, un investisseur et un ex-Google + ex-Microsoft !), inspirée de l’univers Marvel, on t’explique tout ce que tu dois savoir sur l’intelligence artificielle générative, en théorie et en pratique !