Mes reflexions sur l'avenir de l'IA
Et un rdv pour cette semaine
L’IA (et l’IA générative en particulier), est une révolution. C’est ce que j’essaye d’expliquer avec La revue IA, depuis 2019.
Sauf qu’il fallait que les outils d’IA performants deviennent démocratiques pour vraiment changer de dimension.
Maintenant que c’est fait, ça va très vite et il y a 3 choses à comprendre :
La temporalité est impressionnante
L’aspect politique est plus important qu’on ne le pense
La frugalité sera un enjeux primordial
Temporalité et IA générative
Ce qui m'impressionne dans l'IA ce n'est pas la technologie en elle même c'est la temporalité.
On connaît l'IA depuis longtemps et on était conscient de ses capacités.
Par contre personne ne pensait que ça viendrait aussi vite.
Il y a 4 ans, j'écrivais un article sur l'IA generative, les auto-encodeurs et les fameux GANs.
C'était déjà impressionnant ce qu'ils permettaient de faire, et j'étais pas mal impressionné par la colorisation de vidéos.
Mais je disais qu'il faudrait une dizaine d'années avant que la techno ne soit assez mâture et que l'on ne trouve toutes ses possibilités.
4 ans plus tard, on y est déjà.
La morale de ça : non la révolution IA n'a rien à voir avec la révolution smartphone.
Pour le smartphone on avait une temporalité de l'ordre de l'année. Pour l'IA c'est de l'ordre de la semaine.
C’est pour ça qu’il faut s’informer et rester à l’affût des dernières infos.
L’aspect politique
Je ne suis pas apolitique mais j’ai du mal avec la plupart des politiciens modernes.
Je suis conscient de la difficulté de leur mission, mais je ne pense pas que leurs échecs soient uniquement dûs à des facteurs externes.
D’ailleurs, sur les sujets techniques, nos politiciens Européens sont bien souvent à la ramasse, laissant la voie libre aux Américains et Chinois.
Régulations et capitaux limités ne sont qu’un avant goût de toutes les difficultés éprouvés lors de la mise en place d’un projet technique.
Les enjeux liés à l’écosystème sont importants, mais l’aspect culturel l’est tout autant, notamment à cause du RLHF, un processus d’entraînement utilisé pour les LLM.
De même, j’avais mentionné les enjeux hardware, qui expliquent l’importance de Taïwan sur le plan politique.
Aujourd’hui le pays le plus fort en terme d’IA est celui qui peut avoir accès au plus d’électricité et le plus grand nombre de GPU.
C’est une bonne transition pour le dernier point que je voulais aborder : la frugalité.
Les enjeux de frugalité
J’en parlais dans ma dernière newsletter mais je le répète, ce sujet m’obsède et j’ai l’impression qu’il n’est pas très bien assimilé.
Jusqu’à aujourd’hui, la course à de meilleurs performances en IA, se matérialisait par une course à plus de données et à des capacités de calculs de plus en plus élevées.
Et c’est encore le cas aujourd’hui.
La différence entre GPT-3 et GPT-4 n’est pas d’ordre algorithmique elle est essentiellement liée à la quantité de données utilisées pour l’entraînement et au nombre de paramètres entrainables.
Plus on a de données d’entraînement et plus le nombre de paramètres est élevé, plus on a besoin de capacité de calcul et d’énergie.
Cette approche n’est pas viable sur le long terme et beaucoup de chercheurs travaillent sur des techniques d’intelligence artificielle plus frugales, qui nécessite moins de données et moins de capacité de calcul.
D’ailleurs parmi eux il y a Yann LeCun, qui essaye de promouvoir le SSL (Self-Supervised Learning).
RDV demain à Paris
La revue IA a renouvelé son partenariat avec Big data & AI Paris, c’est l’évènement de la rentrée à ne pas manquer !
J’y serais les 2 jours, et je monte sur scène mardi après-midi, ça sera pour parler de LLM et documentation interne d’entreprise, si tu passes par là bas fais moi signe :)
La 12ème édition du congrès Big Data & AI Paris ouvrira ses portes les 25 & 26 septembre 2023 au Palais des Congrès de Paris autour d’une promesse ambitieuse : offrir aux décideurs et acteurs de l’écosystème 2 jours immersifs dans l’univers du Big Data et de l’intelligence artificielle en France.
Avec plus de 350 conférences et ateliers, 250 entreprises exposantes et 16 000 participants, Big Data & AI Paris offrira une occasion unique de découvrir en avant-première les dernières tendances du marché et d’échanger avec l'ensemble des professionnels de la data et de l'intelligence artificielle en France. Il s’agit du plus grand événement dédié à l’intelligence artificielle et aux data en Europe.