Report hebdo #7 : quoi de neuf cette semaine ?

Full vision

Hello !

Le 3ème numéro du mois d’août est là ! Aujourd’hui je te parle de vision par ordinateur essentiellement. Ce que j’ai à te montrer devrait te plaire !

Avant de commencer à lire le rapport, je te laisse choisir le créneau qui te convient le mieux pour le live du mois d’août :)

🧑🏼‍💻 Lectures et vidéos

Trouver des infos d’inconnus dans la rue

Pour commencer la veille de cette semaine je te propose une vidéo de Defend Intelligence (Anis Ayari), dans laquelle il essaye de récupérer les informations d’inconnus dans la rue, seulement à partir d’une photo d’eux.

La vidéo est très pertinente, aussi bien d’un point de vue technique qu’éthique. Elle peut aider à sensibiliser sur la protection de leurs données personnelles et les risques liées aux réseaux sociaux.

Une IA qui rappe vient de signer en label 😅

Il y a 2 semaines je t’avais parlé du projet d’un des contributeurs de La revue IA (Adib Habbou), il avait entraîné un modèle de deep learning à générer des paroles de rap.

Cette semaine, une IA similaire a signé avec un label, “l’artiste” s’appelle FN Meka, et a même publié un featuring avec un vrai chanteur 🤔

📝 Papiers et open-source

Beaucoup de projets de vision par ordinateur, c’est peut-être pour compenser la domination du NLP ces derniers mois 😅

Le projet open-source CompVis

Les modèles de générations d’images ont la côte en ce moment, et ça n’est pas prêt de s’arrêter.

Alors qu’OpenAI fait payer 15cts par image générée, d’autres ont choisi d’open-sourcer leurs modèles. Comme celui proposé par Stability AI et Runway.

La qualité des images générées est aussi impressionnante que celle de DALL-E 2, l’architecture est la même que le modèle Imagen de Google, mais il faut un GPU assez puissant pour le faire fonctionner.

Video inpainting

L’image (ou video) inpainting, est une technique de vision par ordinateur qui permet d’ajouter ou de retirer artificiellement des objets dans des images ou vidéos. La technique est beaucoup utilisé au cinéma ou en architecture.

Je suis tombé sur un papier, associé à un code en Python, qui traite de ce sujet. Les auteurs proposent une approche basé sur les transformers. Les quelques résultats que j’ai vu sont très impressionnants !

🧑🏼‍💻 Github : https://github.com/hitachinsk/fgt
📝 Papier : https://arxiv.org/pdf/2208.06768v1.pdf

🛠 Les outils de la semaine