Adobe a récemment donné un avant-goût de ses nouveaux outils révolutionnaires basés sur l’intelligence artificielle pour Premiere Pro, accompagnés d’une fonctionnalité potentiellement controversée. Alors que la vidéo représente une nouvelle frontière pour l’IA générative, Adobe a dévoilé des développements majeurs dans ce domaine. Le géant des logiciels créatifs a offert un aperçu de ses nouveaux outils d’édition vidéo alimentés par l’IA, conçus pour accélérer les flux de travail dans son logiciel largement utilisé, Premiere Pro.

Ces nouveaux outils rappelleront ceux qui utilisent également le programme de retouche d’images d’Adobe, Photoshop. En effet, ils importent efficacement certaines des fonctionnalités clés alimentées par Adobe Firefly dans Photoshop, telles que le remplissage génératif, l’expansion générative et la suppression, dans le domaine des images en mouvement.

L’objectif de ces nouveaux outils IA dans Premiere est de permettre aux monteurs vidéo d’étendre rapidement et facilement une prise de vue ou d’ajouter/supprimer des objets dans une scène. Ils seront alimentés par un nouveau modèle vidéo qui s’ajoutera à la suite Adobe Firefly Ai, déjà composée d’effets sur les images, les vecteurs, la conception et le texte. Parmi les nouveaux outils phares prévus pour plus tard cette année, on trouve :

• Extension générative : utilisant l’IA générative pour prolonger les clips en ajoutant des images. Adobe affirme que cette technologie révolutionnaire résout un problème courant rencontré par les monteurs professionnels, en leur permettant de créer du contenu supplémentaire pour peaufiner leurs montages, maintenir une prise pendant un instant supplémentaire ou mieux couvrir une transition.
• Ajout et suppression d’objets : permettant aux utilisateurs de sélectionner et de suivre des objets pour les remplacer. Cette fonctionnalité offrira la possibilité de supprimer des éléments indésirables, de modifier la garde-robe d’un acteur ou d’ajouter rapidement des éléments de décor tels qu’un tableau sur un mur ou des fleurs sur un bureau.
• Texte en vidéo : permettant de générer des séquences entièrement nouvelles directement dans Premiere Pro en saisissant une commande de texte ou en téléchargeant des images de référence. Ces clips pourront être utilisés pour créer des storyboards ou du B-roll pour augmenter les séquences en prises de vue réelles.

Cependant, Adobe a également présenté une approche différente, potentiellement controversée, de ce qu’il a réalisé avec les images fixes. La société explore la possibilité d’intégrer l’IA générative de tiers d’OpenAI, Pika Labs et Runway dans Premiere Pro.

Jusqu’à présent, Adobe s’était démarqué des autres développeurs d’outils d’IA générative en présentant Firefly comme un modèle d’IA plus « éthique » et commercialement sûr, car il était formé sur des actifs de domaine public et des images sous licence provenant d’Adobe Stock plutôt que sur du matériel extrait du web sans consentement.

La semaine dernière, une certaine controverse a éclaté lorsque l’on a confirmé que les données d’entraînement de Firefly contenaient des images sur Adobe Stock qui avaient été générées par le modèle IA Midjourney. Avec la vidéo, Adobe semble désormais adopter une approche similaire à celle de Canva, en permettant à d’autres modèles d’IA d’être utilisés dans son logiciel.

Adobe a déclaré dans son communiqué de presse : « Creative Cloud a toujours eu un écosystème riche de partenaires et de plugins, et cette évolution étend Premiere Pro en tant qu’outil vidéo professionnel le plus flexible et extensible qui s’adapte à tout flux de travail. Les clients Adobe veulent du choix et des possibilités infinies lorsqu’ils créent et éditent la prochaine génération de divertissements et de médias. »

Il convient de noter qu’Adobe qualifie ces initiatives de « premières explorations », et aucune date n’a été fixée pour la disponibilité publique de telles intégrations. Cependant, l’aperçu vidéo montre comment les monteurs vidéo pourraient, à l’avenir, utiliser des modèles de génération vidéo basés sur l’IA comme OpenAI Sora et Runway dans Premiere Pro pour générer du B-roll à intégrer dans leurs projets. Il montre également comment Pika Labs pourrait être utilisé avec l’outil Extension générative pour ajouter quelques secondes à la fin d’une prise.

Adobe a déclaré : « Alors que beaucoup des premières discussions sur l’IA générative se sont concentrées sur une compétition entre les entreprises pour produire le meilleur modèle d’IA, Adobe envisage un avenir beaucoup plus diversifié. »

La société a souligné qu’elle avait développé ses propres modèles d’IA avec un engagement en faveur de l’innovation responsable et qu’elle « prévoit d’appliquer ce qu’elle a appris pour garantir que l’intégration de modèles tiers dans ses applications soit conforme aux normes de sécurité de l’entreprise ». En tant que l’un des fondateurs de l’initiative d’authenticité du contenu, elle s’engage également à attacher des informations de crédit à tout actif produit dans ses applications.

Adobe avait également annoncé la disponibilité générale à venir de flux de travail audio alimentés par l’IA dans Premiere Pro, notamment de nouvelles poignées de fondu, badges de clip, formes d’onde dynamiques, étiquetage de catégorie basé sur l’IA et plus encore, à partir de mai.