Actus

ML Super Resolution : l’agrandissement IA par Pixelmator Pro

Il y a 4 ans Par Florent Taillandier

A l’occasion de sa dernière mise à jour, le logiciel pour Mac Pixelmator Pro a ajouté une fonctionnalité très intéressante qui permet d’agrandir les images tout en gardant une excellente définition. L’IA est au cœur de cette performance.

Depuis quelques années, plusieurs acteurs ont proposé des solutions pour agrandir des images, parfois considérablement, sans les effets indésirables générés par la perte de définition. Qu’il s’agisse d’une photo très recadrée, ou du besoin de réaliser des agrandissements pour les tirages, pouvoir augmenter la résolution d’une image (presque) sans perdre en qualité est très appréciable.

Mais depuis quelques temps, c’est l’intelligence artificielle qui a fait progresser à pas de géant ces technologies. L’IA est en effet capable de combler les informations manquantes entre les pixels pour extrapoler ce que serait l’image si elle avait contenu plus d’informations.

On connaissait déjà des acteurs comme Topaz Labs avec Gigapixel AI 4, ou encore des solutions en ligne comme Let’s Enhance, imglarger, bigjpg, deep-image.ai, ou encore imageupscaler. Pixelmator Pro se distingue des autres acteurs en proposant cet outil comme un des outils de la suite complète disponible pour 43,99 €.

Comment ça marche ?

L’outil, nommé ML Super Résolution vient remplacer les solutions pour agrandir les images déjà présentes dans Pixelmator. Les 3 algorithmes disponibles auparavant étaient les algorithmes Bilinear, Lanczos, et Nearest Neighbor.

Le nouvel algorithme développé par Pixelmator et nommé ML Super Résolution est bien plus performant, comme vous allez le voir plus loin. Il permet des agrandissements X3 sans perte de qualité visible, et surtout d’éviter les effets habituels de pixellisation, flou et artefacts.

Les résultats

Le mieux est encore de montrer les résultats obtenus avec Pixelmator Pro et le nouvel algorithme. Voici donc quelques exemples.

A gauche, l’algorithme Lanczos / A droite, LM Super Resolution

A gauche, l’algorithme Nearest Neighbor / A droite ML Super Resolution

Le rôle de l’intelligence artificielle

Comme l’explique très bien l’article du blog Pixelmator, l’intelligence artificielle a pour fonction, au niveau fondamental, de faire des prédictions. Pixelmator Pro a pris le virage de l’IA dans sa version 1.2 Quicksilver, avec la fonctionnalité ML Enhance. Cette nouvelle mise à jour va plus loin dans ce domaine.

Pour développer cet algorithme, les équipes de Pixelmator ont donc montré à l’IA des images réduites puis agrandies, ainsi que l’original. L’IA a ensuite été entraînée à noter les différences, puis à recréer pixel par pixel les éléments manquants. A partir d’un entraînement sur une grande quantité d’images, l’IA a commencé à être capable de deviner à quoi ressemblait l’image originale, et à combler seule les pixels manquants.

Et le résultat est ce nouvel algorithme, capable de différencier bords, formes et textures, et recréant les détails manquants à partir de sa base de données et de son entraînement intensif.

Ce nouvel algorithme gère aussi le bruit d’une manière plus efficace qu’auparavant, ce qui amène aussi une mise à jour de l’outil ML Denoise, présenté comme 2 à 4 fois plus efficace qu’auparavant.

Les limites

Bien sûr, il n’est pas à ce stade possible de reconstituer une image exactement similaire à celle qui aurait été générée par une prise de vue en haute définition. Mais le résultat est néanmoins excellent. Surtout si on considère le prix pour accéder à cet outil, mais aussi aux autres outils Pixelmator Pro.

La véritable limite se situe plus dans la puissance de calcul nécessaire pour réaliser cette opération. Cet algorithme est très gourmand en ressources et nécessite de 8 000 à 64 000 fois plus de puissance que les autres algorithmes. C’est une des raisons d’ailleurs pour laquelle beaucoup des solutions actuelles basées sur l’IA sont disponibles en ligne, et ne reposent pas sur la puissance de votre ordinateur.

Un ordinateur peu puissant mettra donc beaucoup de temps pour traiter une image de cette manière. Il ne faudra par contre que quelques secondes à un ordinateur très puissant pour réaliser l’opération. Ce sera d’autant plus vrai qu’il est équipé d’un eGPU. Dit autrement, ce nouvel algorithme ne sera vraiment exploitable que si votre ordinateur est vraiment optimisé pour faire tourner des logiciels extrêmement gourmands en ressources.

Les équipes de Pixelmator ont réalisé un test sur 300 000 images, et obtenu les résultats moyens sur différents ordinateurs Mac.