Conocidos como grandes modelos de lenguaje (LLM, por sus siglas en inglés), estos sistemas han demostrado una notable capacidad para comprender diversos formatos multimedia y generar respuestas visuales.

El nuevo modelo, denominado MGIE, es el resultado de una investigación que exploró cómo los LLM pueden ser empleados para editar imágenes basadas en instrucciones proporcionadas por los usuarios.

El MGIE ha sido sometido a evaluaciones exhaustivas en colaboración con investigadores de la Universidad de California en Santa Bárbara.

Estas evaluaciones han abordado diferentes aspectos, como la aplicación de modificaciones al estilo de Photoshop, la optimización global de la imagen y la edición local. Los resultados de este trabajo se detallan en un artículo publicado en Arxiv.

Un ejemplo de la capacidad del modelo es su capacidad para eliminar elementos no deseados de una imagen, como un árbol de navidad en segundo plano, o transformar por completo una escena, como cambiar un paisaje diurno por uno nocturno con relámpagos reflejados en el agua de un lago.

Incluso puede realizar cambios más sutiles, como modificar el aspecto de objetos, como donuts con diferentes glaseados.

Apple destaca la importancia de las instrucciones expresivas en la edición de imágenes basada en instrucciones, ya que permiten al modelo realizar ediciones coherentes y significativas.

Esta innovación no solo tiene aplicaciones prácticas inmediatas, sino que también abre nuevas vías de investigación en el campo de la visión por computadora y el procesamiento de lenguaje natural.