Control preciso de imágenes con Drag Your GAN

DRAG YOUR GAN
ARRASTRAR TU GAN
Por: Enmer Leandro R.
SJM Computación 4.0 1

DRAG YOUR GAN (arrastra tu GAN)

INTRODUCCIÓN
Actualmente la inteligencia artificial tiene una variedad de usos, crea imágenes a partir de texto, crea
imágenes a partir de bocetos, crea presentaciones (slides) a partir de texto, etc.
En el mundo real, una característica crítica de estos métodos de generación de imágenes es la
capacidad de controlar el contenido visual generado.
Por ejemplo, los usuarios de redes sociales pueden querer ajustar la posición, forma, expresión y
postura de una persona o animal en una foto casual.
Los profesionales de la industria cinematográfica pueden necesitar crear rápidamente bocetos de
escenas con diseños específicos. Los diseñadores de automóviles pueden querer modificar
interactivamente la forma de sus creaciones.
Para satisfacer estos requisitos de los usuarios, un enfoque ideal de generación de imágenes
controlable debe tener flexibilidad, precisión y generalidad.
DRAG YOUR GAN Es una herramienta revolucionaria en el campo de la inteligencia artificial (IA) que
está cambiando la forma en que interactuamos con imágenes y videos. Utilizando redes generativas
adversarias (GAN), permite a los usuarios crear contenido visual realista simplemente arrastrando y
soltando objetos en una interfaz intuitiva. En este artículo, exploraremos en detalle qué es
exactamente Drag your Gan, cómo funciona y cómo influirá en el futuro de la IA.

DEFINICIÓN
Drag Your GAN es una herramienta de inteligencia artificial
que permite editar una imagen arrastrando puntos en la
imagen; se seleccionan dos puntos, inicial y final, lo que da
como resultado una nueva imagen.
DRAG YOUR GAN

El "drag" (arrastrar, en inglés) del nombre. "GAN" significa "Generative Adversarial Network",
DragGAN permite a los usuarios "arrastrar" el contenido de cualquier imagen generada por GAN. Los
usuarios solo necesitan hacer clic en algunos puntos de control (rojos) y puntos objetivo (azules) en la
imagen, y el enfoque moverá los puntos de control para alcanzar precisamente sus puntos objetivo
correspondientes.
Los usuarios pueden opcionalmente dibujar una máscara en la región flexible (área más brillante),
manteniendo el resto de la imagen fija.
Esta manipulación flexible basada en puntos permite controlar varios atributos espaciales como
postura, forma, expresión y disposición en diversas categorías de objetos.
Bueno, resulta que eso no es magia, y este tipo de herramientas pueden ser útiles para mucho más
que solo diversión.
En esta parte vamos a explorar un paper publicado recientemente por un grupo de investigadores
del Max Planck Institute for Informatics y del Centro de Investigación de Saarbrücken para
Computación Visual, Interacción e Inteligencia Artificial en Alemania, junto con colaboradores
del MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) y Google Artificial
Intelligence .
En él se habla sobre los modelos generativos profundos, específicamente las Redes Generativas
Adversariales (GAN), y cómo han logrado un gran éxito en la generación de imágenes fotorrealistas.
DRAG YOUR GAN (I)

La mayoría de los enfoques anteriores logran cierto grado de control en las GAN utilizando modelos
3D previos o aprendizaje supervisado con datos anotados manualmente. Sin embargo, estos
enfoques no logran generalizar a nuevas categorías de objetos, tienen limitaciones en los atributos
espaciales que se pueden controlar o proporcionan poco control sobre el proceso de edición. En este
paper, los investigadores exploran la manipulación interactiva basada en puntos, que es una técnica
poderosa pero menos explorada.
En esta figura, se muestra el proceso que propone el paper para editar una imagen generada por
GAN. El usuario solo necesita establecer algunos puntos de control (puntos rojos) y puntos objetivo
(puntos azules) en la imagen. También pueden usar una máscara para indicar la región que se puede
mover durante la edición. Luego, nuestro enfoque realiza dos pasos principales de forma repetida.
En el primer paso, llamado supervisión del movimiento, los puntos de control (puntos rojos) se
mueven gradualmente hacia los puntos objetivo (puntos azules). Esto asegura que los objetos en la
Imagen se desplacen de la manera deseada.
En el segundo paso, llamado seguimiento de puntos, actualizamos los puntos de control para que
sigan al objeto en la imagen. Esto garantiza que los puntos de control se ajusten correctamente al
objeto y no se salgan de lugar durante la edición.
Estos dos pasos se repiten hasta que los puntos de control lleguen a sus puntos objetivo
correspondientes, logrando así la edición deseada en la imagen generada por GAN.
DRAG YOUR GAN (II)

En pocas palabras, este enfoque permite a los usuarios seleccionar puntos de referencia y puntos
objetivo en una imagen y luego mover los puntos de referencia hacia sus respectivos puntos objetivo.
Esto permite un control flexible de varios atributos espaciales y se puede aplicar a diferentes
categorías de objetos. A diferencia de enfoques anteriores, este método permite la manipulación
precisa de múltiples puntos y garantiza que los puntos de referencia alcancen sus puntos objetivo
después de la edición.
DRAG YOUR GAN (III)

VENTAJAS DE DRAG YOUR GAN
Drag Your GAN tiene varias ventajas sobre las técnicas tradicionales de edición de imágenes.
Primero, permite a los usuarios deformar imágenes con un control preciso sobre dónde van los
píxeles.
En segundo lugar, se puede utilizar para manipular imágenes de diversas formas, como cambiar la
pose, la forma, la expresión y el diseño de los objetos.
En tercer lugar, se puede utilizar para alucinar contenido ocluido y deformar formas que sigan de
forma constante la rigidez del objeto.
Se ha demostrado que es eficaz en una variedad de tareas, incluida la edición de imágenes, el
seguimiento de puntos y la síntesis de imágenes.
Es una nueva técnica prometedora que tiene el potencial de revolucionar la forma en que
interactuamos con las imágenes.

FUNCIONA DRAG YOUR GAN? (I)
¿Cómo funciona?
eDrag Your Gan es un editor de imágenes futurista . Lejos de reemplazar Photoshop, permitirá a los
usuarios transformar sus fotos fácilmente a voluntad. Todo lo que tienes que hacer es seleccionar
dos puntos, las zonas inicial y final, y dejar que el modelo haga lo suyo . Como modelo
preentrenado, DYG solo puede modificar las llamadas imágenes realistas, como fotos de humanos,
paisajes o animales.
Pero también puede crear texturas como dientes u ojos desde cero.
Drag Your Gan se basa en el concepto de redes generativas antagonistas (GAN).
Una GAN consta de dos componentes principales: el generador y el discriminador.
El generador crea muestras de datos (en este caso, imágenes o videos) a partir de ruido aleatorio,
mientras que el discriminador evalúa si las muestras generadas son reales o falsas.
El usuario interactúa con la herramienta arrastrando y soltando objetos en una interfaz gráfica.
Estos objetos actúan como pistas visuales para que el generador comprenda qué tipo de contenido
debe crear.
A medida que el usuario arrastra y suelta objetos, el generador ajusta su proceso de generación para
producir resultados que se adapten a las indicaciones proporcionadas.
En lugar de estudiar cómo generar mejor nuevas imágenes o permitir que el usuario manipule
imágenes con texto, optaron por otro camino donde el objetivo es arrastrar un punto de A a B.

CÓMO FUNCIONA DRAG YOUR GAN? (II)
Por lo tanto, el objetivo es mucho más preciso. Los píxeles y el objeto que comienza en el punto A
deben estar en el punto B después de que se haya realizado el arrastre del mouse.
No solo que el objeto será arrastrado hacia el punto B, sino que lo hará de una manera realista
donde el objetivo del modelo GAN es adaptar la imagen completa para que esta parte que se
arrastra allí tenga sentido en la imagen resultante.
Este arrastre manipula toda la imagen, incluida la pose, la forma, la expresión y los objetos presentes
en ella. Puede editar fácilmente las expresiones de los perros, hacer que se sienten o hacer lo mismo
con los humanos o incluso editar paisajes de manera realista.

CÓMO USAR DRAG YOUR GAN?
Paso 1:
Descarga el software Drag Your GAN.
Paso 2:
Abra el software y seleccione una imagen para editar .
Paso 3:
Haga clic en los puntos de la imagen que desea mover.
Paso 4:
arrastre los puntos a la nueva posición en la que desea que estén.
Paso 5:
Haga clic en el botón "Aplicar" para ver los cambios.

CARACTERÍSTICAS DE DRAG YOUR GAN
Tiene varias características que lo convierten en una poderosa herramienta para la edición de
imágenes:
 Control preciso: Drag Your GAN permite a los usuarios deformar imágenes con un control preciso
sobre dónde van los píxeles. Esto contrasta con las técnicas tradicionales de edición de imágenes,
que a menudo requieren que los usuarios realicen cambios grandes e imprecisos en las imágenes.
 Flexibilidad: se puede utilizar para manipular imágenes de diversas formas, incluido el cambio de
pose, forma, expresión y disposición de los objetos. Esto lo convierte en una herramienta versátil
para una amplia gama de tareas de edición de imágenes.
 Eficiencia: es eficiente, por lo general requiere solo unos segundos para manipular
una imagen . Esto lo convierte en una herramienta práctica para las tareas diarias de edición de
imágenes.
 Precisión: produce resultados realistas, incluso en escenarios desafiantes como contenido ocluido
alucinante y formas deformantes que siguen constantemente la rigidez del objeto. Esto lo
convierte en una herramienta confiable para tareas de edición de imágenes que requieren alta
precisión.

BENEFICIOS DE USAR DRAG YOUR GAN
Beneficios de usar Drag your Gan:
Facilidad de uso:
Una de las principales ventajas es su interfaz intuitiva y fácil de usar. No se requieren habilidades
técnicas o conocimientos profundos en IA para utilizar la herramienta. Cualquier persona, incluso sin
experiencia previa en diseño, puede crear imágenes y videos atractivos con solo unos pocos clics.
Drag your Gan
Resultados realistas:
Gracias al poder de las GAN, puede generar contenido visual que es sorprendentemente realista. La
herramienta es capaz de aprender de un conjunto de datos de entrenamiento y generar imágenes y
videos que se asemejan a los ejemplos proporcionados. Esto abre un mundo de posibilidades
creativas y elimina la necesidad de contratar a profesionales para tareas de diseño.
Amplio rango de aplicaciones:
Se puede utilizar en una variedad de contextos y tiene aplicaciones prácticas en diferentes
industrias. Desde la creación de contenido para redes sociales y marketing hasta la producción de
material audiovisual para películas y animaciones, la herramienta ofrece flexibilidad y versatilidad en
términos de aplicaciones.

MÉTODO ABREVIADO DE DYG
También puede usar los siguientes métodos abreviados de teclado para controlar el software Drag
Your GAN:
•Left click: Seleccione un punto
•Right click: Eliminar un punto
•Shift + left click: Añadir un punto
•Ctrl + left click: Mover un punto
•Spacebar: Aplicar los cambios
•Escape: Cancelar los cambios

LO QUE PUEDE HACER DRAG YOUR GAN
Estos son algunos ejemplos de lo que puede hacer con Drag Your GAN:
 Puede cambiar la pose de un objeto arrastrando puntos en el cuerpo del objeto.
 Puede cambiar la forma de un objeto arrastrando puntos en el contorno del objeto.
 Puede cambiar la expresión del rostro de una persona arrastrando puntos en su rostro.
 Puede cambiar el diseño de una escena arrastrando puntos en los objetos de la escena.
 Puede alucinar contenido ocluido arrastrando puntos sobre el fondo de la imagen.
 Puede deformar formas que sigan de forma constante la rigidez del objeto arrastrando puntos en
la superficie del objeto.

CONSEJOS ADICIONALES
Estos son algunos consejos adicionales para usar Drag Your GAN:
 Usa una imagen de alta calidad : cuanto mejor sea la calidad de la imagen, mejores serán los
resultados.
 Usa una imagen grande: Cuanto más grande sea la imagen, más libertad tendrás para mover los
puntos.
 Use un toque ligero: cuando esté arrastrando los puntos, tenga cuidado de no arrastrarlos
demasiado.
 Experimento: no hay una forma correcta o incorrecta de usar Drag Your GAN. Experimenta con
diferentes imágenes y diferentes puntos para ver qué puedes crear.

PROPIEDADES DE DRAG YOUR GAN
En las aplicaciones del mundo real, un requisito de funcionalidad fundamental de tales métodos de
síntesis de imágenes basados en el aprendizaje es la capacidad de control sobre el contenido visual
sintetizado.
Por ejemplo, los usuarios de las redes sociales pueden querer ajustar la posición, la forma, la
expresión y la pose del cuerpo de un ser humano o un animal en una foto tomada de forma casual; la
visualización previa de películas profesional y la edición de medios pueden requerir la creación
eficiente de bocetos de escenas con ciertos diseños; y los diseñadores de automóviles pueden
querer modificar de forma interactiva la forma de sus creaciones.
Para satisfacer estos diversos requisitos de los usuarios, un
El enfoque ideal de síntesis de imágenes controlables debe poseer las siguientes propiedades
1) Flexibilidad : debe ser capaz de controlar diferentes atributos espaciales, incluida la posición, la
pose, la forma, la expresión y el diseño de los objetos o animales generados;
2) Precisión : debe poder controlar los atributos espaciales con alta precisión;
3) Generalidad : debe ser aplicable a diferentes categorías de objetos pero no limitarse a una
determinada categoría.

ARQUITECTURA GAN (I)
ARQUITECTURA GAN
Con la invención de las GAN, el campo de los modelos generativos tomó una dirección concreta hacia
la generación de imágenes realistas. Desde entonces, ha comenzado a mostrar resultados
prometedores en el campo de la visión artificial. Más recientemente, ha mostrado cambios
significativos no solo en imágenes, sino también en audio y video.
Antes de sumergirnos en ejemplos de cómo se han utilizado las GAN, aquí hay una introducción a la
arquitectura de las GAN populares.
CicloGAN
CycleGAN se usa a menudo para aprender conversiones entre imágenes de diferentes estilos. Por
ejemplo, convertir una imagen artística en una realista, o un caballo en una cebra.
EstiloGAN
StyleGAN puede memorizar características del rostro humano y generar nuevas imágenes de rostros
humanos que no existen en el mundo real. Tiene 26,2 millones de parámetros. Son muchos datos de
entrenamiento para sacar lo mejor de este modelo..
Texto2imagen
En esta arquitectura, la imagen se genera convirtiendo una descripción en texto en una incrustación,
que luego se asocia con un vector de ruido y se alimenta al generador. Puede generar imágenes para
su negocio en base a una descripción de texto .

ARQUITECTURA GAN (II)
Además de
PixelRNN: Modelo generativo autorregresivo. Puede modelar la distribución de probabilidad discreta
de una imagen y predecir píxeles en una imagen en dos dimensiones espaciales.
DiscoGAN: Cuando tenemos imágenes que tienen dos dominios diferentes pero no están
emparejados, el aprendizaje automático no ha podido captar bien estas relaciones.
Sin embargo, DiscoGAN ha mostrado resultados prometedores en el aprendizaje de dos relaciones
de dominio diferentes.
IsGAN: genere imágenes de alta calidad mediante el uso de una función de pérdida de mínimos
cuadrados para el modelo discriminante

IMPLICACIONES ÉTICAS Y DESAFIOS (I)
Implicaciones éticas y desafíos:
Aunque ofrece muchas ventajas y oportunidades, también plantea implicaciones éticas y desafíos
importantes. Algunos de ellos son:
Uso inapropiado:
La facilidad de uso que ofrece puede llevar al mal uso de la tecnología.
Por ejemplo, podría utilizarse para generar contenido falso o engañoso, lo que podría tener
consecuencias negativas en términos de desinformación y manipulación.
Derechos de autor:
La generación automatizada de contenido visual plantea preguntas sobre los derechos de autor y la
propiedad intelectual.
Es importante establecer marcos legales claros para proteger los derechos de los creadores
originales y evitar el plagio o la apropiación indebida de contenido.
Sesgo y discriminación:
Las GAN pueden aprender sesgos implícitos presentes en los conjuntos de datos de entrenamiento.
Esto puede resultar en la generación de contenido que refuerza estereotipos o discriminación.
Es fundamental abordar estos sesgos y garantizar que las herramientas de IA sean justas e
imparciales.

IMPLICACIONES ÉTICAS Y DESAFIOS (II)
Responsabilidad y transparencia:
A medida que la IA se vuelve más autónoma y genera contenido de forma automática, es esencial
establecer mecanismos de responsabilidad y transparencia. Los usuarios y desarrolladores de Drag
your Gan deben ser conscientes de las implicaciones de sus acciones y garantizar la veracidad y ética
en la generación de contenido.
Sin embargo, también podría utilizarse para crear nuevas formas de manipulación y engaño. Esto
podría llevar a una sociedad más dividida y desconfiada. Es importante utilizarlo de manera
responsable y ser consciente de los riesgos potenciales.

PRINCIPIOS Y ESTRUCTURA DE GAN (I)
Principios y estructura de GAN
Las GAN se componen de un generador, que aprende distribuciones de probabilidad y produce datos
que parecen reales, y un discriminador, que distingue los datos.
El Generador produce constantemente ejemplos falsos, y
El Discriminador aprende a distinguir entre datos reales y datos falsos.
Entrenar al Generador para engañar al Discriminador de esta manera se llama proceso
contradictorio.
Al competir y aprender unos de otros, el modelo generativo produce datos cada vez más realistas, y
su oponente se vuelve mejor para distinguir entre datos reales y falsos.
Eventualmente, el objetivo es que Generator se convierta en un modelo generativo que produzca
algo que se asemeje a datos reales.
En algún momento, el Generador podrá crear los datos falsos más perfectos, y el Discriminador
finalmente no podrá distinguir entre verdadero y falso.
Este es el mecanismo que finalmente termina el aprendizaje cuando la probabilidad converge al 50%.
Cuando se entrena un modelo GAN, el Discriminador se entrena primero y el Generador se entrena
después.
Esto no significa que el Discriminador esté siendo tocado constantemente, sino que el peso del
Generador se actualiza con el error del Discriminador.

PRINCIPIOS Y ESTRUCTURA DE GAN (II)
Por lo tanto, el Generador con el peso actualizado puede generar una fecha falsa que el
Discriminador puede pensar que es real.
Conceptos del algoritmo GAN

EL FUTURO DE DRAG YOUR GAN (I)
Está en constante evolución y su futuro promete ser emocionante. A medida que se abordan los
desafíos éticos y se mejoran los algoritmos, es probable que veamos avances significativos en la
generación automatizada de contenido visual. Es posible que se integre con otras tecnologías
emergentes, como la realidad aumentada o la inteligencia aumentada, para crear experiencias aún
más inmersivas y personalizadas.
Influencia en la creación de arte:
Al facilitar la creación de imágenes y videos realistas, podría permitir que cualquier persona cree sus
propias obras de arte. Esto podría dar lugar a una nueva era de creatividad, donde todos tengan la
oportunidad de expresarse a través del arte.
Influencia en el futuro de la educación:
También podría utilizarse para revolucionar la educación, al hacer posible la creación de
simulaciones realistas de eventos del mundo real, podría permitir que los estudiantes aprendan de
una manera más inmersiva y atractiva. Esto podría conducir a un sistema educativo más efectivo y
eficiente.
Influencia en el futuro del trabajo:
Podría tener un impacto significativo en la fuerza laboral. Al hacer posible la creación de imágenes y
videos realistas, podría automatizar muchas tareas que actualmente realizan los humanos. Esto
podría provocar la pérdida de empleos en algunas industrias, pero también podría crear nuevos
empleos en otras industrias. SJM Computación 4.0 25

Simulaciones realistas:
Con la capacidad de generar imágenes y videos realistas, puede ser una herramienta invaluable en la
creación de simulaciones y entornos virtuales. Esto es especialmente relevante en áreas como la
realidad virtual, la realidad aumentada y la formación virtual, donde se requiere un alto grado de
realismo.
Nuevas e innovadoras aplicaciones:
A medida que Drag your Gan evolucione y se optimice, es probable que surjan nuevas y
emocionantes aplicaciones. Desde la generación de contenido personalizado en tiempo real hasta la
creación de experiencias interactivas de próxima generación, esta herramienta tiene el potencial de
transformar la forma en que interactuamos con la IA y el contenido visual.
Aquí hay algunas reflexiones adicionales sobre cómo podría ser utilizado en el futuro:
 Formas de entretenimiento, como películas y videojuegos interactivos.
 Nuevos materiales de marketing, como demostraciones de productos y publicaciones en redes
sociales.
 Revolucionarios materiales educativos, como libros de texto interactivos y simulaciones.
 Innovadoras herramientas médicas, como simuladores de cirugía virtual y herramientas de
educación para pacientes.
EL FUTURO DE DRAG YOUR GAN (II)

CONCLUSIONES
Drag your Gan representa un avance significativo en la generación de contenido visual mediante
inteligencia artificial. Su facilidad de uso y los resultados realistas que ofrece abren un mundo de
posibilidades creativas.
Sin embargo, también conlleva desafíos éticos y responsabilidades que deben ser abordados de
manera cuidadosa. Si se utiliza de manera responsable y ética.
Es una herramienta revolucionaria que democratiza la generación de contenido visual realista.
Su enfoque intuitivo y accesible permite a cualquier persona crear imágenes y videos atractivos sin
necesidad de conocimientos técnicos avanzados.
Con su capacidad para generar resultados realistas y su amplio rango de aplicaciones está abriendo
nuevas posibilidades en el campo de la IA y promete influir en la forma en que interactuamos con la
tecnología en el futuro
Es capaz de deformar imágenes con un control preciso sobre dónde van los píxeles.
Se puede utilizar para manipular imágenes de diversas formas, incluido el cambio de pose, forma,
expresión y disposición de los objetos.
Es eficiente, por lo general requiere solo unos segundos para manipular una imagen.
Produce resultados realistas, incluso para escenarios desafiantes como alucinaciones de contenido
ocluido y formas deformantes que siguen constantemente la rigidez del objeto.

WEBGRAFÍA
Estas presentaciones son una compilación de las páginas web siguientes:
https://hackernoon.com/es/introduciendo-arrastra-tu-gan-arrastra-objetos-para-crear-nuevas-imagenes
https://es.linkedin.com/pulse/drag-your-gan-manipulaci%C3%B3n-interactiva-basada-en-puntos-erick-
chang
https://vcai-mpi--inf-mpg-de.translate.goog/projects/DragGAN/?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es-
419&_x_tr_pto=sc
https://worktipia.com/drag-your-gan-llega-la-revolucion-en-edicion-visual/
https://datascientest.com/en/edit-your-photos-at-will-with-drag-your-gan
https://www-louisbouchard-ai.translate.goog/draggan/?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es-
419&_x_tr_pto=sc
https://www.elpais.com.uy/vida-actual/draggan-la-nueva-inteligencia-artificial-de-edicion-de-imagenes-
como-funciona
https://onlineprosess-com.translate.goog/drag-your-gan/?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es-
419&_x_tr_pto=sc
https://www-arxiv--vanity-
com.translate.goog/papers/2305.10973/?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es-419&_x_tr_pto=sc
https://www-thedatahunt-com.translate.goog/en-insight/gan-algorithm-
guide?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es-419&_x_tr_pto=sc
https://foundr-ai.translate.goog/product/dragan?_x_tr_sl=en&_x_tr_tl=es&_x_tr_hl=es-
419&_x_tr_pto=sc SJM Computación 4.0 28

Control preciso de imágenes con Drag Your GAN

Recomendados

Recomendados

Más contenido relacionado

Similar a Control preciso de imágenes con Drag Your GAN

Similar a Control preciso de imágenes con Drag Your GAN (20)

Más de Enmer Genaro Leandro Ricra

Más de Enmer Genaro Leandro Ricra (20)

Último

Último (20)

Control preciso de imágenes con Drag Your GAN