Generación automática de memes de Internet a través de una red neuronal profunda

T E S I S

Que para obtener el grado de

Licenciado en en Ciencias de la Computación

presenta
Albert Manuel Orozco Camacho, @AlOrozco53,

Tarea

Motivación

Memética

¿Trabajo previo? 🤔

[Vinyals, et al. 2016]

Aprendizaje Automático

Objetivo de la mayoría del software:

ENTRADA: $\vec{x}$
$\downarrow$
ALGORITMO: $z = h(\vec{x})$
$\downarrow$
SALIDA: $z$

El programador diseña un programa que calcule $z$ en su mente y prueba casos de uso.

Aprendizaje automático

(Supervisado)

ENTRADA: $\vec{x}$
$\downarrow$
ALGORITMO: $z = h(\vec{x}, \vec{\theta})$
$\updownarrow$
Entrenamiento: $J(\vec{\theta}; \vec{x}, \vec{y})$
$\downarrow$
SALIDA: $z$

Conjunto de ejemplos: $\mathcal{D} = \{(x_1, y_1),\ldots,(x_n, y_n)\}$

Redes neuronales

Aprendizaje profundo

(Deep Learning)

Redes neuronales convolucionales

(CNN's, ConvNets)

Redes neuronales recurrentes

Unidad de memoria grande a corto plazo (LSTM)

Arquitectura unificada

$$+$$

Datos

Entrenamiento e inferencia

Experimentos

Dos modelos resultantes de los experimentos...

  • Modelo A:
    • Arquitectura convolucional superficial
  • Modelo B:
    • Arquitectura convolucional Inception V3
    • Modelo afinado con las imágenes de memes

Evaluación

¿Qué tanto se parece el texto generado a un modelo de lenguaje natural?

Perplejidad

$$PP(S) = p(s_1 s_2 \ldots s_n)^{-\frac{1}{n}}$$

"Nuevos" memes

Memes del conjunto de evaluación

"No" memes

La red neuronal en acción

Conclusiones

  • Se reunió una gran cantidad de memes separados por imagen y leyenda.
  • Se siguió una metodología de aprendizaje profundo para extracción de características en imágenes.
  • Con lo anterior, se entrenó un modelo neuronal capaz de aprender a generar texto a partir de una imagen
  • El éxito de arquitecturas de gran profundidad (para la presente tarea) es proporcional al número de datos que se puedan añadir al entrenamiento.

Trabajo futuro

  • Refinamiento del modelo de lenguaje con técnicas de detección y creación de humor/albures.
  • Experimentación con memes de 2017.
  • Agrupamiento semántico de memes (aprendizaje no supervisado).

Trabajo futuro

  • Estudio de la "viralidad" que puede alcanzar la información generada automáticamente.
  • Estudio del fenómeno de la evolución en propagación de información.

Trabajo futuro

  • Generación automática de contenido en redes sociales (por ejemplo, bots en Twitter).
  • Interacción humano-máquina.
  • Agentes conversacionales (chatbots).

¡Muchas gracias!

Anexos

Afinación de una CNN