Word2vec es un modelo matemático desarrollado por Google que representa palabras en un espacio vectorial de N dimensiones de tal forma que palabras con contextos similares quedan próximas unas de otras. Word2vec utiliza redes neuronales para proyectar cada palabra en un vector, usando como entrada el contexto de la palabra (modelo CBOW) o la palabra como entrada y el contexto como salida (modelo skip-gram). Esto permite realizar operaciones como calcular la capital de un país a partir de su nombre.

1. Word2vec 4 All
Oscar García Peinado

2. Word embedding - Word2vec

3. Documento:
Camera porpoise dolphin
SeaWorld Paris Camera.
Vocabulario:
Subconjunto de palabras
únicas

4. Que es word2vec?
Es un modelo matemático desarrollado por el equipo de investigación
sobre análisis lingüístico de Google y liderado por Tomas Mikolov y
publicado en 2013.
En dos líneas:
Word2vec se encarga de representar cada una de las palabras del
vocabulario de un texto en un espacio vectorial de N-Dimensiones.
Paper google:
(https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-th
eir-compositionality.pdf)

5. Literalmente ¿que hace word2vec?
Cuando el modelo proyecta el vocabulario sobre el espacio
N-dimensional intenta dejar cerca todas las palabras que aparecen
en el mismo contexto.
coche
moto casa
cocina
baño
parque
cine
árbol

6. ¿Parecido por contexto?
Xin Rong - word2vec: https://www.youtube.com/watch?v=D-ekE-Wlcds&t=1852s

7. Operaciones en el espacio vectorial
vec(“Berlin”) -
vec(“Germany”) +
vec(“France”) = ???

8. ¿Por dentro?

10. Red neuronal -Entrada: Vector con los valores de la palabra que
estamos tratando (skip-gram ,CBOW)
-Salida: Vector de las palabras relacionadas con el
vector de entrada dependiendo del modelo de
input utilizado (skip-gram, CBOW)

11. CBOW
La entrada sería el conjunto que rodea al
target y la salida sería el target.

12. Skip-gram
El input es la palabra que estamos
procesando y la salida es el
contexto.

13. Demo online
https://ronxin.github.io/wevi/

14. Referencias
https://papers.nips.cc/paper/5021-distributed-representations-of-wo
rds-and-phrases-and-their-compositionality.pdf
https://papers.nips.cc/paper/5021-distributed-representations-of-wo
rds-and-phrases-and-their-compositionality.pdf
https://docs.google.com/presentation/d/1yQWN1CDWLzxGeIAvnGgDsIJr5xm
y4dB0VmHFKkLiibo/pub?start=false&loop=false&delayms=3000&slide=id.g
e79682746_0_245
https://www.youtube.com/watch?v=D-ekE-Wlcds&t=1852s

15. Fin