Este documento explica el algoritmo K-NN (K vecinos más cercanos), el cual clasifica nuevos datos basándose en la clase de los K vecinos más cercanos en el conjunto de entrenamiento. K-NN es un método de aprendizaje supervisado que no genera un modelo, sino que clasifica nuevos datos comparándolos directamente con los datos de entrenamiento. La efectividad de K-NN depende del parámetro K y de la métrica de distancia utilizada para medir la proximidad entre datos.

1. El algoritmo K-NN y su importancia en el modelado de datos 12/1/2019
Lic. y Prof. Daniel CAVALLER Página 1 de 3
El algoritmo K-NN y su importancia en el modelado de
datosi
AD TECH & ANALYTICS 20 JULIO, 2018, Se lee en 3 minutos
“Dime con quién vas y te diré quién eres”
Este refrán rancio y conocido por todos, me da pie a comentar un algoritmo muy popular y
utilizado en modelos de clasificación: el de los K vecinos más cercanos o K-NN (K Nearest
Neighbours).
Concepto
La idea es realmente sencilla: el algoritmo clasifica cada dato nuevo en el grupo que
corresponda, según tenga k vecinos más cerca de un grupo o de otro. Es decir, calcula la
distancia del elemento nuevo a cada uno de los existentes, y ordena dichas distancias de menor
a mayor para ir seleccionando el grupo al que pertenecer. Este grupo será, por tanto, el de mayor
frecuencia con menores distancias.
El K-NN es un algoritmo de aprendizaje supervisado, es decir, que a partir de un juego de
datos inicial su objetivo será el de clasificar correctamente todas las instancias nuevas. El juego
de datos típico de este tipo de algoritmos está formado por varios atributos descriptivos y un
solo atributo objetivo (también llamado clase).
¿Cómo funciona? Ejemplo
En contraste con otros algoritmos de aprendizaje supervisado, K-NN no genera un modelo fruto
del aprendizaje con datos de entrenamiento, sino que el aprendizaje sucede en el mismo
momento en el que se prueban los datos de test. A este tipo de algoritmos se les llama lazy
learning methods y funciona como en este ejemplo:
Pensemos en un juego de datos donde cada instancia se corresponde con un cliente de una
entidad financiera. Para cada cliente conocemos una serie de atributos, como sus ingresos,
gastos, patrimonio, edad, etc., también para cada cliente tenemos un atributo objetivo o clase
que trataremos predecir: es o no apto para un préstamo personal.
Sea D nuestro juego de datos en el que distinguimos la siguiente estructura:
Donde dm indica cada una de las instancias del
juego de datos (los clientes), am,n indica cada uno
de los atributos descriptivos (ingresos, gastos,
patrimonio, edad, etc.) y c indica el atributo
objetivo o clase a predecir (es o no apto para un préstamo personal).

2. El algoritmo K-NN y su importancia en el modelado de datos 12/1/2019
Lic. y Prof. Daniel CAVALLER Página 2 de 3
Para crear el modelo, partimos nuestro juego de datos D en dos partes aleatorias: una compuesta
por el 70% que usaremos para entrenar, y otra por el 30% restante que usaremos para validar el
modelo.
En este punto, merece la pena comentar que puede llegar a producirse el efecto del sobre
entrenamiento del modelo (overfitting), lo que provoca que el modelo que se construye, en
lugar de describir las estructuras subyacentes del juego de datos, lo que acaba describiendo sea,
exclusivamente, el juego de datos de entrenamiento no siendo extrapolable a otros juegos de
datos.
Fijamos un valor para k, habitualmente pequeño, y hacemos que el algoritmo compute una
instancia d del juego de datos de prueba. Fruto de este proceso, el algoritmo selecciona las k
instancias del juego de datos de entrenamiento más cercanas (de acuerdo con la métrica de
similitud utilizada) y se asigna la instancia d a la clase más frecuente de entre las k instancias
seleccionadas como más cercanas.
Como vemos, sin duda, se trata de un algoritmo tremendamente simple pero con una buena
efectividad.
Destacar que K-NN es muy sensible a:
• La variable k, de modo que con valores distintos de k podemos obtener resultados también
muy distintos. Este valor suele fijarse tras un proceso de pruebas con varias instancias.
• La métrica de similitud utilizada, puesto que esta influirá, fuertemente, en las relaciones
de cercanía que se irán estableciendo en el proceso de construcción del algoritmo. La
métrica de distancia puede llegar a contener pesos que nos ayudarán a calibrar el algoritmo
de clasificación, convirtiéndola, de hecho, en una métrica personalizada.
Vemos cómo influye el valor de k:
Web Data Mining, de Bing Liu
 Para k = 1 el algoritmo clasificará la bola con signo + como
blanca;
 Para k = 2 el algoritmo no tiene criterio para clasificar la bola
con signo +;
 Para k >= 3 el algoritmo clasificará la bola con signo + como
negra.
Su mayor debilidad es la lentitud en el proceso de clasificación puesto que su objetivo no es
obtener un modelo optimizado, sino que cada instancia de prueba es comparada contra todo el
juego de datos de entrenamiento y, será la bondad de los resultados lo que determinará el ajuste

3. El algoritmo K-NN y su importancia en el modelado de datos 12/1/2019
Lic. y Prof. Daniel CAVALLER Página 3 de 3
aspectos del algoritmo como el propio valor k, del criterio de selección de instancias para formar
parte del juego de datos “D” de entrenamiento o la propia métrica de medida de similitud.
Finalmente, conoceremos la precisión del algoritmo a través de una evaluación de la matriz de
confusión. En ella, se valorarán los verdaderos positivos, los falsos positivos, los positivos
incorrectos, etc.
Aplicaciones
Este modelo se utiliza en data mining (minería de datos), por lo que su uso en aprendizaje
automático (Machine Learning) es una de sus aplicaciones clave para, por ejemplo, sistemas
de recomendación (plataformas de contenido digital, procesos de venta cruzada en eCommerce,
etc.).
Por último y, a modo de comentario, el concepto de los vecinos más cercanos es un importante
factor en la física de estado sólido, ya que las propiedades de la materia se modifican en función
de la estructura de las redes y las distancias entre los átomos. De hecho, es habitual hacer
aproximaciones en los modelos físicos para despreciar aquellas partículas que no forman parte
de los K vecinos más próximos.
Proyecciones
¿Qué más casos de uso podrían plantearse con este tipo de modelo?
¿Qué Ciencias y cuáles campos de estas lo soportarían?
¿Cuáles son sus alcances y límites de aplicación en el desarrollo ingenieril de software?
i
Fuente web: https://www.analiticaweb.es/algoritmo-knn-modelado-datos/