Un motor de búsqueda indexa archivos almacenados en servidores web utilizando un "spider" o "Web crawler". Cuando se realiza una búsqueda con palabras clave, el motor de búsqueda devuelve una lista de direcciones web relacionadas con los temas de las palabras clave.