La tradición cuenta que durante la ocupación musulmana, una imagen de la Virgen fue escondida en un lugar llamado "las calles oscuras" para protegerla de la profanación. Según un pastor, un rayo cayó sobre las rocas donde estaba escondida la imagen y la reveló. Los vecinos de La Iruela intentaron llevarse la imagen para construirle una ermita, pero cada vez que intentaban construirla, la ermita se derrumbaba, matando al maestro de obras en el tercer intento.