Isabel Flores de Oliva nació en el siglo XVI en España. Su padre, Gaspar Flores, era un arcabucero que se trasladó al Perú en 1547 como soldado. En 1557, Gaspar fue nombrado arcabucero por el virrey del Perú. Se casó en Lima en 1577 con María de Oliva y Herrera, y ese mismo año sirvió como arcabucero bajo el quinto virrey del Perú, Francisco de Toledo.