Lázaro cuenta que nació en el río Tormes, hijo de Tomé González y Antona Pérez. Su padre fue acusado injustamente de robar grano y enviado a la guerra contra los moros, donde murió. Su madre se mudó a la ciudad para ganarse la vida limpiando y cocinando. Comenzó una relación con un hombre moreno que trabajaba en las caballerizas y le dio a Lázaro un hermanastro negro.