O palácio foi originalmente construído como um recanto de verão para D. Pedro de Bragança antes de se tornar rei de Portugal, e mais tarde serviu para encarcerar discretamente a rainha Maria I quando sua loucura piorou após a morte do marido em 1786, até ser atingido por um incêndio em 1794.