Felipe II levantó, adosado al monasterio de los Jerónimos (lo único que queda de él es la iglesia), un aposento de retiro para periodos de luto o cuaresma. Habría de ser origen y dar nombre al palacio que el conde-duque de Olivares, valido de Felipe IV, mandó edificar al lado para agradar y regalar al monarca. Estuvo terminado en 1640. Fue un gran escenario para su rey, un lugar de fiestas y regocijos.
CSe extendía por la amplísima zona comprendida entre el paseo del Prado, Alcalá y las actuales Menéndez Pelayo, Reina Cristina e Infanta Isabel. Constaba de más de 20 edificaciones, entre ellas una destinada a teatro, con cuatro grandes plazas que se convirtieron en marco de celebración de numerosos festejos, corridas de toros, juegos ecuestres y demás diversiones. Especial importancia tenían los extensos jardines, con espacio para el juego de la pelota, una leonera para la exhibición de animales salvajes, una pajarera para aves exóticas, el estanque grande como escenario de naumaquias y espectáculos acuáticos o una ría con cauce por el actual paseo de Coches.
Su condición de segunda residencia real cambió a palacio principal cuando en 1734, reinando Felipe V, el Alcázar sufrió un pavoroso incendio que lo redujo a cenizas. Y así se mantuvo hasta que Carlos III pasó a residir al nuevo Palacio Real en 1764.
Durante la Guerra de la Independencia, el palacio fue tomado como cuartel por los franceses y quedó muy deteriorado. Años después hubo que demolerlo. Lo único que de él queda en pie es el Salón del Reino, el Salón de Baile (Casón del Buen Retiro) y los jardines (Parque del Retiro), que nada tienen que ver con el trazado y extensión originales, y que en 1868 pasaron a ser propiedad municipal y sus puertas se abrieron a todos los ciudadanos