Se encuentra situado en la Alameda de Osuna, al noreste de la ciudad, junto a la estación El Capricho de la línea 5 del Metro. Fue en 1874 cuando se iniciaron las obras del palacio y el jardín por encargo de los duques de Osuna. La duquesa, María Josefa Pimentel, principal impulsora, fue una de las damas más importantes de la nobleza de la época y mecenas de toreros, intelectuales o artistas como Francisco de Goya, a quien encargó bastantes pinturas. La finca pasó luego con los años a la familia Baüer, y, a pesar de que mantuvieron el paraje en un aceptable estado de conservación, su decadencia ya no tenía marcha atrás y poco a poco fueron vendiéndose sus pertenencias.
Durante la Guerra Civil, lo que había sido un lugar de recreo se convirtió en Cuartel General del Ejército del Centro, de cuya época queda un entramado de búnkeres que recorre el jardín. Finalizada la guerra, la finca pasó por manos de varias inmobiliarias hasta que en 1974 la compró el Ayuntamiento de Madrid. Se abrió al disfrute de los madrileños en 1999 después de su restauración.
Constituye el único jardín del Romanticismo existente en Madrid y está considerado como uno de los más bellos de la ciudad. De sus rincones destacan la plaza de El Capricho, el Palacio, el estanque y los diversos riachuelos, la plaza de los Emperadores, o la fuente de los Delfines y de las Ranas. Además, la duquesa, hizo plantar miles de ejemplares por todo el lugar de su flor favorita, la lila