El Palacio de Xifré, frente al Museo del Prado, fue uno de los edificios privados más hermosos que ha tenido la ciudad. Todos los detalles, desde la verja de cerramiento, la fachada, y hasta las habitaciones interiores, imitaban de una manera perfecta la época dorada de la arquitectura árabe . Fue construido en 1865 por el arquitecto José Contreras como residencia del financiero José Xifré, quien llegaría a ennoblecerse al desposarse con María Chacón y Silva, hija del marqués de Isasi. También fue sede de la Embajada de México y residencia del duque del Infantado. A principios de la década de 1950 inexplicablemente fue derribado para construir sobre su solar el horrendo edificio de los Sindicatos Verticales, actual sede del Ministerio de Sanidad y Consumo