Donde hoy se encuentra el Centro Colón estuvo el palacio de Uceda, construido entre 1866 y 1870 por el arquitecto Mariano Andrés Avenoza para don Francisco de Borja Téllez-Girón, XI duque de Uceda. Tras ser adquirido por el marqués de Salamanca en 1876, hacia 1890 fue comprado por doña Ángela Pérez de Barradas y Bernuy, duquesa viuda de Medinaceli. En 1917, el palacio ardió perdiéndose innumerables obras de arte que decoraban su interior. Fue reconstruido y se mantuvo en pie hasta 1964, fecha en que se decidió su demolición para obrar con criterios especulativos en un plan de modernización de la plaza. Fue sin duda una de las más sonadas pérdidas del patrimonio arquitectónico madrileño