Paralela a Preciados se encuentra la calle de Carmen, que tomó el nombre del convento de religiosos carmelitas calzados fundado en 1575 y desaparecido por los años de la desamortización de Mendizábal. Sólo se conserva la iglesia.
Se dice que en tiempos de Felipe II hubo aquí una famosa mancebía que tenía en su balcón a manera de señal o muestra una bellísima imagen de una mujer, lujosamente ataviada, para atraer a los hombres. Y que para mayor perfección la figura tenía movimiento y agitaba los brazos gracias a un hombrecillo menudo que se escondía entre las aparatosas vestiduras. Acertó por allí a pasar un discípulo del venerable Bernardino de Obregón pidiendo limosna para su hospital y aquello le pareció sacrílego, pues en la imagen creyó ver una representación de la Virgen María. No andaba equivocado, había sido robada de una ermita de un pueblo de Toledo. Denunciado el prostíbulo a la inquisición, las mozas del burdel y el hombrecillo acabaron en el quemadero y la imagen trasladada al Hospital General (entonces en la Carrera de San Jerónimo) y venerada con el nombre de Nuestra Señora de Madrid. Actualmente se encuentra en la parroquia de San Vicente Ferrer, antigua capilla del Hospital Gregorio Marañón
En los terrenos de esta casa fue donde se fundó el convento del Carmen