La calle era en sus comienzos vía de acceso al camino de aquella importante ciudad. Por ella entraban las mercancías que de allí procedían y los campesinos, trajineros y artesanos de los pueblos de los alrededores y de media España que acudían a ferias y mercados. La actividad comercial de la hoy Plaza Mayor empezó cuando Enrique VI mandó trasladar aquí, en 1465, el mercado semanal que él antes había ordenado celebrar delante del antiguo Alcázar. Esta actividad comercial se fue trasladando con los años a la calle de Toledo, de tal manera que se fue poblando de mesones, posadas, tabernas, talleres de artesanos y tiendas de todo tipo.
En la calle de Toledo se encuentra la Colegiata de San Isidro, construida en 1651, que fue catedral de Madrid entre 1883 y 1993, y al lado, el Colegio Imperial, luego sede de los Reales Estudios de San Isidro y ahora del Instituto San Isidro
En la esquina con la plaza de la Cebada se levantaban dos fundaciones de doña Beatriz Galindo, La Latina, profesora de latín de Isabel la Católica: el monasterio de la Concepción Francisca y el hospital de La Latina. En 1904 se demolió todo y en parte del solar se edificó un pequeño convento.
Junto al que fue antiguo mercado de pescados, está la Puerta de Toledo, iniciada por José Bonaparte y concluida por Fernando VII en 1827