En la calle de Segovia, esquina con la cuesta de los Caños Viejos, estuvo la Casa del Pastor, que tenía una famosa leyenda. Perteneció a un arcipreste de nombre José, persona muy caritativa con los pobres, que, notando cercana su muerte, comunicó la intención de que la casa pasara a ser propiedad de quien primero entrara en Madrid al día siguiente de su muerte por la puerta de la Vega, una de las que daban acceso al recinto amurallado de Madrid. Así se hizo, siendo un pastor el agraciado. Se sabe que esta casa, allá por el siglo XIV, fue utilizada en algún momento como sede de la reunión del Concejo de la Villa, y de esta época sería un escudo que blasonaba su fachada, el más antiguo conservado de la villa de Madrid. Desgraciadamente, se dejó que fuera arruinándose poco a poco, y ahora, desde 1988, un edificio de viviendas se alza en su lugar, con el famoso escudo adornando uno de sus muros