El ex Paseo de la Infanta, en el olvido