Construido en sus origenes como monaterio, fue mandado edificar por Alfonso VI en el 1.088 en honor de los santos Servando y Germano.

Con el tiempo y debido a su carcanía al Puente de Alcántara se transformó de edificio religioso a fortaleza militar de defensa, perdiendo poco a poco su función militar con los años y quedando en estado de ruína.

Está ubicado en la ribera del río Tajo frente al Puente de Alcántara, cercano a la Academía militar de Toledo.

Hoy en día se encuentra totalmente restaurado y funciona como Residencia Universitaria.