Fue concebido como hospital y el proyecto fue aprobado por la propia reina Isabel II, lo que requirió el derrumbe de la capilla de San Marcos y del cementerio adyacente.
Nunca llegó a utilizarse como tal y desde un principio fue sede de la Diputación Provincial, compartiendo espacio con el Instituto de Enseñanza Secundaria. También albergó la biblioteca pública provincial y el archivo histórico provincial hasta la década de los años 80.
Su frente, de dos plantas, es un cuerpo simétrico con tres naves posteriores y las partes nobles en granito labrado. Su parte trasera, que da a la muralla, presume de un impresionante jardín en el que proliferan los magnolios.