Está situado en un islote a la entrada de la Ría, cerca al Puerto Deportivo. Hasta que en el Siglo XVI adquirió interés defensivo, existía en el lugar una capilla.
Gracias a las irregularidades de la planta del Castillo, éste se adapta perfectamente al contorno de la Isla, presentando entrantes y salientes muy acusados. Las torres de vigilancia poseen la combinación perfecta entre estética y funcionalidad, por lo que merecen ser contempladas. A partir de 1964 y después de diversas reformas, es sede del Museo Arqueológico e Histórico Municipal, en el que se puede conocer la evolución de esta ciudad ligada al mar.