Cet ancien château fort fut considérablement remanié au cours des siècles. Transformé en sémaphore sous le premier empire, il abrite actuellement le musée régional.
Établi en bord de mer, le fort est constitué d'un donjon médiéval entouré par une enceinte en pierre de taille complétée par quatre tours circulaires, l'ensemble étant protégé par de profondes douves. Le donjon quadrangulaire semble avoir été érigé au début du xive siècle, sous le règne du roi Philippe le Bel. Il est repris en 1480 par l'architecte De Brosse, qui contribua à le moderniser.
La forteresse médiévale est remplacée en 1672 par un fort moderne, bâti d'après les directives de Vauban, sur des plans de l'architecte Ferry; cependant les travaux ne furent réellement achevés qu'en 1689. Le fort comportait une batterie basse pour les tirs à couler, et une batterie haute pour les tirs à démâter. Le donjon fut conservé et consolidé, afin de pouvoir placer une plate-forme garnie de canons en son sommet. Transformé en sémaphore durant le premier empire, il fut également intégré à la « ceinture de feu » voulue par l'empereur pour protéger les côtes des éventuelles incursions anglaises. Cette « ceinture de feu » devait regrouper le fort Vauban, le fort Énet et le fort Boyard. Propriété du ministère de la Défense, le fort est finalement déclassé à la fin du xixe siècle, les batteries et les redoutes démantelées. Classé monument historique en 1987, ce monument, devenu le symbole de la cité, est aujourd'hui partiellement transformé en musée. Celui-ci, installé dans le donjon, est constitué de plusieurs salles présentant différents aspects de l'histoire de la région : les principales sections sont consacrées à la géologie, à l'archéologie, à l'histoire militaire, à l'histoire contemporaine ou encore l'histoire maritime.
