És fet de maons i forma dues torres amb esperons. Per la proximitat de la capella de Nostra Dona del Pont, fou anomenat el Castellet de Nostra Dona. Lluís XI de França, durant l’ocupació dels comtats de Rosselló i de Cerdanya, el feu arranjar i hi afegí (1477-83) el petit Castellet, que rebé el nom de Portal Nou de Nostra Dona; hi foren empresonats alguns patriotes catalans i, després de l’annexió del Rosselló a França sota Lluís XIV, els conjurats de Vilafranca del 1674: Carles de Llar, Manuel Boixó, Francesc Puig, Maria Guitard, entre d’altres, abans d’ésser torturats i executats.
Durant la Revolució Francesa serví novament de presó, i hom ha suposat que el cos d’un nen trobat aparedat en un calabós és el de Lluís XVII. Des del 1914 fou arxiu municipal, i des del 1963 ha esdevingut seu de la Casa Pairal o Museu d’Arts i Tradicions Populars del Rosselló i de la Cerdanya.