Aquesta fortalesa i el seu terme formaren part, com bona part dels castells veïns, del comtat de Berga o la marca del comtat de Cerdanya. En el testament del comte Guifré II de Cerdanya del 1035 consta que deixava al seu fill Bernat el comtat de Berga amb la seva marca, que incloïa entre d’altres el castell de Gospí. El castell donà nom a una família de castlans que participaren al costat del comte d’Urgell en les campanyes d’ocupació de Gerb i Balaguer.
En el fogatjament de 1365-70 consta que Gospí estava en condomini de l’Església i de Pere Galceran de Calders, donzell. El 1394 el rei Joan I va vendre el mer i mixt imperi de Vespí a Bernat de Vilallonga. Poc abans de la desamortització del segle XIX Gospí era un senyoriu del marquès de Palmerola.
Al capdamunt de la costa on s’esgraona el poble de Gospí, a ponent de l’església, hi ha l’edifici del castell, amb una esvelta torre circular, refeta, adossada a un casal tardà.