El lloc de Penelles, a la plana urgellesa de la comarca, és esmentat per primera vegada el 1069 (1079), en què el comte Ermengol IV d’Urgell va dotar el monestir de Santa Maria de Gualter, entre altres béns, amb la meitat de les primícies que tenia a Penelles. El castell de Penelles nasqué en un extrem del terme de Butsènit com a quadra fronterera, i la seva jurisdicció va anar lligada en un primer moment al castell de Butsènit. Molts documents així ho confirmen. L’any 1084 Ramon Gombau de Ribelles i la seva muller Sicarda de Castellbò, que havien obtingut del comte d’Urgell les Penelles, van Incorporar l’indret al terme del castell de Butsènit perquè a partir d’aquell moment tinguessin el mateix senyor i cediren Penelles als veïns de Butsènit, sota diverses condicions. El 1085 Ramon Gombau de Ribelles i la seva esposa van cedir a Artau un alou als termes de Butsènit, Penelles, l’Espígol i Barbens, perquè entrés al seu servei, i li prohibiren que canviés de senyor. Tres anys més tard els mateixos esposos infeudaren a Artau Mir (el mateix personatge esmentat el 1085) i a la seva muller Adalèsia el castell de Butsènit, amb Penelles i Barbens. Artau Mir fou possiblement l’iniciador de la nissaga dels Butsènit. Desconeixem quina relació hi ha entre aquest Artau Mir i Ramon Guillem i la seva muller Adelaida, que el 1127 encomanaren a Ermengarda i al seu fill Arnau Pere els castells de Butsènit i de Penelles. El 1166 Guillem Artau de Butsènit i el seu germà Bertran de Butsènit arribaren a un acord després de les dissensions que havien tingut i establiren, entre altres punts, que tindrien per la meitat els castells de Butsènit i Penelles, amb els drets que hi posseïen. En el seu testament del 1168, l’esmentat Guillem Artau va llegar a la seva filla Jordana el seu feu de Butsènit, la meitat de la quadra de Penelles Inclosa dins el terme del dit castell i els drets senyorials que posseïa al castell de Butsènit. Cedí a la seva filla Maiassèn els drets que tenia al castell de Penelles. Finalment, el 1173 Bertran de Butsènit i la seva muller Ermessèn van fer donació a la seva filla Sança i al seu futur marit Ramon de Montserè de tots els drets que posseïen al castell de Butsènit i al de Penelles, a més d’un alou a la quadra de Finestres.
El 1186, Guillem de Meià, que devia tenir l’alt domini del castell, amb l’aprovació del comte d’Urgell, donà a l’orde del Temple el castell de Penelles, que posteriorment, en suprimir-se l’esmentat orde el 1317, passà al de l’Hospital, que l’integrà a la seva comanda de Barbens i en tingué tota la jurisdicció alta i baixa fins a la desamortització. Al segle XIII, una part del domini del castell era en mans dels Anglesola. Berenguer Arnau d’Anglesola, en el seu testament del 1282, facultà els seus marmessors per a vendre el castell de Penelles.
Del deteriorament i la ruïna del castell de Penelles, com a conseqüència de la guerra civil del segle XV (1462-72) i els posteriors estralls dels mercenaris reials els anys 1476 i 1478, en donen testimoni diversos documents dels segles XVI al XVIII. Per aquesta documentació i per les afrontacions de finques que s’hi esmenten, sabem que el castell (anomenat aleshores “lo castellot”, nom que ha perdurat fins a temps recents) era al capdamunt del carrer de Dalt (que fins al segle XIX era anomenat carrer del Castell), a la cruïlla amb el carrer de les Roques i el Raval del Carme (dit també camí de la Bassa Bona). En aquesta època encara hi havia (o almenys se’n coneixia l’emplaçament exacte) l’edifici del castell, un mur i el vall, que sembla que podia coincidir amb l’actual Raval del Carme. Alguns documents parlen d’“un pati en lo qual algun temps y havia castell” o diuen que “lo castell està rònech e sens ninguna paret”. L’any 1766 es van prendre les mides que ocupava el castell: “50 palms en llarch de orient a ponent y 28 en ample de migdia a tremontana”. Possiblement es tractava, doncs, d’una torre rectangular. A Penelles es conserva encara un portal tardà de l’antiga vila closa.