El poble d’Ivars d’Urgell s’emplaça al sector de llevant del terme, a 265 m d’altitud. El lloc fou conquerit als musulmans vers l’últim quart del segle XI, quan el comtat d’Urgell inicià l’expansió per la plana de Mascançà. Tot seguit després de la conquesta, el lloc d’Ivars fou donat al bisbe d’Urgell i al seu capítol. La primera referència del lloc data de l’any 1090, moment en què és qualificat de quadra, tot i que més tard rebé la categoria de castrum. L’any 1134, mitjançant una concòrdia, el bisbe i el capítol d’Urgell cediren a Arnau d’Anglesola una part de les rendes d’Ivars, si bé el bisbe urgellenc en mantingué la senyoria. L’incompliment de la concòrdia per part d’Arnau d’Anglesola obligà el bisbe d’Urgell a demanar la intervenció papal l’any 1159.
Segons l’acta testamentària de Bernat d’Anglesola, datada el 8 d’octubre de 1175, aquest deixava, entre altres fortaleses, el castrum de Ivarcio al seu fill Arnau Berenguer. Uns anys més tard, el 1196, Ramon de Torroja, marit de Gaia de Cervera, deixava la fortalesa d’Ivars al seu fill Hug.
A l’inici del segle XIV, l’any 1303, es féu una concòrdia entre el capítol d’Urgell i Vicenç Morató, canonge de la catedral de la Seu, per la compra de la castlania i la tercera part de les terres d’Ivars, així com el feu que tenia Ramon de Montsonís. Posteriorment, el 1364, el rei Pere III va vendre el mer i mixt imperi i la jurisdicció civil i criminal del lloc i castell d’Ivars al capítol d’Urgell.
En extingir-se les senyories (1835), els marquesos de Torrent i de Segarra, senyors d’Ivars, reclamaren durant un temps els delmes abolits. Avui dia no resta cap vestigi de la fortalesa.