El lloc d’Ivars de Noguera, situat a la riba esquerra de la Noguera Ribagorçana, fou conquerit pel comte d’Urgell Ermengol VI, l’any 1107, un cop conquerida definitivament la plaça de Balaguer als àrabs. El 1116, Ivars, amb el seu territori en plena colonització agrària, era sota la senyoria de Ramon Berenguer d’Àger, que era feudatari dels vescomtes de Cabrera. Pel testament de l’esmentat Ramon Berenguer, el 1158, hi ha referència que aquest deixava a les seves filles —Berenguera, Magència i Ermessenda— i a la seva muller Maria, els llocs i castells de Boix, Ivars i Tragó de Noguera, entre d’altres, i en recomanava la subjecció al seu senyor, el vescomte Guerau Ponç III de Cabrera. El domini sobre Ivars l’heretà el fill d’aquest darrer, Ponç Guerau III de Cabrera, i a la seva mort passà a pertànyer a la seva vídua, Marquesa d’Urgell, filla d’Ermengol VII.
Ivars de Noguera continuava temps després sota la jurisdicció dels vescomtes de Cabrera. Així, a la mort d’Àlvar d’Urgell, el seu germà Guerau reclamà el comtat per a ell, ja que els executors testamentaris d’Àlvar l’havien cedit al rei Jaume I. Però, finalment, l’any 1268 s’avingué a negociar un pacte amb el monarca, pel qual el feia renunciar al comtat en canvi de la cessió en perpetu alou del castell d’Àger, i la concessió entre d’altres, de la vila d’Ivars, tot reservant-se’n ell el domini eminent. Poc després, el 1271, el mateix monarca feia infeudacló del castell i la vila d’Ivars a Arnau de Calaf. Uns anys més tard, l’11 de desembre de 1278, el rei Pere II donà el comtat d’Urgell al comte Ermengol X, en el territori del qual s’incloïa el lloc d’Ivars de Noguera.
Vers el 1316, Ivars era de Teresa d’Entença, néta i hereva d’Ermengol X i muller de l’Infant Alfons. El 1355, era Sibil·la, vescomtessa d’Àger i mare del comte Pere d’Urgell, qui n’exercia la senyoria. Després de la desmembració del comtat d’Urgell el 1414, el lloc fou possessió de la família Boixadors de Lleida i s’Integrà en la baronia d’Alfarràs, convertida en marquesat a l’Inici del segle XVIII, quan era dels Ribes. Pertangué a aquest marquesat fins a la desamortització del segle XIX. Actualment no hi cap vestigi d’aquest castell.