Valldellou fou conquerit pels vescomtes d’Àger abans del 1090. La incor poració al vescomtat fou fruit de les campanyes militars del vescomte Guerau Ponç II de Cabrera, conqueridor de totes aquestes contrades, des de Casserres fins a Pinyana, en nom dels comtes de Barcelona. Aquest vescomte lliurà al cavaller Arnau Pere de Girbeta una alberga a Valldellou. Ja a la fi del segle XII les tropes reials assetjaren el castell de Valldellou (1191).
Sovint el castell de Valldellou fou lliurat en esponsalici a les vescomtesses d’Àger, com ara Estefania (1092), Marquesa d’Urgell (1194, 1204) i Elo de Castre (1205). A mitjan segle XIII la castlania de Valldellou passà als Àger per raó del matrimoni entre el cavaller Ramon d’Àger i Ramona d’Ivars, filla de Pere d’Ivars, que la detenia aleshores.
Després, Valldellou fou un dels nuclis que espolià Guerau de Cabrera (abans del 1312). Al segle XV la senyoria de Valldellou consta en poder de Llop de Mendoza, a qui pervenia per part de la seva dona, i més tard passà de manera semblant a mans dels Gurrea i Sangarrén, comtes de Robles a mitjan segle XVII. Al segle XIX el castell fou adquirit per A.Galvano Escolà. En l’actualitat Valldellou conserva encara la superba torre castell gòtica sobre l’abrupte esperó on hi ha emplaçat el poble, amb la seva muralla de protecció.