El poble d’Olp s’aixeca a 1.100 m d’altitud sota el Serrat Planell i a la dreta de la Noguera Pallaresa, passada la seva confluència amb el riu de Sant Antoni. La primera notícia sobre el lloc d’Olp és dels anys 981-985. El castell és consignat ja en una convinença pactada l’any 1076, per la qual Ficapal definí al comte Ramon V de Pallars Jussà el castell d’Olbe mentre rebia en feu el castell de Gilareny i la Vall Ferrera.
Per les convinences pactades al final del segle entre els dos comtes hostils, el castell d’Olp degué ser definit al comte de Pallars Sobirà, ja que l’any 1130 Artau III l’infeudà a Arnau Mir Garreta.
L’any 1280 Pere el Gran infeudà, entre altres, el castell d’Olp a Bernat de Toralla, però en retingué el mer imperi i la jurisdicció criminal. Tot i que l’any 1435 Joan de Santa Coloma, procurador del comte Joan I de Foix, es presentà a Olp per prendre’n possessió, el lloc i el castell restaren, juntament amb Enviny i Llarvén, en poder dels comtes de Pallars fins a la darreria del segle XV, moment en què foren traspassats als Cardona.