Els vestigis del castell es troben situats sobre una elevació al costat dret del Segre, en un lloc que resulta inexpugnable, al cantó oposat de l’emplaçament de l’antic castell d’Oliana. Conjuntament amb el castell d’Oliana, dominaven el pas natural de la vall del Segre cap als Pirineus, a l’anomenat Grau d’Oliana.
Al seu costat s'alça l’església de la Mare de Déu de Castell-llebre, convertida en un santuari marià.