A la part més alta, sobre el rocam, es dreça un casal d’aspecte medieval, construït amb petits carreus disposats en filades regulars. Potser sigui alguna resta de l’antic castell de Gavarra. A un nivell inferior hi ha l’església parroquial de Sant Sadurní, voltada de la caseria que antigament era closa (resta el portal, ogival, d’entrada al poble). Romànica, de l’església antiga només resta la nau i un bell campanar circular amb dues finestres geminades; sembla que el darrer pis desaparegué el 1922 i aleshores fou construïda una espadanya al seu lloc. L’absis fou enderrocat als segles XVII o XVIII, quan s’engrandí l’església per aquest sector; en resta només la base de l’arc triomfal que hi donava pas. Es conserven de l’església tres imatges, talles de fusta policroma, d’època barroca: una de la Mare de Déu del Roser, una de sant Francesc amb el nen Jesús i una altra de dedicada a la Mare de Déu. Mentre que les dues primeres conserven la policromia original, aquesta darrera ha estat repintada. La festa major se celebra el tercer diumenge de setembre, i el primer de maig, la festivitat de Santes Creus.
El castell de Gavarra, dins el comtat d’Urgell, és documentat el 1071 en el testament del famós capitost Arnau Mir de Tost. En el testament de la seva muller, Arsenda, hi havia una deixa a l’església de Sant Sadurní de Gavarra. El castell confrontava a migdia amb el terme del castell de Peramola. Més endavant el lloc pervingué al capítol de la catedral d’Urgell, al qual ja pertanyia segons els fogatjaments del segle XIV. Romangué de la dita senyoria fins al segle XIX. A mitjan segle XIX, vora el torrent de Gavarra, aigua amunt del poble, hi havia el Molí de Guàrdia, fariner, d’una sola mola i que només funcionava quan el torrent duia aigua. Gavarra fou municipi independent fins el 1969. L’antic terme comprenia, a més, les antigues masies i quadres de Galleuda i de Carreu.