El castell, dins la baronia de Castellví de Rosanes, era posseït pels Rosanes, feudataris dels Castellví al seu castell de Rosanes. El 1220 Guilleuma de Castellví i el seu fill, Guillem de Montcada i de Castellví, empenyoren als seus creditors els castells de Castellví de la Marca i de Sant Esteve Sesrovires per 185 marques d’argent de Montpeller. El 1226 encara els tenien empenyorats. El 1291 Guilleuma de Montcada, senyora de Castellví, aportà com a dot a l’infant Pere els castells de Castellví de Rosanes, Voltrera i Sant Esteve Sesrovires. El 1329 Roger Bernat de Foix, vescomte de Castellbò i senyor de Montcada i de Castellví, rebé homenatge de Sibil·la, vídua de Ramon de Rosanes, i del seu fill, i els confirmà els castells de Rosanes i de Sant Esteve. El 1397 el lloc fou incorporat a la corona, però el 1404 el rei Martí vengué a carta de gràcia el castell i la parròquia de Sant Esteve Sesrovires, separant-lo així de la baronia de Castellví, a Pere Sacalm, conseller seu, en lliure i franc alou i amb tota la jurisdicció civil i criminal, amb l’obligació de fidelitat al monarca i de retre-li homenatge, pel preu de 22 000 sous de tern. El 1426 el rei Alfons donà al seu cambrer, el cavaller Ramon de Calders, en lliure i franc alou, el castell i la parròquia de Sant Esteve Sesrovires, en premi per haver recuperat la ciutat de Sàcer i altres llocs del regne de Sardenya i per altres serveis en la guerra amb Castella, com contribuir a la llibertat de l’infant Enric. A tal efecte i com que l’esmentat domini havia estat venut pel rei Martí a Pere Sacalm, a carta de gràcia, atorgà poders al batlle general de Catalunya perquè el redimís. Havia de lliurar la quantitat requerida Ramon de Calders. El 1503 el rei Ferran el Catòlic concedí a Lluís de Requesens el dret de redimir el castell i la parròquia de Sant Esteve Sesrovires als hereus de Pere Sacalm, que encara ho posseïen. L’apoderat de Lluís de Requesens, que feu efectives 1 000 lliures, en prengué possessió en representació del nou senyor.