Des de les darreries del segle XII hi ha notícies sobre personatges del llinatge de Galliners: el testament del canonge Bernat de Galliners de l’any 1178 i el del cavaller Berenguer de Galliners l’any 1194, qui també és entre els signants de l’acta de fundació del priorat de Santa Maria d’Olives i que morí l’any 1207.
Hom pot seguir el rastre del llinatge, en relació més o menys clara amb el propi solar, el lloc de Galliners, fins entrat el segle XV. Tanmateix, des del segle XIV, per entroncament amb aquesta casa, es cognomenaren de Port, si bé el nom Galliners tornà a ressorgir i es conservà en alguna branca. Hi hagueren Galliners establerts a Navata i al castell del Soler de Vilanant, a Bàscara, a Santa Llogaia del Terri i a Osor. La senyoria de Galliners sembla que fou feudatària dels Rocabertí, com a senyors del castell de Vilademuls. Alguns autors han donat per certa l’existència del castell de Galliners. Si hem de creure J. M. Corominas i J. Marquès, aquest resta documentat als segles XIV i XV. En canvi, LI. G. Constans prefereix parlar de la “torre” de Galliners, tot i que més endavant comenta que “no es conserva res del castell i sí només la tomba de la casa nobiliària de Galliners en el temple de Santa Maria de Lledó”. Popularment hom assenyala com a castell o casa forta dels Galliners, el casal de Can Ros, a la part alta del poble, a ponent de l’església, edifici que no ha conservat elements de fortificació medieval.