El lloc de Lavit s’esmenta des de l’any 954. El castell apareix documentat l’any 956 en la venda d’un alou feta per Aigone i la seva muller Anlo a Gilmon, dit Ènnyec. El castell fou en els seus orígens de la nissaga de Mir Geribert, el qual l’any 1041 hi presidí un judici en cort sobirana. En morir Mir Geribert el 1060, el castell passà a la seva descendència. Els Santmartí posseïren l’alta jurisdicció del terme fins almenys Guillem V de Santmartí, ja que en el seu testament del 1180 només esmenta els béns que té al castell de Lavit. Això sembla indicar que ja no tenia el domini directe del castell. Al mateix temps degué actuar dins el terme una nissaga de castlans. Guillem de la Granada en el seu testament del 1198, en el qual signà com a marmessor Ramon de Lavit, deixà el castell de Lavit a la seva neboda Saurina.
Al començament del segle XIV el castell fou adquirit per Eimeric de Bellvei i, poc després, l’any 1365, fou comprat per Joan d’Olzinelles, fill d’un conseller reial. Tot seguit, l’any 1372 el rei va recobrar la jurisdicció del lloc i el castell esdevingué de patrimoni reial. Aquesta situació es prolongà per poc temps. L’any 1380 Jaume Desfar, conseller reial, va comprar al rei la jurisdicció. Aquesta família la retingué fins al 1405, data en què va vendre el castell a l’orde de l’Hospital. Aquest orde va concedir un privilegi municipal al lloc de Lavit i va posseir drets sobre el castell fins almenys el 1809. Tanmateix, consta que al segle XVIII l’alta jurisdicció de Lavit era de la corona.
D’aquest castell resten panys de paret de les muralles prop del riu i algunes parets a la casa rectoral, encara que res d’això no té traces castelleres actualment, per la qual cosa és impossible esbrinar com devia ser el perímetre exacte del castell. Les estructures descobertes en les millores realitzades últimament a l’església de Santa Maria de Lavit semblen demostrar que el castell s’aixecà en l’indret on ara hi ha l’església.