El castell medieval del Morell s’aixecaria costat per costat de l’actual església parroquial, dedicada a sant Martí; sobre els seus fonaments Plàcid de Montoliu bastí, al segle XVIII, el casal dit “el Castell”, un edifici de planta quadrada de grans dimensions, amb un jardí adjacent.
El terme del Morell era comprès dins l’extens territori del Codony, el desmembrament del qual prengué un fort impuls amb les iniciatives colonitzadores de l’arquebisbe Bernat Tort i el comte Ramon Berenguer IV sobre el Camp de Tarragona a partir del 1150. Clouria aquesta desintegració la tardana donació del Morell, signada per l’arquebisbe Guillem de Torroja el 21 de juliol de 1173 a favor del cavaller Berenguer Desprats i la seva muller Dolça. El document fa referència a la situació del nou predi, a la tinença d’uns drets sobre ell per part del capítol de la catedral de Tarragona i a un pacte amb els beneficiaris per a alçar-hi un poblat i un castell.
Els Desprats foren senyors del Morell fins al final del segle XV, que s’estroncà la successió amb Aldonça Desprats per manca de descendència masculina. Cal destacar Eimeric Desprats, senyor del Morell, que el 1333 es trobà implicat en un afer polític de gran ressonància: l’enfrontament entre l’arquebisbe Joan d’Aragó, fill de Jaume II, i el paborde de la Seu, Guerau de Rocabertí, per una aparent defensa dels respectius vassalls; en realitat, però, aquest enfrontament amagava les veritables intencions, que eren de desmantellar la poderosa pabordia. Arran d’aquesta lluita, Guerau de Rocabertí ordenà al batlle de la Selva la detenció d’Eimeric, fet que aconseguí després d’haver reduït el castell al capdavant d’una quinzena d’homes.
La castlania del Morell fou una de les compreses dins la venda de drets reials que va fer, el 1391, el rei Joan I a l’arquebisbe Ènnec de Vallterra.
Els Terrer succeïren els Desprats mitjançant el matrimoni que contragueren Aldonça Desprats i Joan Terrer, una descendent dels quals, dita Lluïsa Castells i de Terrer, es maridà amb Agustí de Montoliu i foren hereus de la senyoria del Morell. Tanmateix, el 1630, el senyoriu fou venut a Jeroni de Copons, i aquest, al seu torn, el vengué el 1652 a Francesc de Montserrat i Vives, senyor de Ribelles i marquès de Tamarit. Finalment els Montoliu mostraren als Montserrat la voluntat de recuperar el Morell, fet que originà un plet entre ambdues famílies. Aquest plet s’acabà en una concòrdia entre els contendents, i els Montserrat renunciaren als seus drets damunt el Morell en canvi del lliurament, per part dels Montoliu, nous senyors de la vila, de 8 521 lliures i 16 sous, a més d’alguns béns immobles.