L’origen del castell i la baronia de Sant Adrià es troba en una sèrie d’alous que el bisbe de Barcelona va comprar en aquest lloc aprofitant la baixada de preus provocada per la venda massiva de terres després de la ràtzia d’AI-mansor del 985. Poc després el bisbe hi devia fer bastir l’església i, més tard, el castell, formant així les edificacions bàsiques de la baronia. El castell episcopal era un edifici antiquíssim que s’alçava davant la façana de l’església, al lloc que ara ocupa la plaça de la Vila. En un principi era una fortalesa romànica, però en època gòtica va esdevenir mansió residencial. Precisament les primeres referències del castell del Bisbe són del segle XIV, quan el rei Pere el Cerimoniós sojornà en aquest castell. El castell es convertí en la residència eventual del bisbe a Sant Adrià, ja que aquest era el senyor jurisdiccional i alodial del terme.
Vers el primer quart del segle XVII aquest castell estava força malmès. Alguns dels seus murs foren aprofitats per bastir l’església parroquial que va subsistir fins el 1936.