Els orígens d’aquest castell i el seu terme són confusos. Era situat a la partida dels Arcs, al sud del terme municipal actual, i es desconeix amb certesa la seva localització exacta. De bell antuvi sembla que els Arcs formà part del terme de Cambrils o bé això sembla inferir-se de la primitiva carta de poblament de Cambrils del 1152. Tanmateix, els Arcs apareix pocs anys després desvinculat de Cambrils i sota la senyoria de la família Arcs. Dins el terme dels Arcs sembla que nasqué, a partir del 1210, la vila de Vinyols, que acabaria essent el centre de la demarcació. La família Arcs, establerta al lloc des de mitjan segle XII, posseí el castell i el terme fins el 1243. Bernat dels Arcs es casà l’any 1200 amb l’hereva de la baronia d’Alforja, Romia. A conseqüència d’aquest matrimoni, restaren unides ambdues senyories per espai de 43 anys. Del matrimoni entre Bernat i Romia nasqueren tres fills: Pere, Romia i Saurina (que esdevindria abadessa del monestir de Bonrepòs). Pere heretà la baronia d’Alforja i dels Arcs i es mostrà obertament hostil a l’arquebisbe, a qui negava el reconeixement de la infeudació d’Alforja. Per aquesta raó va cometre tota una sèrie d’accions bèl·liques pertot el Camp de Tarragona. El 6 de febrer de 1243, greument malalt, atorgà testament, en el qual instituí com a hereva universal l’abadessa del monestir de Santa Maria de Bonrepòs, la qual el mateix any procedí a la venda d’ambdós senyorius a l’arquebisbe. La mitra de Tarragona fou senyora de Vinyols i els Arcs fins al segle XIX.
L’any 1339 es produí la unificació de Vinyols i els Arcs mitjançant una concòrdia, en un sol cos administratiu i jurisdiccional en el qual l’arquebisbe tenia tota la jurisdicció.