El primer esment de Vilalba dels Arcs és de l’any 1224, en què el comanador templer de Ribera va atorgar una carta de poblament del lloc de Vilalba, amb el seu terme, a un grup de quatre pagesos i a qui s’hi volgués afegir. En aquest document sembla que el comanador es reserva l’indret per a construir el castell. Quan el 1236 es dissolgué el districte de Ribera i s’independitzaren de Miravet les comandes filials, Vilalba passà a formar part de la casa d’Ascó. En els sumaris sobre les causes entre els Entença i els templers, queda ben palesa la dependència de Vilalba respecte a aquesta comanda. El castell, del qual no en resten vestigis, era situat a l’extrem nord-oest del nucli antic del poble. Resulta difícil fer-se’n una idea a partir de l’estat actual de l’indret que ocupava. N’hi ha unes quantes referències en documents hospitalers dels segles XVI i XVII, en la visita prioral del 1535 i en la visita de milloraments del 1647, en les quals se citen alguns edificis, un d’ells anomenat “el castell”. Tots ells estaven més o menys junts i en aquells anys complien funcions diverses. Es nota, però, que antigament formaven un sol conjunt. El visitador del 1535 parla del castell i de la casa del comanador, però només detalla la quantitat de vi i oli que hi havia guardats al celler.