Aquest castell era situat a l’extrem nord-est del perímetre murallat de la vila. Fou un dels dos nuclis fundacionals de Valls, juntament amb l’església de Sant Joan. En l’actualitat, sols la plaça coneguda amb el nom de “Pati del Castell” en recorda el seu emplaçament. El castell de Valls tenia jurisdicció sobre tot l’actual terme municipal de la població i per tant sobre les partides de Picamoixons, Masmolets, Espinavessa i Fontscaldes. Doldellops, on s’establí una granja de Poblet, fou motiu de disputes amb aquest monestir cistercenc.
El topònim “Valls” sota la forma Vallis o Vallibus és esmentat en antics documents de la comarca dels anys 960-990, 1009 i 1023, en tots els casos, sembla, com un simple topònim que no fa referència a la vila, el terme o el castell de Valls, com s’ha pretès, sinó a uns accidents geogràfics.
Avui dia, pels estudis històrics i la crítica feta sobre les velles cròniques, és evident que és del tot imaginari el Guillem de Valls que el 986 hauria assistit el comte Borrell en la defensa de Barcelona contra Almansor i que ho és també la suposada làpida que diu que sant Oleguer i el príncep de Tarragona, Robert Bordet, van fundar el castell de Valls i el van encomanar a la família Valls. Cal, per tant, deixar de banda l’explicació de Francesc Puigjaner, que recull i amplia aquestes notícies, i endarrerir l’organització de la parròquia i terme de Valls amb posterioritat al 1155, en el mateix moment en què s’atorgà una carta de població a Espinavessa o Espinaversa, una vella partida del terme de Valls. El castell de Valls es crearia a la segona meitat del segle XII, en una data fins ara impossible de precisar, sota el doble domini del rei i de l’arquebisbe, cadascun dels quals tenia el seu batlle a la vila. Els castlans del castell en nom del rei foren la família Puigverd, que també disposaven de batlle propi, com també el paborde de la catedral de Tarragona, que tenia importants drets a la vila. El 1254 n’era castlà Berenguer de Puigverd.
El castell fou engrandit i restaurat per l’arquebisbe Arnau Sescomes (1334-1446). A la segona meitat del segle XIV es documenten estades al castell del rei Pere III i de duc de Girona, futur Joan I. També entre el 1382 i el 1394 hi residí Elionor d’Aragó, reina de Xipre, a qui Pere III havia donat la senyoria de Valls. Durant aquest període hi hagueren diversos conflictes que tingueren com a protagonista el castell de Valls. El 1394 un grup de vallencs assaltaren el castell i assassinaren a la cambra de la reina el seu procurador Bonanat de les Guarres. Arran d’aquest fet, Elionor d’Aragó es retirà a Barcelona.
A la darreria del segle XVIII aquest castell esdevingué una casa senyorial i passà a formar part del patrimoni de la família Baldric.