El museu és instal·lat a la casa Martí, que la Diputació adquirí el 1983, que fou remodelada i adequada al projecte museístic per l’arquitecte Jaume Mutlló i Pàmies. Reuneix col·leccions d’escultura (Julio Antonio, Santiago Costa i Vaqué, Salvador Martorell i Ollé) i de pintura (Josep Sancho i Piqué), i un arxiu fotogràfic que conserva, entre altres, les obres de Pere Català i Pic i Hermenegild Vallvé i Vilallonga que havien estat encarregades per la mateixa Diputació el 1929 per a ser presentades a l’Exposició Internacional de Barcelona d’aquell any dins la Secció Monumentos de España
. El 2008, després d’importants obres de remodelació i modernització dels seus espais, es reinaugurà el museu, amb una nova exposició, centrada en la creació artística del s. XX a les comarques tarragonines.