És mencionada per primera vegada juntament amb Sant Grau de Talltorta en el capbreu dels censos i altres drets pertanyents a Santa Maria d’Urgell, que pretesament fou redactat el 819 però que en realitat és de mitjan segle XI. L’església de Sant Climent del Soler apareix també l’any 1261, en què es consigna el mas de Sant Climent. Tingué consideració de parròquia des de molt antic, ja que en la visita arquebisbal de 1312-14 figura com a única parroquial del terme de Talltorta. Segons J. Martí Sanjaume, al principi de segle es coneixien les ruïnes d’aquesta església que feien encara un petit promontori a l’extrem del prat Xicó del Vilar, a llevant del pont del Soler. Ell mateix trobà les últimes dades d’aquesta església entre el 1568 i el 1592. L’actual església parroquial de Talltorta, també dedicada a sant Climent, es va construir a partir del 1667 i va succeir en la titularitat i en els drets parroquials l’església de Sant Climent del Soler.