Del castell es conserva una gran torre rectangular amb grans murs de 16 m d’alçada i alguns arcs ogivals a l’interior, a la qual hi ha adossada una pagesia. Prop seu hi ha l’església de Sant Martí, refeta totalment al segle XVIII (la portada té gravat l’any 1793), i la rectoria; algunes llindes, sarcòfags i osseres d’època medieval es troben al Museu Diocesà de Solsona. Foren senyors del terme del castell de Riner els primers membres del llinatge dels Cervera, senyors també de Castellfollit de Riubregós, que ben aviat esdevingueren vescomtes de Bas; a la meitat del segle XI eren els principals senyors de Riner, de Su a Hortoneda, Dalmau i la seva muller Elisava, pares d’Hug de Cervera (o Hug Dalmau), que el 1103 donà al monestir de Solsona l’església de Sant Martí de Riner. Fill seu fou Ponç Hug, i un fill d’aquest, Ponç (II) de Cervera, pledejà amb el veguer que tenia a Riner el 1142 i cedí, el 1145, la masia de la Rovira de Freixenet als templers. Els dominis dels Cervera al Solsonès foren anomenats en un moment donat comtat de Riner, però aviat se n’anaren deseixint i tota la contrada passà a mans dels Cardona per mitjà de compres, potser usurpacions i concòrdies amb el prepòsit del monestir de Solsona; els vescomtes de Cardona tingueren l’alta i la baixa jurisdicció de Riner dins la batllia de Cardona.