El petit poble d’Altet és situat al sud-oest de la Figuerosa, prop del reguer que desguassa a l’anomenat pla de Tàrrega. L’indret és esmentat l’any 1098 en l’acta de consagració de l’església de Santa Maria de Guissona. Una de les primeres mencions documentals del castell d’Altet data del 1109, any en què el bisbe d’Urgell, Bernat Guillem, cedí a Ramon Miró, mentre visqués, la quarta part del castrum de Alted, el qual havia pervingut al bisbe per mitjà de Galí Jagint. Més tard, aquesta part del castell fou de Bernat d’Alòs, el qual el donà a la canònica de Solsona l’any 1174. De l’indret d’Altet és originari un llinatge homònim, alguns membres del qual, com Pere d’Altet i Guillem Sunifred d’Altet, són documentats al segle XII (1104 i 1186).
L’any 1314 Ramon Hug, senyor del castell de la Cardosa, vengué la quarta part del castell d’Altet a Santa Maria de Solsona; tanmateix aquesta possessió no fou reconeguda per Gueraua, vídua de Pere d’Olivella, i llur fill Pericó, senyors dels castells d’Altet i Lluçà, fins que el paborde de Solsona no els mostrà el document de compra.
El rei també posseí drets dins el castell d’Altet. Així, l’any 1422, Alfons el Magnànim vengué a la universitat de Tàrrega per 230 florins d’or, les jurisdiccions dels castells i els llocs de Claravalls, l’Ofegat, Conill, Lluçà i Altet.
Al segle XVII consta que eren senyors d’Altet els Erill, barons de l’Albi i Cervià de les Garrigues.
No resta cap vestigi de l’antic castell d’Altet.