El topònim Cabó és esmentat en l’acta de consagració de la catedral d’Urgell, i, del castell de Cabó, en tenim notícies des del 1115. Els primers senyors del castell i la vila de Cabó foren els Caboet, que ocuparen un lloc preeminent entre les nissagues nobles de la comarca durant l’edat mitjana. Fins a l’inici del segle XIII els Caboet se succeeixen ininterrompudament per línia directa en la possessió del patrimoni familiar, constituït principalment per les valls de Cabó i de Sant Joan; però el matrimoni d’Arnaua de Caboet amb Arnau de Castellbò (1185) representà la unió dels dominis hereditaris dels Caboet al vescomtat de Castellbò, incloent-hi els béns i els drets que posseïen a la vall d’Andorra en feu de l’església d’Urgell. Des d’aleshores Cabó formà part del quarter d’Organyà, una de les cinc parts de què consta el vescomtat de Castellbò.
Una antiga tradició conta que el poble era envoltat d’un vall i que en la zona més alta hi havia un castell; però de fet, les restes que s’hi aprecien són poques. Només en la part alta del turó on s’assenta la població romanen petits fragments de mur que formaven part del circuit murat que envoltava la vila en temps medievals.