Surt esmentat el 974. El seu primer senyor conegut ha de ser un Seniofred, viciari, que té béns a Avinyó el 1007 ja que entre el 1032 i el 1060 apareix un Ramon, fill de Seniofred d’Avinyó. La família Avinyó segueix apareixent en la documentació fins que el 1121 el comte Ramon Berenguer III introdueix un nou feudatari sobre la família Avinyó; és Berenguer Bernat de Queralt, que el 1121 li jura fidelitat pel castell d’Avinyó i molts d’altres. La família Queralt segueix essent senyora del castell d’Avinyó i encara el 1247 consta que ho era. Amb la desaparició d’aquest llinatge el rei recuperà el domini, que el 1335 comprà Guillem de Cardona.