Fill de Joan Pere Cavaillé i Maria Francesca Coll, aprengué l’ofici del seu pare. Uní els cognoms dels seus progenitors, amb els quals foren coneguts des d’aleshores els membres d’aquella família. Amb l’esclat de la Revolució Francesa s’instal·là amb la seva família a Catalunya. A disset anys s’encarregà dels orgues de Puigcerdà i de Sant Joan de les Abadesses. Amb el seu pare, treballà a Santa Maria del Mar i a l’església de la Mercè, a Barcelona (1797). Havent acabat el de Castelló d’Empúries (1805), marxà a Montpeller, on restaurà el de Saint-Pierre (1807), i més tard reparà el de la seu de Carcassona. El 1816 tornà a Barcelona per acabar les obres del seu pare. Feu obra nova a la seu de Vic, i treballà a Lleida (1818), Navarra i El Escorial (1820). S’instal·là novament a Tolosa (1822) i restaurà els de Nimes i Galhac (1824). Al cap d’un temps traslladà el seu obrador a París, que restà sota la direcció del seu fill Aristides. Amb ell i l’altre fill, Vincent, refeu l’orgue de la seu de Perpinyà (1850).