Molt probablement es formà a la capella de Sant Petroni, i fins el 1512 estigué al servei d’Eleonora Gonzaga, duquessa d’Urbino. Cap al 1517 ingressà com a cantor a la capella de Sant Marc de Venècia, activitat que exercí fins els seus darrers dies, tot i que visità nombroses corts italianes i feu estades en altres capelles. Pel que sembla, en aquesta mateixa època, entre el 1517 i el 1524, serví Francesco Comaro, a qui dedicà el seu Recherchari, Motetti, Canzoni... Libro Primo (Venècia, 1523), obra que conté dos ricercari seguits cadascun d’un motet i quatre cançons. El 1520 era a Roma al servei del papa Lleó X, però la mort del pontífex el 1521 feu que tornés a Venècia. Algun temps després serví Lorenzo Bragadín, i els anys 1536 i 1537 fou organista a la catedral de Chioggia (Vèneto), any aquest darrer en què hom el torna a documentar a Sant Marc. Malalt, el 1569 es retirà a Brescia.
La importància de Cavazzoni rau en el fet de ser un dels primers compositors que es distanciaren dels models de la música vocal en la composició de música instrumental. Això es fa palès en el nombre de quintes i octaves paral·leles i en les dissonàncies que utilitzà en la composició de les seves obres. Amb tot, encara no emprà el contrapunt.