Home polifacètic, a més de cantant fou compositor, empresari teatral i editor. Des de ben jove rebé una bona educació musical i entre els seus mestres hi hagué Michael Arne. Debutà a Dublín amb La buona figliuola de N. Piccinni, i el 1799 es desplaçà a Nàpols per ampliar els seus estudis. El 1783, durant una estada de Kelly a Venècia, el comte Durazzo, ambaixador de l’emperador austríac en aquesta ciutat italiana, el contractà per al teatre italià de Josep I a Viena. A la capital austríaca intervingué en òperes com Les noces de Fígaro de W.A. Mozart, i entrà en contacte amb grans personalitats musicals del moment, des de cantants fins a compositors. El 1787 anà a Londres, on romangué la resta de la seva vida. Allí fou molt apreciat tant per la seva veu com per la seva tècnica. Com a compositor tenia una gran capacitat per a crear melodies, i deixà diverses obres escèniques, algunes de les quals gaudiren d’un gran èxit, especialment Blue Beard (1798). El 1801 començà una empresa com a editor musical, que durà fins el 1811. La figura de Kelly està molt associada al King’s Theatre, del qual fou director d’escena entre el 1793 i el 1824.