Es desconeixen les seves dades biogràfiques llevat del fet que es casà a l’església de Santa Margarida, a Westminster, el 1584. Compongué música instrumental, principalment danses. La primera publicació atribuïble de manera segura a Holborne és The Cittharn Schoole (Londres, 1597), que contenia cinquanta-vuit peces. El 1599 aparegué Pavans, Gaillards, Almains... in Five Parts, una col·lecció de composicions per a conjunt instrumental. Gaudí d’un notable prestigi i mantingué molt bones relacions amb alguns dels músics més significatius del seu temps, com ara Thomas Morley i Giles Farnaby. John Dowland, en el seu segon llibre de cançons per a llaüt publicat el 1600, li dedicà una de les peces, I saw my lady weepe.