Estudià violí al Conservatori de Leipzig i a la Royal Academy of Music de Londres. A dinou anys començà a tocar la viola animat per A. Mackenzie, professor a la Royal Academy of Music, i aviat esdevingué un concertista de fama internacional. El 1901 fou nomenat professor d’aquest instrument en aquell mateix centre. Compositors com W. Walton i R.V. Williams li dedicaren algunes obres. El 1937 abandonà la carrera de solista per tal de dedicar-se exclusivament a la docència, activitat interrompuda només per concerts ocasionals. Feu l’última aparició pública quan tenia vuitanta-set anys. Tertis desenvolupà un nou tipus de viola de dimensions més grans i l’any 1938 publicà a Londres un estudi sobre la interpretació de l’instrument. El 1975 es creà un concurs internacional de viola que porta el seu nom.