El seu pare era violinista de l’Orquestra de la Gewandhaus de Leipzig i amb ell aprengué les primeres lliçons de violí. S’inscriví al Conservatori de Música de Leipzig i posteriorment es perfeccionà a Berlín amb Gustav Havemann i Martin Kovacz.
L’any 1959 guanyà el Concurs Niccolò Paganini de Gènova. Actuà com a violí solista en diverses orquestres com la Filharmònica de Dresde, la Simfònica de Berlín, l’Òpera de Frankfurt i la Simfònica d’Hamburg i sota la direcció de Georg Solti, Christoph von Dohnányi, Peter Eötvös i Esa-Pekka Salonen, entre d'altres. En el repertori de cambra tocà al costat dels germans Aloys i Alfons Kontarsky. En gires i enregistraments discogràfics, dedicà particular atenció al repertori contemporani, molt sovint al costat del director Pierre Boulez.
La seva activitat concertística ha estat paral·lela a la docent. Fou professor del Conservatori de Nuremberg i, el 1982, succeí Max Rostal com a professor de violí a la Hochschule für Musik de Colònia, on exercí una important tasca pedagògica fins al 1996, any que es jubilà. Des de llavors continuà impartint cursos i classes magistrals de música contemporània, especialment a Alemanya.
Mantingué una estreta col·laboració amb compositors com Bruno Maderna, Alfred Schnittke i, especialment, György Ligeti, el qual li dedicà el Concert per a violí, estrenat el 1992. Gawriloff el difongué internacionalment, amb més de setanta interpretacions arreu del món.
És considerat una figura de referència en la interpretació de l'obra de Ligeti i un dels violinistes europeus més representatius de l'escola alemanya de la segona meitat del segle XX.