Estudià a l’Acadèmia de Música, on fou deixeble de Franz Schreker, i a la Universitat de Viena. A més, rebé classes particulars d’Arnold Schönberg (1919-21), que el 1924 es convertí en el seu cunyat. El 1922 fundà el Kolish Quartet, formació que destacà particularment per la interpretació de música contemporània. Estrenà algunes obres de Schönberg i de Béla Bartók. Aquest quartet es dissolgué durant la guerra. L’any 1944 Kolish es convertí en el primer violí del Quartet Pro Arte i fou també nomenat professor de la Universitat de Wisconsin, on impartí classes fins el 1967. Posseïa una tècnica violinística molt particular, remarcada pel fet que sostenia el violí amb la mà dreta, obligat per una lesió soferta durant la infantesa. Enregistrà Pierrot Lunaire, opus 21, sota la batuta del mateix Arnold Schönberg.