Començà a cantar en un cor d’església i, paral·lelament, estudià clarinet i guitarra, aquest darrer instrument de manera autodidàctica. El 1826 ingressà en una companyia d’òpera itinerant, però el seu debut tingué lloc el 1830 a Sant Petersburg, amb una sèrie d’actuacions que el feren famós. El 1836 participà en l’estrena d'Una vida pel tsar, de M. Glinka, amb una interpretació del paper d’Ivan Susanin que tingué molta anomenada a la seva època. També fou el Ruslan de Ruslan i L’udmila -estrenada el 1842 i també de Glinka-, el moliner de Rogneda (1865), d’A. Serov, l’Ivan el Terrible de La donzella de Pskov (1873), de N. Rimskij-Korsakov, i el Príncep Gudal d'El dimoni (1875), d’A. Rubinstein, papers que foren escrits expressament per a ell. Pel que fa a personatges no russos, fou el Figaro de G. Rossini, Oro veso de V. Bellini, Kaspar de C.M. von Weber i Bertram de G. Meyerbeer. El 1876, durant la celebració del 50è aniversari del Teatre Mariinskij, el tsar li concedí una medalla d’or per la seva carrera. La veu d’Osip Petrov era rica i profunda, i flexible i baritonal en el registre agut.