Autodidacte, de jove rebé la influència del jazz (en particular de Duke Ellington i Tommy Dorsey). Als divuit anys anà a Salvador, capital de l’estat de Bahia, on fou contractat per una emissora de ràdio, i l’any següent es traslladà a Rio de Janeiro, on fou expulsat del grup del qual formava part. Després d’uns anys de vida errant, el 1956 entrà en contacte amb Antônio Carlos Jobim i Vinícius de Moraes, autors de Chega de saudade, interpretada per Gilberto, cançó que donà nom a un àlbum homònim convertit en un èxit mundial i que fou l’inici de la projecció de la bossa nova. En bona part, aquesta difusió respon a la manera insòlita de cantar de Gilberto, en veu baixa i gairebé xiuxiuejant, i també de tocar la guitarra, sincopada i combinant harmonies del jazz amb la samba brasilera. La bossa nova es convertí també en moda als Estats Units, i fou adoptada per algunes de les primeres figures del jazz, entre d’altres el saxofonista Stan Getz, amb el qual Gilberto enregistrà el disc Getz/Gilberto (1964), amb algunes peces que es convertiren en èxits mundials com Desafinado i Garota de Ipanema (escrita per Jobim i Moraes i interpretada per la muller de Gilberto, Astrud). Després del cop militar al Brasil, visqué als Estats Units fins el 1980, on prosseguí la carrera musical amb una bona recepció. De retorn al Brasil, col·laborà amb músics de generacions posteriors, com Caetano Veloso, Gilberto Gil i Maria Bethânia, amb els quals enregistrà l’àlbum Brasil (1981). Feu nombroses gires internacionals. La seva discografia comprèn més de 40 àlbums, dels quals, a més dels esmentats, sobresurten O amor, o sorriso e a flor (1960), João Gilberto (1973), The Best of Two Worlds (1976), João voz e violão (2000) i In Tokyo (2004).